AI 帳單高得離譜：Token 經濟學入門——專訪 Featherless AI 的 Eugene Cheah

Featherless AI 執行長暨創辦人 Eugene Cheah 主張，多陣列織在 AI Token 上白白花錢，因為他們從未按團隊或使用情境衡量支出；而最大的節省來自流程紀律，而非模型選擇。他的工作坊帶大家走過一套四步框架——衡量、調整規模、購買算力、檢查流程——並佐以具體客戶的 Token 帳單數字、吞吐量取捨與微調案例。標題用「Token 經濟學」來定調算合理，但並不完整：大約前三分之二談的是推論經濟學（衡量、代理型與流程型工作負載、開源模型替代、GPU 採購），最後三分之一則轉向組織瓶頸——審查佇列、信任，以及「垃圾手榴彈」——這些問題再便宜的推論也解決不了。

Cheah 是從廠商立場發言（他揭露 Featherless 本身販售推論服務），但他背後的平臺擁有超過 40,000 個開源模型，客戶規模達到兆級 Token，而他也是 RWKV 開源專案團隊的一員，他形容那是 Linux 基金會旗下的第一個 AI 模型。讀者讀完應該帶走一份可用的檢查清單：拆分 API 金鑰、依功能而非名稱標記模型、依「是否有人在等」來決定每秒 Token 數，以及衡量成果而非使用量。

多數 Token 浪費是衡量失敗，不是模型選錯

Cheah 開場先問全場有誰知道自己總共花了多少 Token；只有大約一半舉手，而且每往下問一層——部門、團隊、使用情境——舉手的人就越少。他說，來找 Featherless 的客戶中有 30–40% 是整個組織共用一把 API 金鑰，根本無法歸屬成本。他的處方毫不花俏：在做任何最佳化之前，先按部門和主要使用情境發出各自獨立的金鑰。

「如果你沒有在衡量，那我接下來講的你幾乎都可以先擺一邊，從衡量開始做起，因為你最大的投報率就來自衡量本身。」

他也為聽眾設下明確門檻：這場工作坊鎖定每月推論支出超過 1 萬美元的組織。低於這個數字，他建議把心力放在找出強而有力的使用情境，因為一個好的使用情境每月帶回的效益遠超過 1 萬美元。Featherless 正開源一套 Token 追蹤工具，可拆分 API 金鑰並回報每把金鑰的支出。

衡量結果會回饋到三個下游決策：哪些團隊值得用低延遲 Token、該買多少專用算力，以及花最多 Token 的團隊是否真的產出有成。

代理型與流程型工作負載的經濟邏輯相反，預算必須分開編列

Cheah 把 AI 工作負載拆成兩條「經濟邏輯完全相反」的路線。代理型工作負載——尤其是編碼代理——長時間執行、多輪對話、極大化上下文；有些開發者會讓編碼代理整夜跑，反覆壓縮上下文。流程自動化——客服中心、郵件分流、會議轉錄、檔案 OCR、交易風險——則是短上下文、任務彼此隔離，純粹是量的競賽。

| 構面 | 代理型路線 | 流程型路線 |
|---|---|---|
| 上下文 | 長、多輪、大量壓縮 | 短、任務彼此隔離 |
| Token 組成 | 以快取與輸入為主；約 1% 的請求是輸出 Token | 大量的小型決策 |
| 典型規模 | 5 名開發者持續跑約 8 個代理 | 每天數百萬到數千萬次決策 |
| 成本槓桿 | 規劃者／執行者模型分工、排程、每秒 Token 分級 | 評估、小模型、分類器、微調 |
| 買方行為 | 開發者自己挑模型；需要誘因才會換 | 團隊預設就會調整規模，因為預算不允許每百萬 Token 10 美元 |

代理型的例子很具體：一個五名開發者的團隊用 Opus 4.8 持續跑約八個代理，每月花掉大約 15 萬美元、燒掉 1,160 億 Token。Featherless 把他們搬到單一 GLM 5.3 節點，每月成本不到 1 萬美元，且感受不到任何中斷。這個團隊原本就已經把部分背景代理排到夜間執行，以利用閒置硬體。

流程型方面，Cheah 舉了一家電信客戶為例：單一分鐘尖峰達 1,000 萬則訊息，用來過濾髒話與色情內容，以支援兒童安全手機功能。他提到新年祝賀訊息是最糟的尖峰。他也點出金融服務的檔案處理、maker-checker 覆核審批與交易風險，都是同一形狀的問題。

在特定領域，更便宜的開源模型已能取代前沿模型

Cheah 說，過去一年開源與閉源模型之間的差距已經縮小。在 Opus 5.5 更新之前，他表示 Kimi K3 在一些公開的 UI 設計基準上贏過 Opus。在客戶的基準測試中，Step 5 據稱在金融任務上達到接近 Opus 與 Astra 的品質，體積卻只有大約十分之一。他說 DeepSeek v4.1 Flash 在各種工作負載中都異常受歡迎，因為它很容易用提示引導，儘管它的基準分數並不足以解釋這種受歡迎程度。

他也點出一種新的模型類別：單次分類器，最為人熟知的是 JAF，Featherless 打造了名為 SimpleJAF 的開源復刻版。這類模型只做決策與分類，無法產生對話回覆，通常比通用模型便宜約 10 倍、快約 10 倍。Cheah 說，企業 AI 流量中有出乎意料大的一塊是分類——包括客服回覆，因為團隊早已備好預設文字讓模型挑選。

關於模型漂移，他提出一則警世案例：他合作過的某些團隊到了 2026 年還在跑 Llama 2，只因為沒有人去改預設值。

規劃者／執行者分工有效，但前提是快模型真的夠快

Cheah 最常看到的代理型成本模式是：最強的模型負責規劃與審查，較便宜的模型負責實作。實作階段 Token 密集又重複——編輯、測試、檢查、再來一遍——他說由 GLM 5.3 Flash 或 DeepSeek v4.1 Flash 來做，品質相當，只要規劃交給前沿模型。有些客戶則以閉源前沿模型擔任規劃者／審查者，搭配 GLM 5.3 Flash 當執行者。

行為面的發現最為犀利：沒有人會為了幫公司省錢而換模型。當一個團隊把聰明模型和便宜模型設成同樣的每秒 Token 速度、並給予充裕預算時，沒有人換。當另一個團隊把預算壓得極低，讓聰明模型一天就燒爆額度時，所有人立刻改用更笨、更快的模型——彷彿聰明模型根本不存在。

「大家想把事情快快做完。如果模型聰明到能把事做完、又更便宜，他們會用，是因為它更快，不是因為它更便宜。」

能自動切換的執行框架——用較弱的基準模型，必要時升級到更聰明的模型——可以降低摩擦。Cheah 也建議依功能標記模型（「財務代理」、「Excel 代理」），而不是依名稱，這樣沒有模型專業的部門也能做出合理選擇，組織要替換或拆分流量時也不必再發動一波溝通。

吞吐量才是真正的成本旋鈕：速度兩倍、成本約三倍，而且會複利疊加

Cheah 說，客戶常驚訝成本並不隨速度線性成長。他的經驗法則：每秒 Token 數每提升一倍，成本約增加三倍，而且會複利疊加。以 GLM 5.3 為例，單一請求以每秒 112 Token 執行；同時跑 16 個請求，每個請求的速度大約砍半，但總輸出量約放大 10 倍，總 Token 成本因此降低約 9–10 倍。客戶通常選每秒 20–30 Token（大約是 ChatGPT 的速度），最高到 60，只有真的有人在等的情況下才用 120。背景任務絕對不該跑 120。

「別讓背景代理去付頂規的錢。那純粹是蠢。」

談到算力，他說最大的節省來自依已知基礎負載配置的專用執行個體，尖峰再溢位到公有雲（在政策允許的前提下）。他舉一家客戶為例：每天處理 2 兆 Token，用約 512 顆 AMD MI325 GPU——跑一個私有、400–800B 的混合專家模型，效能達 Opus 4.8 等級——每百萬 Token 成本不到 0.03 美元，他說這個價格在公有雲上根本拿不到。他也提到，金融機構往往無法採用這種混合溢位的模式，因為他們要求專用部署。

微調在量大的時候才划算，而評估比方法更重要

針對流程型工作負載，Cheah 建議先從最好的模型開始，把工作負載拆出來，再往下尋找能通過評估的最便宜模型。他說，正確的問題不是「小模型夠不夠好」，而是「我的測試案例是什麼」。從 Hugging Face 下載十個模型逐一試用，是完全正當的做法。

一家電信客戶透過這套流程，把推論成本從每月 25 萬美元砍到 7,600 美元。Cheah 說 AT&T 公開了他們的做法、也是發布合作夥伴，他們把客服中心任務從 Opus 等級的模型微調降到 27B、甚至 7B 模型，由小模型負責分流，分類器觸發時再升級到較大的模型。Shopify 之所以微調，是因為其網路商店設定使用一種專有語言，既有模型處理得很差。

方法上，Cheah 說實務上的微調傾向 SFT 而非 RL，因為像金融這類領域缺乏 RL 環境。他建議保留一份加權較重的黃金軌跡資料集，但也指出有論文顯示失敗的軌跡仍有助於小模型學習思考過程。他同時警告不要過度迷信方法：他為 SimpleJAF 用提示調校的 Qwen 27B，在 Hugging Face 的 10,000 題基準上贏過大多數微調過的 Qwen 27B 變體，不過他預期之後 Cloudflare 的微調版本會超越它。

一個關鍵戰術：即使流量已轉到小模型，仍要把一部分流量當影子流量送到最好的模型，持續累積資料集並跟上模型進步的曲線。他指出，當今最強的 27B–32B 模型已經勝過 GPT-4，而且能在高階筆電上跑。

生成變快反而暴露人的瓶頸，「垃圾手榴彈」把驗證成本丟給下游

Cheah 在最後三分之一轉為批判，但先宣告自己仍是樂觀主義者。組織回報 Token 支出成長 10 倍到 100 倍，成果卻沒跟上——他引用只有 6–7% 生產力提升的報導。他的診斷是：AI 被當成一把槌子敲向所有東西，包括「最蠢的那些事」。

最具體的反模式出現在程式碼審查。代理產出大量變更；審查者消化不了；沒有生成程式碼的議題根本沒人審；有人又重新生成一大坨程式碼；審查者再叫代理標出相關變更並重新實作——等於把第一個代理的成果整個丟掉。CI/CD 流程與審查信任成了瓶頸，而不是生成速度。同樣的模式也出現在 AI 生成的簡報與報告上，在會議之間傳來傳去，不一致之處就留給下游的人去抓。

「Token 不等於做完的工作。」

他把這種行為稱為「垃圾手榴彈」：大量產出東西，然後丟給別人收拾。他的對策是：每個人都必須為自己交出去的東西負責（他說他那份由 AI 設計的簡報，每一個字都是他的，每一頁至少迭代過 30 次），而組織應該衡量成果，而非使用量——Token 數 × 價格 ÷ 實際被用到的成果。他坦承成果很難衡量，這正是為什麼按部門追蹤 Token 很重要：可以看得出哪些團隊在多少支出下表現更好。他把 AI 類比為保健食品或類固醇，能強化團隊，卻不會改變根本的能力差距；並舉沃爾瑪在貨車上裝踏腳凳為例——一個非 AI 的解法，省下數百萬美元的醫療成本——這正是隻有內行人才有的領域洞察。

路由與快取的決策，決定最佳化成果能不能保住

在問答時間，Cheah 偏好依任務而非依輪次自動路由，因為各部門可以持有已標記的模型，預期也明確。依輪次路由若鎖定在兩、三個模型上還行得通——例如 GLM 5.3 與 GLM 5.3 Flash——但若在 30 個模型之間逐輪切換，會徹底破壞快取命中率，把省下來的錢又吐回去。

談到 Claude Code 的繫結問題，他說第一步通常是換掉執行框架。他提到 Pi 是常見的去處，因為它輕量、每 Token 便宜，而且只要用提示就能修改。典型的轉換方式：保留 Claude Code 當規劃者，指示它去呼叫跑在快模型上的 Pi 代理來實作。他提醒，透過 MCP 暴露較小的代理比較棘手，因為 MCP 代理往往沒有檔案系統存取權；直接用 bash 指令跑 Pi 簡單得多。關於快取與客戶資料，他說大型客戶會拿到專用快取，這解決了大部分隱私顧慮，並表示細節可以線下再談。

整套框架可歸結為六個問題，難的是組織面

Cheah 最後以六個問題作結，供任何要開始這項工作的組織自問：團隊裡誰花了多少？在用更便宜的模型之前，你必須先測試什麼？你的基礎負載是多少？每個團隊的預設模型是什麼？哪個工作負載有人在等、需要速度？你產出的東西裡，真正有用的佔多少？

未解的張力在於：史上最便宜的推論，也修不好一條審查佇列、一份信任赤字，或一種容忍垃圾手榴彈的文化。Cheah 自己的數字顯示，替換模型可以把帳單砍到十分之一甚至更多，但他最後一節暗示，更大的限制在人與流程——而衡量，也就是他半數聽眾還沒做的那一步，正是看清這兩個問題的前提。值得持續觀察的是：JAF 這類分類器是否會成為標準的預算專案，以及開源模型是否會繼續縮小 Cheah 所說過去一年已見收窄的前沿差距。