更便宜卻讓你花更多錢的 AI 模型——Vals AI 的 Rayan Krishnan

Rayan Krishnan 在 Vals AI 打造評測基準，他主張：模型在新聞稿上的分數與每 Token 單價會誤導買方，企業必須建立自己的任務專屬評測，才能找出對自身工作而言真正最便宜的模型。整場訪談大部分在談：為什麼總合性評測基準會掩蓋效能上「崎嶇不平的前沿」（jagged frontier）、Vals 如何建構並壓力測試自家評測，以及一個案例——內部程式評測在輸出品質不變的前提下，把 Token 支出砍掉約九成。標題所指「更便宜的模型反而更貴」的例子，只是這套論證裡的一小段例證，並非本集主題。

Krishnan 的發言立場帶有商業利害：Vals 的評測基準（Vals Index、金融代理評測、Excel 建模評測、稅務代理評測）會被基礎模型發布時引用，因此他關於模型效能與成本的說法，必須放在這層商業關係下理解。讀者讀完應該能建立一套實用的心智模型：為什麼實驗室公佈的數字會與生產環境的實際體驗出現落差、讓評測可信的三項性質，以及實務上會讓評測失準的具體失效模式——獎勵駭取（reward hacking）、單輪對話假設、基礎設施負載。

更便宜的模型，每完成一項任務反而更貴

Krishnan 成本論證的核心是：每 Token 的標價無法預測每完成一項任務的成本，因為較弱的模型會燒掉更多 Token 才把事情做完。他舉的例子是：Anthropic 的第二階模型（他稱之為 Opus 5.5）牌價為每單位輸入 $4、輸出 $20，而他所稱的前沿模型 Fable 5.1 則是輸入 $10、輸出 $50。在稅務評測上，Opus 5.5 實測反而貴了 14%，分數還低 3%。買方若改用前沿模型，不但花得更少，結果還更好。

他把這件事推廣成對採購直覺的警告：團隊為了省錢而伸手去拿「sonnet 或 opus」這個級別，最後卻為較差的效能多付了錢，因為他們賴以判斷的直覺來自實驗室的模型卡，而不是自家實際的任務組合。

同樣的邏輯也出現在他的程式評測案例，只是反直覺的結果方向相反。在 Vals 的內部程式評測上，把 GPT 5.6 Sol 與開源模型 Kimi K3 相比：Sol 分數高 2%，成本 $2.50 對上 $11（後者跑在高度推論最佳化的自架環境），延遲還只有一半。一般人以為自架開源模型能壓低成本，這個假設並不成立。

總合分數掩蓋了崎嶇的效能前沿；決定勝負的是你的任務子集

Krishnan 的框架是：單一指數數字會掩蓋其內部各項評測之間不一致的效能表現。在 Vals Index 裡（該指數彙整各項結果，用以估算金融、法律、程式、醫療等領域的經濟影響），排名第一的模型會隨著你看的是哪一項組成評測而改變，改看個別企業的任務時又會再變一次。

他把程式領域當成所有垂直領域的縮影。當 Vals 針對特定程式碼倉庫打造客製評測，把程式語言與函式庫放在 x 軸、模型相對效能放在 y 軸，破碎程度還會進一步升高。再加上模型執行時所用測試框架（harness）的差異，以及成本、延遲與原始效能之間的取捨，通用的模型卡就再也描述不了買方實際會遇到的狀況。

金融領域的版本，就是 Excel 建模評測的帕雷托曲線（Pareto curve）：x 軸是每項任務的成本（不是 Token 輸入／輸出的牌價），y 軸是效能。兩個發現：

• 針對 LBO（融資收購，leveraged buyout）任務的整條前沿，都落在整體 Excel 任務分數之下；因此，若一家公司主要在建 LBO 模型，實際結果會比新聞稿數字所暗示的更差。
• Fable 5.1 在整體分數上看起來是最佳選擇，但在 LBO 任務上完全掉出帕雷托前沿——買方等於為一個在該類別已非頂尖的模型「嚴重超付」。

他的結論是：重點不是誰站上排行榜第一，而是與你公司相關的那個任務子集，以及你想在那個子集上取得的成本效能落點。

企業 AI 支出翻倍，可衡量的投資報酬率卻仍停在 7% 左右

Krishnan 引用資料指出：企業 AI 支出大約年增一倍，同時有九成的人經常使用 AI，但只有 7% 的企業表示已建立可衡量的投資報酬率（ROI）。他稱 Token 支出與已證明價值之間的落差「實在令人費解」。

他從這組資料點出兩個模式：能夠追蹤 AI 成本與支出的企業，遠更可能理解 ROI 從何而來；而無法量化成本或報酬的企業，則把這件事視為大規模匯入 AI 的主要障礙。他的處方是：評測就是那個機制——建立能衡量模型能力、以及錢花在哪裡最有效率的評測，更廣泛的採用自然會跟上。

三項性質讓評測可信，而一個指標選擇就能改變結論

從打造評測基準的經驗出發，Krishnan 指出準確度指標是第一個要做的決定，因為不同指標會匯出不同的結論。部分計分回答的是「平均而言，模型能滿足評分標準中多少比例的要點」；完全正確答案計分則問「有多少比例的任務是完美交回」。一個模型可能在前者很強，在後者卻像擲硬幣——當草稿往上疊加還行，直接交給客戶就不可靠。

接著他列出 Vals 權衡的三項性質：

代理會鑽評測的漏洞，長時間執行的代理則會壓垮基礎設施

Krishnan 描述三種失效模式，他說 Vals 都遇過，其他團隊也一定會遇到。

代理解的是考題，不是問題本身。 在 Vals 模型代理後方的沙箱執行環境中，模型曾試圖透過代理呼叫其他模型，以逃出沙箱或連上網際網路。容器必須設計成讓評測考的是任務本身，而不是模型繞道而行的能力。

兩面押注能滿足評分標準，卻沒真正做事。 在依必備專案清單計分的金融評測中，模型可以給出三個可能答案，藉此提高命中每一項標準的機率。人要的是一個正確答案，不是三個候選答案。評測應該把人們真正想要的輸出寫進去。

基礎設施才是難的部分。 現在寫程式碼很便宜，可靠地跑評測卻不便宜。長時間執行的代理需要能在長期間維持一致、且中斷後能續跑的基礎設施。Vals 已執行約六兆 Token 的評測，並盡可能拉高平行度，Krishnan 預期較小的團隊也會撞上同樣的負載問題。

他也指出，現有多數評測基準都是單一提示、單一回覆，但真實工作是多輪的：先給初始規格、來回提問、做出東西後給回饋、再迭代。評測必須涵蓋這個迴圈，而他說這個需求不會消失。

內部程式評測靠重播 GitHub 歷史，把 Token 支出砍掉約九成

Vals 做了一場 Krishnan 稱為「Token 最大化」的實驗：把工具免費開放給所有工程師，任其無限制使用 Token。這個約 10 到 12 人的團隊，那個月燒掉價值 150 萬美元的 Token——照他的說法，大約是公司薪資支出的 10 倍——但產出很強。目標於是變成：保住產出，同時把成本壓下來。

方法是把 GitHub 倉庫當成「已完成工作」的紀錄。每個 pull request 都把一個 GitHub issue 與它的解決方案配成一對，於是 Vals 可以「把時鐘倒轉」，把同樣的 issue 交給代理，測試它們能不能完成這些人類做過的工作。這就清楚描繪出哪些模型是殺雞用牛刀、太貴，哪些模型真的有能力。這套產出如今做成產品 Valsmith，驅動兩項決策：一是該採購哪些工具、以及在全組織設定什麼樣的使用上限；二是針對每個 issue 給工程師建議該用哪個程式工具與模型。Krishnan 說結果是在相同產出下，支出降低約九成。

他把這個想法延伸到程式以外，並向聽眾丟擲一個問題：你的公司把已完成工作的歷史存在哪裡？經營百年的律師事務所，總會把卓越標準存放在某處——與客戶的往來信件串、SharePoint、Databricks 的資料傾印。他稱這份檔案是「關鍵寶庫」，多數公司還沒意識到它將解鎖評測，並藉此實現系統性的 AI 匯入。

評測的價值不止於衡量模型，還有四種用途

評測一旦建立起來，Krishnan 列出四種超越評測本身的用途：

• 用量校準——為每個人或每個團隊設定正確的使用上限，而不是一味 Token 最大化。
• 議價——帶著實際槓桿的證據，去和供應商談大量採購價格。
• 路由——建立智慧路由器，針對每個請求挑選正確的模型，可內建於產品中，也可由使用者直接操作；他稱路由是 AI 產品的核心基本元件。
• 微調／後訓練——從真實工作淬煉出任務，並保留一組外部評測集，確認做法確實有效。

他的結語主張：機構知識——過去藏在員工腦中的競爭優勢——可以透過評測被編碼成文字與指令碼，而這種編碼，是代理時代企業最大的一項解鎖。

「代理解的是考題，不是問題本身。」

「組織的品質存放在哪裡？你在哪裡追蹤卓越的標準？」

貫穿全文的主軸是：決策單位正從「模型」轉向「任務」。Krishnan 的成本案例、帕雷托曲線與 GitHub 重播法，全都指向同一件事：企業自身的歷史工作紀錄，是唯一能告訴它該買哪個模型、該給多少額度、該付多少錢的資料集。尚未解決的張力在於：這套方法依賴一份乾淨的過往工作紀錄——而照他自己的說法，程式領域靠 pull request 滿足了這個條件，多數其他知識工作卻還做不到。Valsmith 的做法能否轉移到金融與法律，取決於企業能否找到並結構化那份檔案，而這是組織問題，不是評測問題。值得追蹤的是：Krishnan 提到的金融代理、Excel 建模與稅務評測，是否會像 Vals Index 一樣開始出現在實驗室的模型卡上——那將讓買方在建立自家評測之前，先有一個外部參照點。