前沿模型為何當不了買方分析師——Google DeepMind 的 Janie Gu 與 LinqAlpha 的 Suyeol Yun 對談

Google DeepMind 旗下 Kaggle 基準測試團隊負責人 Janie Gu 直言，基準測試產業已「根本性地壞掉」，多數公開評測衡量的是錯的東西，導致前沿模型在企業真正需要的工作上反而愈來愈差。本集大部分時間放在 Kaggle 對評測失靈的診斷——相關性、運算成本與驗證——以及 DeepMind 與 Kaggle 正在打造的基礎設施與補助計畫；標題所指的「模型扮演買方分析師」，直到最後三分之一才以一個新基準測試的案例研究形式出現。

Gu 與金融研究新創 LinqAlpha 的 AI 負責人 Suyeol Yun 很適合談這個題目：Kaggle 辦 ML 競賽已 15 年，並於 2026 年 2 月併入 Google DeepMind；LinqAlpha 則向機構投資人銷售 AI 研究代理，並與 BlackRock、Blackstone、J.P. Morgan 共同發表論文。讀者讀完應該能掌握：Kaggle 在重現 65 個業界基準測試時發現的具體失靈模式、MandateBench 分析師評測的設計，以及針對想自建評測的企業所提供的運算資源與補助方案條件。

Kaggle 重現 65 個基準測試，發現作弊、自評與 20% 雜訊

Gu 表示，Kaggle 在演講前花了兩個月重建並重跑 65 個業界基準測試，並逐條閱讀每一份軌跡紀錄。這次稽核在整個堆疊的每一層都找出問題，她也把利害關係講得很直接：基準測試衡量什麼，模型就會往什麼方向爬山，所以「當你衡量錯的東西，模型在它原本該做好的事情上反而會變差。」

推理強度這一項最細微。Gu 說，Kaggle 重建出的分數與原始基準測試論文相符，但那些論文內部的比較仍然不是同條件對比，因為沒有人明確設定推理強度。

三個結構性問題：相關性、成本、驗證

Gu 把產業的失能歸為三類，並認為驗證是最被低估的一項。多數公開基準測試考的是「人工謎題、學術冷知識、隨機數學題」，與生產環境的代理工作相去甚遠。第二是成本：一個 500 題的多輪代理基準測試，用 16 個前沿模型跑一輪就要數萬美元，而新模型「基本上每一、兩週」就出一顆，每輪都得重跑，否則基準測試立刻過時。

驗證則是數字分歧最大的地方。每家實驗室各跑自己的測試框架、報自己的分數、寫自己的實作，所以分數不同「主要是基礎設施造成的，而不是模型品質真的有什麼差異」。腳手架不同、工具呼叫慣例不同，甚至只是輸入序列化方式不同，同一個模型跑同一個基準測試就會得到不同分數。

DeepMind 出錢養基準測試：500 萬美元補助、免費推論、一位駐點工程師

Kaggle 的解法是成為「GDM 的公開基準測試平臺」——一個開放、中立的驗證場，所有前沿模型都跑同樣的任務、同樣的基礎設施、同樣的評分，讓每個分數都具有代表性。Gu 表明的野心，是讓 Kaggle 成為基準測試的業界標準，就像它已經是競賽的標準一樣。

對外部開發者開出的條件有三部分：免費運算資源與前沿模型推論；2026 年第四季提供 500 萬美元補助，用於建立基準測試或研究如何修補這個領域；以及由 Google DeepMind 派出一位駐點工程師（forward-deployed engineer），共同設計評測並檢查其方法論。基礎設施方面，Kaggle 正把每次執行的沙箱化、代理呼叫記錄、每次模型呼叫的軌跡公開，以及容器化評分全部標準化，讓分數可稽核、可重現。Epoch 等獨立研究機構將在平臺上稽核基準測試，開發者不必單靠 Kaggle 自己的說法。

做評測有兩層回報：先做內部回歸測試，再讓實驗室爬山

Gu 給企業兩個投資理由。對內，一套嚴謹的評測能立刻告訴你，某個提示或測試框架的改動是弄壞了東西還是改進了產品。對外，公開基準測試能吸引實驗室：「一旦實驗室想在你的基準測試上爬山，他們就會投入數兆美元的算力，去改善基礎模型在你這個特定用例上的表現。」公司的私有工作流程，就是透過這個機制變成對自家使用者有利的公開能力提升。

Kaggle 在這件事上的可信度，建立在 15 年的競賽設計經驗——封存的私有測試集、洩題偵測、防作弊基礎設施——以及 3,100 萬人的社群。上線管道已經在跑：Higgsfield 的 Code to Video Bench 在演講前一週上線，與 Acteva、Quadrillion、Rehearsal 合作、涵蓋臨床人員、研究與使用者研究工作流程的基準測試也在進行中。

MandateBench 評的是推理路徑，不是標準答案

Yun 認為既有的金融基準測試有兩大缺陷：一是拿代理的答案去比單一標準答案，但「兩位分析師可以得出兩個不同答案，而且兩個都可能對」；二是隻考短片段，而不是分析師工作的一個完整單位。MandateBench 改從基金的操作指令（mandate）出發，一路做到投資備忘錄——這才是真實的工作單位，Yun 說分析師可能要花 20 到 100 小時。

任務格式仿照避險基金的工作流程。投資組合經理把一份操作指令（例如一支做併購事件驅動、持有期 3 到 12 個月的基金）和一間公司交給分析師，要求判斷做多、做空或放棄，並附上有證據支撐的備忘錄。代理要交出不只備忘錄，還有一張推理圖，圖上每一個事實都指向它出自哪一次工具呼叫。曾任買方分析師的人員寫出任何一份好備忘錄都必須包含的關鍵推理步驟，每個步驟就是推理圖上的一個節點。備忘錄還會用假設性問題做壓力測試——例如，如果管理層承諾的併購成本節省最後是零，結論會不會改變？備忘錄有沒有解釋為什麼？

示範案例是美國包裝公司 Sonoco，它收購了 Eviosys，並賣掉 TFP 業務。五個資料來源給出的 Sonoco 營收從 50 億到 80 億美元不等，因為每個來源計入的公司版本不同。代理必須察覺這個落差、解釋它，並重建 2025 年 5 月當時的 Sonoco——Eviosys 整年計入、TFP 排除——得出約 75 億美元，然後再重建負債。Yun 說，這「只是一位熟練分析師必須走完的整體高階推理中的一小部分」。

初步結果：Claude Opus 5.5 領先，Astra 6 系列模型表現最佳

初步結果只涵蓋完整基準測試 50 題中的 10 題；Yun 說完整版將於 2026 年 11 月推出。Claude Opus 5.5 總分最高，且在各種題型上表現均衡；Astra 6 在財務建模上明顯突出。Yun 的重點是：模型行為會因題型而參差不齊，而這正是評分規準（rubric）評分、多步驟的基準測試應該要揭露的東西。

「兩位分析師可以得出兩個不同答案，而且兩個都可能對。」——Suyeol Yun，談為何標準答案式評分不適用於分析師工作

基準測試成為撬動基礎模型訓練的槓桿

演講的兩半由同一個誘因串起來。Kaggle 的稽核顯示，自報分數不可靠，因為造成大部分變異的是基礎設施，而非模型品質；MandateBench 則示範了嚴謹的替代方案長什麼樣——以評分規準評推理、工具呼叫溯源、用假設性問題做壓力測試，而不是一份標準答案。如果 Kaggle 真能讓平臺成為中立場地，Gu 所描述的回報就是：實驗室對著真實工作流程訓練，而公開這些工作流程的公司，能為自家產品換到更好的基礎模型。未解的問題是採用率：補助、免費推論與駐點工程師，都是在設法買到採用率；2026 年 11 月 MandateBench 上線，將是第一個測試——一個 50 題、以評分規準評分的評測，能不能站得住腳、成為公開標準。