AI 代理能在盈餘預測上擊敗華爾街嗎?——專訪 Samaya AI 的 Ashwin Paranjape
AI 代理能在盈餘預測上擊敗華爾街嗎?——專訪 Samaya AI 的 Ashwin Paranjape
Samaya AI 的 Ashwin Paranjape 指出,若以能阻擋資料洩漏的時點快照測試框架(point-in-time harness)來評估,前沿 AI 代理在盈餘預測誤差與命中率上都能勝過經偏差修正的市場共識;而能否取得即時資料,比模型本身的知識更關鍵。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Sumaya 創始 AI 負責人 Ashwin Paranjape 表示,前沿 AI 代理在預測季度財報驚喜方面,已開始超越分析師共識。這場演講大部分時間都在說明這個結果是怎麼產生的——時點快照(point-in-time)驗證框架、涵蓋 450 多場財報事件的基準測試,以及在即時資料、專家指引與共識資料存取上的消融實驗(ablation);至於標題所拋出的選股問題,只佔了短短一段。
Paranjape 有資格做出這個主張:他是史丹佛博士,2019 年就把 GPT-2 微調後推上生產環境,之後打造了 Sumaya 的檢索架構(「Lost in the Middle」論文背後的工作),接著是該公司的金融代理框架,目前約有 12,000 名 Morgan Stanley 使用者,以及數百名避險基金與資產管理公司人員在用,他還主導設計了他口中最大的開源基準,專門評測深度研究型金融工作流程。他的同事 Arash 曾任職於 Bridgewater 與 Verition,正是他勸 Paranjape 從選股轉向財報預測,理由是後者是更乾淨、基礎更紮實的任務。讀者讀完應該帶走的是:標題背後具體的數字、代理展現的兩種失敗模式,以及「即時資料存取比模型選擇更重要」這個發現。
財報預測比選股更適合當可檢驗的目標
Paranjape 開場就坦承標題已經過時:他原本把演講定調為「如果代理能重寫編譯器,為什麼不能選股?」,現在則說應該改成「代理都能解 Navier-Stokes 了,為什麼不能選股?」選股這個問題本身很快就帶過。曾任職 Bridgewater 與 Verition 的 Arash 告訴他:「你就是不能一開始就做股價預測」——雜訊太大、無法解釋模型為何做出某種行為、看不出推理是否正確,而且「很多時候根本沒人知道股價為什麼大漲大跌。」
財報預測被提出來當作可處理的替代方案,Paranjape 說明為什麼它適合機器學習:
- 量化標準答案——公司會公佈營收、毛利率、營業利益、EPS 與財測,結果完全已知。
- 專家的人工基準——賣方預估彙整成共識數字,優於或低於預期就是以此定義。
- 質性標準答案——法說會上經營層的說法解釋了驚喜為何發生,因此可以檢查代理的推理是否站得住腳,而不只是看數字對不對。
這個任務被定位為金融界的招牌開放問題:「我們能預測未來嗎?能比現在預測得更好嗎?」他提到,當他請現場舉手時,超過一半的人已經在做股價預測或相關工作。
時點驗證框架才是真正的工程貢獻
這個結果取決於一個能防止代理看到未來的環境。Paranjape 描述他們從 Sumaya 的生產級框架出發——公司檔案、價格、共識預估與新聞——再加上一道以驗證 Token 強制執行的程式化時點閘門,因此「代理根本沒辦法繞過這道關卡」。每一個檔案檢索與結構化資料工具都經過修改,以遵守這道閘門。
flowchart TD
A["生產框架:檔案、價格、共識、新聞"] --> B["時點閘門,以驗證 Token 強制執行"]
B --> C["檢索與結構化資料工具配合閘門修改"]
C --> D["網路存取改由額外的帶時間戳新聞串流取代"]
D --> E["專家指引層"]
E --> F["代理進行研究與預測,例如財報前 5 個交易日"]
F --> G["財報日:將預測與實際數字及共識比對"]
網路存取是弱點。要在開放網路上做到真正的時點閘門並不實際,因此 Sumaya 改採替代方案:更多新聞串流,全部附上時間戳。評估視窗受模型知識截止日限制——測試的最新模型 Fable 5.1 截止日為六月,因此研究只涵蓋七月以後的財報,橫跨七個前沿模型、超過 450 場事件。
前沿模型如今略勝偏誤修正後的共識
標題數字差距不大,但對模型有利,而且模型越新、差距越大。預測誤差以各公司歷史波動度標準化。原始共識誤差為歷史波動度的 1.5 倍;針對「共識預估偏低、公司實際優於預期頻率較高」這個已知偏誤修正後,降到 1.18。最新模型已追平、部分甚至超越這條線。
| 指標 | 共識基準 | 模型表現 |
|---|---|---|
| 預測誤差(× 歷史波動度) | 原始 1.5;偏誤修正後 1.18 | 從 Claude Sonnet/Kimi 等級模型到 Opus 5.5、Fable 5.1、GPT-6 Astra 穩定下降 |
| 營收預測誤差 | 偏誤修正後的共識 | GPT-6 Astra「顯著優於偏誤修正後的共識」——營收的調整專案最少 |
| 命中率(預測方向 vs. 共識) | 以過去 8 季的多數基準 | 較新模型持續改善;在較難的低於共識預測上,較新模型勝過歷史多數基準,Astra 表現最佳 |
| 驚喜相關性(幅度與方向合併) | 基準 | Astra、Opus 與 Fable 顯著勝出,且彼此差距在統計顯著範圍內 |
Paranjape 特別點出一個值得追蹤的反直覺模式:模型在最大的驚喜上表現最好,也就是說訊號集中在它們的極端預測上。
代理贏在蒐集證據,輸在缺乏信念
兩個案例研究撐起質性敘事。第一個是成功案例。半導體製造商 Macom 供應資料中心,它有一家小型英國晶圓供應商,其揭露資訊顯示 Macom 的資料中心營收正在改善。代理找到這條線索,一路追到損益表,做出遠高於共識與偏誤修正後共識的預測,接近實際公佈數字。Paranjape 的形容是:代理會贏,「是在它們蒐集證據、而且能夠偏離共識的時候」。
第二個是失敗案例。在 Ross Stores,代理發現同業認列了一筆關稅退款,卻選擇不把它納入毛利率預測。預測結果接近共識,實際數字卻高得多。問題不在漏掉證據,而在缺乏付諸行動的信念。更多案例在 Sumaya 的部落格文章中。
即時資料比跑哪個模型更重要
三項消融實驗檢驗究竟什麼在驅動準確度,其中資料存取的效果最強。
- 只用引數知識——不給工具,只靠模型。Fable 的訓練資料涵蓋到 2026 年六月,理論上應該記住了截止前的檔案,但 Paranjape 說它「完全不行」。
- 過時資料——用法說會前 11 週的資料,其中仍包含上一季的業績、財測與共識,品質大約掉 12 到 15 分。這跟 Sonnet 與 Fable 5.1 之間的差距一樣大。
- 專家指引——沒有指引時,代理花在研究的 Token 與時間都較少;有了指引,研究投入大幅增加,Astra 的預測誤差也顯著改善。
- 無法取得共識——Sumaya 移除所有共識資料,並讓檔案擷取工具把新聞中的共識提及全部遮蔽。最好的模型幾乎沒受影響:Astra 在有無共識下沒有顯著差異,因為它自己就能重建共識觀點。較舊的模型在拿到共識時則出現大幅躍進。
下一步:Alpha 測試、推理研究、持續學習
這項能力已在產品中開放 Alpha 測試,Sumaya 正與客戶合作,檢驗他們的內部資料能否改善預測。會中點出兩條研究主線。第一條探問模型的推理是否近似人類推理,若否,兩者該如何結合。第二條是後訓練與持續學習——模型能否像人類一樣,從自己過去的錯誤中學習。Paranjape 請聽眾掃兩個 QR code:一個連到內容更完整的部落格文章,一個連到 Frontier Finance,供正在評估自家框架的團隊參考。
尚未解決的張力,正是標題丟擲、演講卻擱置的那個問題。在財報上勝過共識,是一個範圍明確、標註完善、標準答案乾淨的任務;這項優勢能否轉化為股票報酬——也就是 Arash 警告過的雜訊目標——這裡並沒有回答。對實務工作者更具可行性的訊號是消融實驗的排序:時點資料存取與專家指引對結果的影響,大於換上更新的模型,而最新模型甚至完全不需要被告知共識。