用昨日的網路回測你的代理系統——專訪 Exa 工程師 Ryan Ahern

Exa 的前線部署工程師 Ryan Ahern 主張，AI 代理需要具備版本控制功能的網頁搜尋，讓團隊能對照過去某個時間點的網頁樣貌回測代理系統，而不是信任可能洩漏未來資訊的即時搜尋結果。這場演講大部分時間花在說明 Exa 為何將自己定位為以品質、成本與延遲取勝的搜尋實驗室，以及示篩 Exa Snapshot 的實作併購預測練習；回測論證貫穿全場，約三分之一議程則是現場工作坊與排行榜。

Ahern 的論點建立在一個具體機制上：Exa 索引約 1,000 億份檔案、涵蓋數兆個 URL，並保留頁面的舊版本，因此查詢可以指定日期、重播當時的網頁狀態。這一集對量化研究員、風險與盡職調查團隊，以及任何正在打造代理功能、需要證明搜尋工具確實帶來預測價值（而非僅是假設其有用）的人最實用。工作坊的高潮則是一堂過度擬合的教訓：得獎作品部分是鑽破可見公司名單的漏洞，Ahern 說這正是為何必須保留留出集（holdout set）。

Exa 把搜尋賣給代理，而非賣給人

Ahern 用舉手錶決開場，指出這個轉變：多數聽眾以前用 Google 做桌面研究，現在改成請 ChatGPT 或 Claude 幫忙找資料。他的解釋是行為面的。人類「有點懶」，看到第一頁就停；AI 系統則會持續搜尋直到滿足需求，而模型「相當順從」，所以會一直試下去。每當模型碰到知識視窗的邊界，就會呼叫 Exa 這類工具。

Exa 公開的客戶是代理型應用，不是一般消費者。Ahern 點名 Cursor：它在回答程式問題需要檔案時會呼叫 Exa；以及 Gamma：它會呼叫 Exa 抓取資料，例如為了做一張投影片而調出美國銀行 2019 年的財務報酬數字。他說 Exa 為「全球一些最大的程式代理與代理型應用」提供搜尋。

在金融領域，Ahern 說他合作的物件包括對沖基金、主權財富基金、資產管理公司與創投。各方動機不同：對沖基金想要可用來交易的 alpha，資產管理公司想要預測風險，創投則想在 The Verge 報導之前先找到熱門新創。

Exa 在品質、成本、延遲的三角中競爭，並自建基準

Ahern 把 Exa 定位為「一間實驗室」，做的是基礎研究，而非薄薄的搜尋外殼，並圍繞三個軸線組織整場說明。

| 軸線 | Exa 的主張 | Ahern 描述的機制 |
|---|---|---|
| 品質 | 結果必須即時且相關 | Exa 自建「再生式基準」，因為公開基準會被競爭對手與實驗室拿去訓練；繫結客戶實際用例的基準才能持續有用 |
| 成本 | 降低輸入 Token 花費 | Exa 只回傳所需的 Token，而且是跨所有結果、不只一個結果，讓呼叫的代理少付上下文成本 |
| 延遲 | 全光譜 | 快的一端是低於 300 毫秒的搜尋；慢的一端是耗時 20 分鐘的深度執行，回傳了 3,212 家電玩發行商及其開發商關係 |

基準這點最為犀利：Ahern 主張，任何靜態的公開基準都會被每家供應商逐步攻克，唯一持久的品質訊號，是客戶能針對自身任務持續維護的那一套。

Snapshot 可重播過去某日的網頁，有兩種模式

Exa Snapshot 正是這場議程要發表的能力。由於 Exa 會儲存它遇到的每個頁面版本，包括後來才發現的較舊版本，索引中的每個 URL 都能以過去某個日期為準進行查詢。Ahern 提出兩種存取方式：

• 內容版本查詢 — 提供已知 URL 與日期，Exa 回傳該日期的頁面內容，或它所持有最接近的較早日期版本。這保證了 Exa 在當時會提供的版本。
• 版本搜尋 — 執行一般搜尋查詢，但針對所選日期當下的網頁狀態執行，而不只是針對單一 URL。

他引用的索引規模約為 1,000 億份檔案、追蹤數兆個 URL。

即時搜尋會把未來洩漏進回測

版本控制的核心論據是汙染。若預測系統搜尋即時網頁，它會看到自己本該預測的結果。Ahern 舉例：一家已被併購的公司會顯示為「已被併購」，於是天真的系統在併購預測上拿到 100% 的真陽性率，卻什麼都沒預測。

他也攻擊一種更隱微的洩漏：文章發布日期。Ahern 說發布日期會不斷更新，有時是合理的更正，有時是因為「SEO 很愛最新文章」，因此發布日期這項特徵不能用於有實質後果的決策。Snapshot 讓團隊能精確限定每個時間點可見的資訊範圍。

「任何即時搜尋必然保持最新……但這也把未來的知識洩漏進了對過去的評估。」

三種回測模式，從特徵蒐集到全代理系統

Ahern 依系統自主程度由低到高，鋪陳團隊使用 Snapshot 的程序。

flowchart TD
    A["傳統模型，執行時不使用 Exa"] --> B["Snapshot 為既有模型蒐集歷史特徵"]
    B --> C["在傳統模型上外掛代理型特徵"]
    C --> D["全代理系統，自行決定何時搜尋"]
    D --> E["把世界凍結在某個日期，讓代理執行，再對結果評分"]

第一種模式中，模型已經存在，Exa 完全不在生產環境裡；Snapshot 只用來重建特徵，例如把特定 URL 的過去版本抓進一個數值陣列。第二種模式中，線上系統用 Exa 把非結構化的網頁內容轉成結構化訊號，每個代理型特徵都個別對照已知結果回測，以便在加入前調校。第三種模式中，整個系統都是代理型，在執行時自行決定工具呼叫，混合內部知識與外部結構化及非結構化來源。

Ahern 對第三種模式的說明是程式碼的模型評估：在一個 pull request 被解決之前凍結外部儲存庫，讓系統執行，再檢查它是否解出任務。這能把模型權重的進步，與從未來洩漏進來的資訊隔離開來。

工作坊：提前 1 天、7 天、30 天預測併購

這場練習把聽眾設定成一名工程師：老闆的老闆聽說了代理型搜尋，只有 20 分鐘要向投資組合經理 demo，而且沒有程式代理可用，一切只能手動完成。任務是寫出是非型特徵來預測公司是否被併購，再由 Snapshot 在併購前 1 天、7 天、30 天評估，未遭併購的公司則在隨機日期評估。

計分刻意設計成不對稱：在三個提前時點任一正確標記併購得 +1，誤報 −1，漏報或放棄則為 0。公司名單共 10 家，混入已併購與未併購公司作為混淆變數。Ahern 自己的示範特徵「這家公司是否失去執行長或財務長，或任命了過渡期領導層？」在 Delivery Hero 上正確觸發，但也在未被併購的 Quadrion 上觸發。加上「是否曾被報導正在探索出售？」抓到更多併購，卻產生大量誤報；把兩者以 AND 而非 OR 結合後，分數有所提升。

排行榜證明瞭它原本要警告的過度擬合問題

前三名分別來自 Zane、Rui 與 John，在臺上被念出來。Zane 的特徵是「這家公司是否為上市公司？」以及「這家公司是否是 Clygen、Vitrus、Bank of Cryptos 與 American Electric Power 以外的公司？」——這份排除名單直接點名了未遭併購的公司。John 的特徵則包含一個真正的訊號（維權投資人公開要求出售，或股價至少比五年高點低 60%），再加上「它是否叫 Dominion？」

Ahern 的反應是全場最誠實的自白：

「這是個很好的例子，說明為何你需要回測，以及為何你需要用留出集回測……我不認為這個特定演算法未來會成功，但誰知道呢？」

他說自己為了讓練習簡單而拿掉了留出集，現在很後悔，最後叮嚀全場：任何類似的競賽都要加一組留出集。

重點整理與下一步

Ahern 的總結有三點：Exa 是高品質、具成本效益的代理型搜尋，延遲可依系統需求調整；Snapshot 讓團隊能證明搜尋改善了模型，而不是假設它有用；任何評估都需要留出集，否則一定會被鑽漏洞。結尾投影片附上 Exa 的檔案與部落格連結，以及聯絡信箱；Ahern 提到 Snapshot 是企業功能、已有部分公開使用，企業存取則透過他的團隊安排。

尚未解決的張力，正是工作坊意外暴露的那一點。Snapshot 讓時點評估成為可能，但評估品質完全取決於測試集如何建構與隱藏。具版本控制能力的網頁從資料端解決了洩漏問題；它對評估者端的洩漏毫無幫助，而排行榜正是在那裡失守。採用 Snapshot 的團隊要有心理準備：投在留出集設計上的心力，恐怕不會少於搜尋整合本身。