橋水如何把一億份檔案變成競爭優勢——Sam Green 與 Aaron Linsky 談橋水的資料平臺
橋水如何把一億份檔案變成競爭優勢——Sam Green 與 Aaron Linsky 談橋水的資料平臺
橋水的 Sam Green 與 Aaron Linsky 說明如何以一億份檔案打造 Vault 平臺;在這個平臺上,具備原生篩選能力的代理級搜尋把 precision-at-10 從 60% 提升到 90-95%,並支撐主動式的 Investor Workbench。
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Bridgewater Associates 應用 AI 團隊主管 Sam Green 主張,非結構化資料唯有經過清洗、加上時間戳,並做到足以讓真人分析師與 AI 代理都能查詢的治理水準,才會真正變成投資上的優勢;而真正的價值在於讓代理主動浮現投資人該看什麼,而不只是被動回答問題。Green 與 Bridgewater 產品工程負責人 Aaron Linsky 在本集中,把大部分時間放在 Vault 這個一億份檔案庫背後的工程細節:為什麼真人搜尋與代理搜尋的需求會分道揚鑣、一套手工打造的基準測試如何暴露出搜尋品質不佳,以及向量資料庫的過濾與規模問題又是怎麼解決的。「一億份檔案」這個說法大致公允;節目最後幾分鐘則轉向較新的 Investor Workbench 與 Bridgewater 的 AI 分析師工具。
兩位講者描述的是自己親手打造、親自營運的系統,因此以下數字都是 Bridgewater 自己的說法,並非經第三方獨立驗證。讀者讀完應該能具體掌握幾個設計取捨——精確度與規模、前過濾與後過濾、既有習慣與新工具——正是這些取捨,決定了一個資料平臺是代理真的能用,還是隻是看起來很完整。
真人與代理的搜尋需求分道揚鑣,平臺必須同時滿足兩者
Linsky 的切入點是:搜尋本來就難,而當平臺同時服務兩種容忍度截然相反的讀者時,難度更高。真人需要精確度與高訊噪比,因為閱讀速度上限大約就是每分鐘 300 字。代理對精確度遠不敏感——「只要資料在,它們就找得到」——但消耗速度約快 100 倍,每分鐘約 3 萬字。這個落差直接左右了設計。
他列出 Vault 必須滿足的五個構面:召回率、精確度、過濾、許可權控管與規模。有些對人更重要,有些對代理更重要,有幾項則兩者皆然。他深入談了其中三項。
| 構面 | 主要使用者 | 為何重要 | Bridgewater 的解法 |
|---|---|---|---|
| 精確度 | 真人 | 讀者能吸收的資訊有限,雜訊多的結果只是浪費時間 | 代理式搜尋,並以人工標註的資料集做基準測試 |
| 規模 | 代理 | 代理叢集每秒發出 100 次以上查詢,而 300 位真人使用者每小時約 100 次查詢 | Turbopuffer |
| 過濾 | 兩者 | 生產環境的追蹤紀錄幾乎總帶著某個條件——基準日期、來源或特定資產 | Turbopuffer 的「原生過濾」 |
| 召回率 | 兩者 | 語料庫補齊之後,召回率就不再是迫切的問題 | — |
| 許可權控管 | 兩者 | 跨使用者與代理的存取控制 | 演講後段才提及(未細談) |
Linsky 給的真人規模基準刻意樸素:300 位使用者三不五時搜尋一下,每小時約 100 次查詢,每次都要花幾分鐘讀完回傳的內容。代理的運作量則是高出好幾個數量級,「代理叢集輕鬆就能衝到數千次」。
一週的基準測試,把「搜尋很爛」變成可量測的目標
資料團隊與法務團隊把 Vault 填滿之後——Linsky 稱之為「一場英勇的行動」——召回率不再是問題,但頭號客訴變成了「Vault 搜尋很爛」。團隊沒有爭辯,而是直接做基準測試。他們蒐集問題、人工找出最佳檔案(包括那些看起來有幫助、實際上沒用的檔案),不到一週就湊出約 200 個範例。Linsky 的評語是:「過程既不有趣也不光鮮,但非常有用。」
關鍵指標是 precision at 10,也就是前 10 筆結果中有幾筆是正確檔案。基準值約 60%,證實了使用者的抱怨。經過一連串改善、最後一項是代理式搜尋之後,precision at 10 達到 90–95%。這裡的教訓是流程面的:一套規模小、成本低、人工標註的評估集,把一句模糊的抱怨變成了計分板,後續每一次改動都能拿它來衡量。
過濾與規模迫使團隊更換向量資料庫
生產環境的追蹤紀錄顯示,查詢幾乎不會是裸的——背後幾乎總帶著某個條件,可能是基準日期、來源或特定資產。這需要進階過濾,而過濾正是第一個重大效能問題的所在。Linsky 拆解了經典的取捨:
- 後過濾(post-filtering): 先查向量索引,再依中介資料過濾前幾筆結果。速度快,但召回率可能很差,因為全域最相關的結果未必符合過濾條件。
- 前過濾(pre-filtering): 先過濾,再對每一筆符合的資料計算距離。召回率非常好,但可能非常慢。
Bridgewater 想要介於兩者之間的做法,於是改用 Turbopuffer;它的「原生過濾」只會搜尋最接近、且含有符合項的叢集,並且只對這些專案計分。Linsky 說,結果是速度像後過濾、召回率卻接近前過濾。Turbopuffer 同時也撐住了代理規模的查詢負載。對平臺開發者的啟示是:決定向量儲存能不能禁得起真實分析查詢考驗的,是過濾策略,而不只是嵌入模型。
再好的工具,若不承接既有習慣就會失敗
Linsky 的第二個教訓是:「工具再怎麼厲害,我們也不能直接丟到投資人的桌上,就期待他們會用。」研究員並不是每天早上都會開啟 Vault。於是團隊去研究他們原本的工作方式:很多人整天住在 email 裡,研究報告直接從券商寄來,他們會維護訂閱清單,也用規則把一切歸檔到資料夾。這套做法行得通、很熟悉,而且他們知道自己沒有漏掉任何東西。
Vault 把這些習慣搬進新家——所有內容都可搜尋,訂閱清單變成儲存的搜尋,資料夾變成儲存的集合。等使用者進到平臺之後,新習慣才有機會展開:跨所有資料提問、依主題追蹤動態資訊流,以及把集合交給代理做後續處理。Linsky 說,到這個階段,他們才明確感受到產品市場契合度(product-market fit)。契合之後,需求開始擴散:Vault 進了聊天介面、手機 App、Slack 與 IDE,也開放給代理使用,包括一個 CLI——「因為代理超愛 CLI」。
Vault 支撐起日益壯大的 AI 分析師與訊號堆疊
平臺就位之後,Bridgewater 在其上打造工具,全部都以 Vault 為資料來源:
- Pocket Analyst,公司第一位 AI 分析師;Linsky 說它能在幾分鐘內、花幾塊美元,完成好幾小時的研究。
- The Researcher,新一代工具,把同樣的概念延伸到以天、以週計的研究。
- The Forecaster,客製化模型,產出 AI 生成的宏觀相關預測,與基礎模型並用,餵給系統化決策流程。
- 投資訊號,以 Vault 為基礎打造,把非結構化資料轉成結構化、可交易的策略。
貫穿其中的主軸,是研究迴圈的速度。Vault 是共用的底層;分析師、預測模型與訊號都是它的消費者。
終極目標是會主動出擊的代理,而不只是被動回應
Green 的結尾論點是:真正的價值在於讓代理從「回答人類問題」的被動資源,進化成主動參與者,把高價值專業人士導向最需要他們注意的地方。載體就是 Investor Workbench:代理隨時線上,追蹤某位投資人關心的事,並主動呈現值得「深入挖掘或直接略過」的議題。
每張卡片都附有代理生成的摘要供快速掃描、代理所依據的確切證據(讓投資人能判斷這個建議可不可信),以及直接通往上述工具研究產出的入口。當投資人與代理一起深入探究時,綜合出的結論會自動回存到 Vault,供下一輪使用。Green 的說法是:「Vault 之所以能產生複利,是因為它把正確的證據、正確的外部與內部資訊,送到我們投資人與代理的指尖,並自動捕捉他們產生的綜合結論,再放回語料庫。」
一場即時查詢示範,說明語料庫與聯結器如何決定代理品質
Green 用來破題的示範,是拿同一個投資問題——AI 基礎建設投資如何影響韓元,以及市場參與者是否預期這個影響會持續——分別對開放網路與 Vault 各跑一次。
| 開放網路代理 | 連線 Vault 的代理 | |
|---|---|---|
| 時間範圍 | 未指定特定區間 | 被提示聚焦 10 月 1 日至 8 日 |
| 候選來源 | 15 份「看起來相關」的資料 | 52 份候選檔案 |
| 答案實際引用來源數 | 1–2 份 | 7 份 |
| 自我評估 | 代理坦承無法建立市場共識 | 代理較有信心答案切中問題 |
開放網路那次最致命的失誤是:引用的主要報告之一發表於 2026 年 7 月,但問題是在 2026 年 10 月初提出、答案也是當時產出的。Green 的重點是,在投資領域「三個月是一段極長的時間」——過期的來源不是小瑕疵,而是足以讓結論作廢的致命傷。Vault 的貢獻有兩層:一是規模大得多的投資相關內容語料庫,二是會提示代理限縮時間範圍的聯結器。
Vault 的規模與加值處理是整個基礎
Vault 收納超過一億份檔案,每天、每分鐘都還有數千份新資料進來,來源包括 135 個外部來源,以及 Bridgewater 所有內部資料——備忘錄、會議逐字稿,還有過去「飄在虛空之中」的內部辯論。關鍵在於,檔案不是原封不動丟給投資人,而是對齊 Bridgewater 的內部知識本體(ontology),並加上國家、概念、市場,以及最重要的——所討論的時間區間——等加值標註。
Green 把這件事定位成公司歷史的延續。50 多年來,Bridgewater 一直追求對市場與經濟運作方式的最佳理解,並把它系統化地編碼下來:從黃色橫線筆記本上的 if-then 規則,到建立在嚴謹治理之結構化資料上的時間序列模型,再到如今的 AIA(Artificial Investment Associate,人工投資助理),把機器放在這個持續迴圈流程的核心。語言模型開啟了非結構化資料的廣闊世界,但這些資料需要和結構化資料一樣的對待:清洗、治理,並且同時適合單一時點的研究與長期的系統化研究。市面上沒有廠商能提供公司想要的掌控度,於是 Bridgewater 乾脆自己打造平臺。
flowchart TD
A["135 個外部來源,加上內部備忘錄、逐字稿、內部辯論"] --> B["清洗與治理"]
B --> C["本體對齊與加值標註:國家、概念、市場、時間區間"]
C --> D["Vault,一億份以上檔案"]
D --> E["真人介面:聊天、手機 App、Slack、IDE、儲存的搜尋"]
D --> F["代理介面:API、CLI"]
E --> G["Pocket Analyst、Researcher、Forecaster、投資訊號"]
F --> G
G --> H["Investor Workbench:主動推送的議題卡片"]
H --> I["投資人的綜合結論回存至 Vault"]
I --> D
平臺論述留下的未解問題
這場演講是開發者現身說法,所有主張都出自 Bridgewater 之口:精確度從 60% 躍升到 90–95%、100 倍的閱讀速度落差、查詢頻率數字,以及示範比較,全都是打造這套系統、也從中受益的人自己報告的。有兩件事只被宣稱、沒有被展示。其一是許可權控管——橫跨 300 位真人使用者與高速運轉的代理叢集的存取控制——被列為五大核心構面之一,卻只是帶過而沒有說明。其二是複利迴圈:投資人與代理產生的綜合結論會迴流到語料庫,這就牽涉到演講沒有處理的治理問題——回存的綜合結論在成為下一次查詢的證據之前,是如何被驗證的?無論如何都站得住腳的策略重點是:護城河在於那些不光鮮的底層工作——人工標註的評估集、正確的過濾策略,以及能貼合使用者既有習慣的介面——而不是在模型本身。Green 對聽眾的結尾提問把這個論點講得最明白:「你的 AI 知道世界上正在發生什麼事嗎?它記得你的公司從中學到了什麼嗎?」