跳到正文
AI Engineer(youtube.com)· Joao Wenzel·· 15 天前品質評分58

你的公司對自己毫無模型,代理能替你建一個——Citadel Securities 的 Joao Wenzel

你的公司對自己毫無模型,代理能替你建一個——Citadel Securities 的 Joao Wenzel

重點導讀

Citadel Securities 的 Joao Wenzel 說明如何從 Slack、PR 等雜亂的由下而上訊號,建構出公司的「世界模型」;結果顯示,專精代理讓有洞見的更新數量翻倍,而被標記為綠燈的專案,實際轉紅的機率是兩倍。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Citadel Securities 的工程師 Joao Wenzel 主張,企業應該打造一個具備代理能力的「狀態估計器」(state estimator),持續把雜亂的內部證據整合成一份活的組織模型,而不是假設只要對已索引的檔案做檢索就夠了。整場演講大部分時間都花在這套系統的運作機制上:從簡報中擷取狀態、挖掘 Slack 與 pull request、依時間新舊衰減主張的可信度、預測哪些專案會延誤,以及設計人類回饋迴路。標題那句「企業對自己沒有模型」的說法,只是這場工程導覽的開場鋪陳,並非另闢篇幅深入論證的獨立主張。

Wenzel 來自一家「連矽晶片都自己做」的企業,公司裡超過三分之二的員工寫程式,代理(agent)早已在日常工作中協助作業。他描述的系統是累積約三年、按月建立的紀錄所打造出來的;他也坦言哪些問題仍未解,包括客戶紀錄的去重複化,以及何時該信任一個沉默的資料來源。讀者讀完應該能掌握 Citadel Securities 實際採用的具體迴路(更新、老化、觀察、評分、修正)、這套迴路背後的實測結果,以及 Wenzel 點出、有待後續研究的未解問題。

把企業的自我認知當成狀態估計器,而非搜尋索引

Wenzel 的核心類比來自機器人學。狀態估計器對某件事抱持一個信念,缺乏佐證的時間越長,信心就越低;一旦有新的觀測進來,又會立刻回到確定狀態。他主張,代理在為一家公司建模時也該遵循同樣的結構:每一項主張都帶著時間、來源,以及與其他「感測器」的一致程度。他說一次更新應該權衡三項輸入:距離上次收到訊號過了多久、來源是否仍值得信任,以及這個訊號是否大致上與其他來源相符。

他把策略拆解成代理必須能回答的三個問題——我們現在站在哪裡、接下來會發生什麼、我們是怎麼走到這裡的——並表示少了豐富的關係脈絡、專案歷史與組織政治,這三個問題一個都答不出來。而這份脈絡必須從兩個方向拼湊:

方向來源特性
由上而下策略簡報、狀態報告、會議紀錄整齊但經過包裝;「西瓜專案」外表綠、裡面紅
由下而上Slack 討論串、會議紀錄、程式碼變更、代理工作階段軌跡雜訊多但貼近真相,訊號埋在裡面

兩邊的證據在模型層交會、整合。Wenzel 的警告是:把一切索引、編目並不足夠,因為真正重要的資訊藏在「字裡行間」,連最先進的模型都難以捕捉。

從簡報擷取狀態,得把 XML 與視覺模型合起來用,而不是二選一

Wenzel 以一份每月 BizOps 狀態簡報作為第一個具體例子,並形容這個擷取問題「極具欺騙性」。拆開 PowerPoint 檔可以取得 XML,但系統隨即撞上一道概念高牆:什麼算綠色?綠色的十六進位色碼又是多少?把投影片截圖丟給視覺模型則有另一種失敗模式——低解析度圖片貼回簡報後,模型只能「瞇著眼猜那到底是 31 還是 81」。

他的解法是兩者並用:XML 解析結果加上視覺模型輸出,合起來才能還原真實樣貌。他提出的通則是「優雅來自於把東西整合起來、加上更多資訊」。接下來系統需要時間上的連續性,因為企業檔案只會不斷累積。他提到有個專案在三月自行改了名字,逼得系統必須維護一層可縱向追溯的稽核紀錄。就算簡報處理流程做得再好,也只看到一半的真相:簡報上寫綠色,五天後 Slack 討論串裡的一張儀錶板截圖卻證明並非如此。

更新迴路只寫入證據與推理,絕不改寫歷史

Citadel Securities 跑的是五階段迴路——更新、老化、觀察、評分、修正——每個階段都有代理參與,但模型只負責提出變更建議,紀錄實際上怎麼更新由程式碼與人來決定。Wenzel 強調,更新這一步絕不更動先前的月份,只會向前修補,這正是下游評估得以穩健的原因。

每一筆更新紀錄都會記下:回報了什麼、證據指向何處、以及為什麼。舉例來說,某個專案簡報上是綠色,代理卻標成黃色,因為一則留言提到還有未結案的相依專案。系統也能跨改名推斷出同一個專案:透過檢視參與者與目標的連續性,它可以判定一個新命名的專案其實就是 Project Northstar。

談到「老化」階段,Wenzel 的重點是每個事實都有半衰期。上線日期一再跳票——一月說第二季,接著變第三季,再變成十月。正因為系統蒐集了這些資料,才能產出分析性的發現;他引用過去三年紀錄中的兩項:平均有一半的交期會在兩個月內變動,而這些變動中有九成是往後延、比原本提出的日期更晚。這就是為什麼每一項主張都得附上日期,好讓代理在被問到某個專案、某個人或整體企業意圖時,能套用時間新舊的加權。

專家代理工作流程讓有洞見的更新數量比單次處理多出一倍以上

Wenzel 在「觀察」階段給了一個戰術性的教訓。最初的做法是讓 Claude 這類模型一次讀完整個語料庫——「就直接 YOLO 下去」——結果資訊流失、細節也顧不上。修正之道是一套精心設計的工作流程:由一系列專家代理拆解檔案、各自尋找特定線索,再交由其他代理審查。實測結果是:改採這套做法後,針對特定專案產出的有洞見更新數量增加了一倍以上。他的結論是:工作流程的設計要有意識,別假設單次處理就能奏效。

回測顯示:被標記為綠色的專案,實際轉黃或轉紅的機率是兩倍

預測能力是整場演講最引人注目的部分。由於系統保留了歷史快照,Wenzel 可以取某個過去日期的快照——他以二月為例——把代理當時標記為可能延誤的專案,與後來實際出現的標籤做比對。結果顯示:狀態為綠色但被標記的專案,實際轉為黃色或紅色的機率是兩倍。他對限制說得很謹慎:系統還無法預測究竟哪裡會出錯,但能告訴你該去看哪裡。他提到有 18 個案例是代理給出了標記判定。

更難處理的是完全沒有被標記的案例,他說這正是產品直覺派得上用場的地方。他投入了「相當可觀的心力」研究如何蒐集人類回饋——在使用者原本就在用的工具裡與他們接觸(App、Slack、email),並讓蒐集機制盡可能簡單。問什麼也很重要:問單一事實,只會修正一項輸出;問一條規則,代理就能修正該規則涵蓋的所有輸出,現在與未來都適用。因此紀錄會區分哪些是代理推斷出來的、哪些是人類確認過的。

沉默的感測器不等於讀數為零,而客戶紀錄缺乏統一識別碼

Wenzel 把感測器的類比延伸到資料來源的有效性。開車開到一半時速表消失,不代表車子現在時速為零——那是訊號故障。Citadel Securities 就碰過一模一樣的情況:某個 Slack 頻道安靜下來,卻被當成零訊號處理,而它根本不該如此。團隊反覆調整,追蹤每個感測器上次成功取得資訊的時間、上次狀態健康的時間,以及兩者出現落差時該怎麼處理。修好之後,紀錄讀起來更貼近真相:不是綠色、上線延了兩次、證據顯示黃色、有人在討論測試失敗。

接著他點出兩個自己也沒有乾淨解法的問題,並邀請大家在演講之外繼續討論。第一是實體解析:同一個客戶在四個不同系統裡有四筆紀錄,卻沒有統一識別碼,該如何優雅地對應起來。第二是一套依信心與利害程度決定何時升級給人處理的決策框架——模型有把握且利害低時就自動套用;沒把握且利害低時就再等更多證據;利害高時,則要審慎決定該問誰、什麼時候問。

這一切的產出被用來引導經營團隊的討論。與其流傳一份大家都草草帶過的簡報,系統改從簡報與證據互相矛盾的地方切入,並每週為主管產出一份摘要,說明哪些事情有下文、哪些事情沉寂了。Wenzel 也描述瞭如何把這套模式延伸到客戶業務:納入各種分散的內外部來源,建立「誰持有什麼、客戶對什麼有興趣」的模型。

flowchart TD
    A["由上而下:簡報、狀態報告"] --> C["更新:記錄回報了什麼、證據指向何處、為什麼"]
    B["由下而上:Slack、PR、代理軌跡"] --> C
    C --> D["老化:附上日期、套用時間新舊加權"]
    D --> E["觀察:專家代理加上交叉審查"]
    E --> F["評分:用後續實況回測標記"]
    F --> G["修正:由人類確認事實或規則"]
    G --> C

「你應該把公司應有的模型想成一個狀態估計器……別假設只要把一切索引起來、編目起來就夠了。」

「比如說你在高速公路上開車,時速表突然就……消失了,那不代表你現在的時速是零。」

未解的張力在於自動化與「知道何時該問人」之間

Wenzel 收尾的三點建議——把公司模型當成狀態估計器、用後續實況來評分並從一開始就內建評估、設計一個讓模型、代理與利害關係人「好好協作」的迴路——其實不如他留下的空白來得有意思。那項預測結果(被標記的綠色專案惡化機率是兩倍)建立在不算大的樣本上,而且回測過程聽眾無法檢視。升級框架只是原則宣示,並非經過驗證的政策。至於客戶紀錄對應的問題,則完全沒有答案。對現在才要起步的人來說,最具體可行的一句是他這句話:立刻開始蒐集縱向紀錄,因為 Citadel Securities 成果背後那三年的歷史,正是讓整套系統其餘部分得以運作的資產,而這是無法事後補買的。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論