跳到正文
AI Engineer(youtube.com)· Kevin Madura·· 14 天前品質評分58

Claude Code 看似正確,卻漏掉 80 萬美元——AlixPartners 的 Natalia Connolly 與 Kevin Madura

Claude Code 看似正確,卻漏掉 80 萬美元——AlixPartners 的 Natalia Connolly 與 Kevin Madura

重點導讀

AlixPartners 的 Natalia Connolly 與 Kevin Madura 說明:Claude Code 對醫療保健併購合約的分析看似合理,卻漏掉 80 萬美元;直到他們建構五階段管線、處理超過 4 萬份合約,並把業務邏輯與情境嵌入其中,問題才獲得解決。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Natalia Connolly 與 Kevin Madura 同屬顧問公司 AlixPartners 的 AI 與資料團隊。他們主張,Claude Code 在採購分析中最危險的失效模式並非明顯錯誤,而是格式漂亮、語氣篤定、實際上卻悄悄算錯的答案——在他們經手的併購案裡,合約總值差了約 80 萬美元,自動續約期限寫成 12 月 1 日,實際日期卻是 11 月 1 日。本集主要是一位實務工作者現身說法:說明這件事為何發生,以及他們打造了什麼來防範——五階段資料管線、把商業邏輯寫進去的自訂工具與 MCP 伺服器,以及供平行節省代理使用的對帳流程。80 萬美元的失誤是引子,但整場談話的重心在資料工程與代理治理。

兩位講者帶聽眾走過一個真實專案的合成複本:大型醫療集團母公司「Harbor Health」收購區域型利基業者「Summit Health Plan」,兩家公司都與名為「Acme Health Services」的供應商簽有合約。他們的權威其來有自:這套管線是他們親手打造、實際跑過四萬多份合約,也直言前期花了兩週準備工作,以及哪些錯誤塑造了他們的建議。讀者讀完應該帶走三件事:一份合約資料失效模式的具體分類、該把商業邏輯放在哪裡(放在工具裡,不是提示裡),以及兩條收尾原則——先結構化資料,再讓代理碰;商業脈絡終究比上下文視窗大小更重要。

代理的錯誤答案看似合理,並非壞掉

本集的定錨事件是一種「完整性的錯覺」。兩人一開始把採購問題丟給 Claude Code——Harbor Health 併購後能否向 Acme 談到更好的條件、能省多少、必須多快行動——輸出結果用 Connolly 的話說,「看起來很完整」、「格式當然很漂亮」,而且「合理到足以採信」。逐題回倉儲核對,才把對的與錯的分開。

答案結果
年度總支出正確
兩家公司各自的支出拆分正確
合約數量正確
合約總值錯誤,差約 80 萬美元
最早到期合約自動續約前的行動期限錯誤——代理說 12 月 1 日,實際是 11 月 1 日

日期錯誤才是真正會咬人的那個。採購主管若信了代理、等到 12 月 1 日才動作,合約就會自動續約,「不管我們想不想要」。根因很細微:問題要的是依續約條款推算的日期,代理卻從終止條款抓日期——Madura 後來稱之為「小事一樁」,但這種小事會疊加錯誤率。

「代理說是 12 月 1 日。實際日期是 11 月 1 日。」——Natalia Connolly

合約資料比表面上看起來更亂,四種失效模式反覆出現

Connolly 的核心論點是:從合約萃取資料看似簡單,其實不然。她點出四個反覆出現的問題,團隊都必須先處理掉,Claude Code 才值得信任。這些問題都不稀奇,重點是它們在專案初期完全看不見。

  • 靜默的預處理失敗。 超長合約會卡在預處理階段動彈不得。如果你捕捉到逾時例外就往下走,這份合約永遠不會進到資料庫,而你根本不知道它漏了。
  • 孤兒增補條款。 母合約的增補條款沒有連回母合約,變成孤兒四處飄。80 萬美元的失誤正是這樣來的——Claude Code 找不到那個孤兒。
  • 重述型增補條款。 一份主服務協議加上兩份增補條款,而每份增補條款都重新載明合約總值。天真的代理會把金額加總,報出約 1,700 萬美元;但合約文字寫明每份增補條款是「重述」總值,所以正確答案是 700 萬美元——以最新一份增補條款的金額為準。教訓是:讀文字,不要只看數字。
  • 跨頁斷裂的表格。 費率表橫跨多頁,第二頁接續時只剩數字、沒有表頭,代理只能猜每個數值代表什麼。

解法靠的是時間,不是聰明。Connolly 與 Madura 花了約兩週打造穩健的資料處理管線,之後才大規模開跑;管線完成後,四萬多份合約一夜跑完。她指出,同樣的工作若靠人工,需要「遠比我們兩個人更大的團隊」和可觀得多的時間。

五階段管線把檔案變成可查詢的資料庫

架構是本集中段的主體。Connolly 列出五個階段,並刻意把 Claude Code 壓到結構化資料就緒之後才上場。

flowchart TD
    A["原始合約,四萬多份檔案"] --> B["1. 預處理——檔案智慧、OCR"]
    B --> C["2. 分類——主服務協議、增補條款、保密協議"]
    C --> D["3. 條款、費率與支出萃取"]
    D --> E["4. 將服務對應到支出類別"]
    E --> F["5. Claude Code 對結構化資料表進行分析"]
    F --> G["以程式逐一驗證每個答案"]

兩個設計選擇很關鍵。第一,結構化資料表在代理上場前就建好,一來幫助 Claude Code,二來讓每個答案事後都能用程式碼驗證。第二,管線在萃取階段就明確處理跨頁表格,而不是留給代理自行推斷。產出實質上就是一個資料庫,裡頭全是事先已知相關的元素——費率級距、回饋金、其他具名資料點——再由代理填值。

先結構化資料,再讓代理自己打造工具

Madura 負責的部分是「知識該放在哪裡」。他的論點是:讓 Claude 直接對非結構化資料「猛啃」很誘人,這也確實是可行做法;但在你事先就知道需要費率級距與回饋金的專案裡,應該先把這個框架結構化,再讓 Claude 填值。資料一旦高度結構化,Claude Code 就能為自己動態打造工具——常見的如執行 SQL、列出資料表,加上專案專屬的捷徑,例如「取得費率卡頁面」或「取得特定供應商支出」。

商業邏輯就住在這些自訂工具裡。合約文字看不出來的眉角與脈絡,寫進工具查詢與回傳資料的方式,而不是寫進提示。Madura 說,團隊更依賴自訂工具與自訂資料庫檢視來落實規則,而不是靠提示。他打了個明確的比方:Claude Code 本來就是為了自主穿梭於混亂的程式碼庫而打造,而表格式的合約與支出資料是類似的問題。

打包這一步把一次性戰果變成可重用的基礎設施——自訂 MCP 伺服器與設定會留存下來,知識與商業規則得以在整個專案生命週期裡累積,而不是每次重新發現。資安方面,Madura 講得很簡單:定義一組你覺得安心的操作,其餘全部封鎖,並在事前就強制執行。他把這個框架歸功於活動前一場關於代理資安的演講。

多模態頁面與受控存取,是代理悄悄出錯的地方

兩個較小的技術要點,風險卻不成比例地大。第一是圖表。合約頁面文字密集,但不盡然都是文字;一張圖表丟進天真的 OCR,只會得到座標軸,圖表裡的資訊全丟了。團隊的解法是把合約頁面當成影像,送進 DSPy 產出高度結構化的輸出——把非結構化頁面變成一個相關元素的資料庫。Madura 提醒,這可能是個「苦澀教訓」型的問題,六到十二個月後就變得無關緊要,但至少解決了眼前的案子。

第二是存取治理,而且兩面都會出問題。由於 Harbor Health 與 Summit Health Plan 是各自獨立的實體,兩邊的資料存取許可權不同,有些工具呼叫回傳了格式錯誤的值、零,或許可權錯誤。Claude Code 沒收到有用的回饋,就當作某張發票真的是零,繼續往下做。教訓是:當存取被拒或治理失效時,要明確告訴代理哪裡出了問題,讓它能優雅地失敗、改從另一個權威資料庫取回,或標記給人工處理——尤其當輸出要餵進節省分析時更是如此。

平行節省代理需要一套規定明確的對帳步驟

AlixPartners 在該領域約有 20 年經驗的同事維護著一套節省槓桿庫——共用供應商、不同供應商採購相同服務等等。團隊派出代理平行執行每個槓桿,Madura 說結果「其實相當不錯」。問題出在後頭:各項發現必須去重,免得同一筆潛在節省、來自同一供應商或同一來源,被算了兩次。

他們的解法是一套獨立、規定極為明確的對帳流程,以 DSPy 為核心,明定要評估哪些資料點、如何對帳、什麼才算可接受的下一步。Madura 把這連結到活動中另一場關於用 DAG 執行政策的演講——同樣是讓高度結構化的工作流程來規範工作如何推進。

最常見的失效是缺少商業脈絡

Madura 說這是事後回看最明顯、實務上卻最棘手的一課。在一樁進行中的併購案裡,管理層已經開始推動部分措施。代理產出很強的節省建議,卻「立刻被打回票」,因為公司三個月前就已經啟動了。難處在時機:要在對的時間點把對的脈絡送進 Claude,讓前期分析不被綁手綁腳,最終建議又不至於離題。

他提出的機制是知識累積——一套記憶系統,或把規則寫進工具,讓代理不必花 Token 重新發現已經標記過的問題。收尾的結論由此而來:前期就投入 Token、心力與金錢把資料結構化,Claude 才不會原地空轉;並接受「脈絡仍是王道」。Madura 承認檢索式做法與大上下文視窗的存在(他點名 RLM,以及觀眾席的同事 Raymond),但說兩者都取代不了商業脈絡。

未解的張力正是 Madura 自己提出的:如果更好的模型在六到十二個月內吸收掉這套鷹架的一大部分,那麼耐久的資產就不是管線,而是被寫成程式碼的商業規則,以及圍繞這些規則的對帳紀律。要投入類似工作的團隊,應該把兩週的管線建置視為便宜的那一段,而把個案專屬脈絡的累積——管理層已經推動了什麼、哪一條款管哪一個問題——視為決定代理那份自信答案到底對不對的關鍵。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論