答案正確、理由錯誤:AI 預測 Costco 財報——Hassan El Mghari 與 Omar El Mghari,Together AI
答案正確、理由錯誤:AI 預測 Costco 財報——Hassan El Mghari 與 Omar El Mghari,Together AI
Hassan 與 Omar El Mghari 以開源大型語言模型(LLM)預測 Costco 獲利,準確率達 4.4%,但他們那位會計師父親的查核顯示,兩個重大誤差剛好互相抵銷,證明專家驗證不可或缺。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Together AI 開發者體驗負責人 Hassan El Mghari 認為,用 LLM 做出的財務預測即使誤差落在真實數字 4.4% 以內,仍可能是錯的——因為兩個方向相反的誤差剛好互相抵銷。他與父親 Omar El Mghari(會計師、前四大會計師事務所審計師)一起說明:他們如何讓開源模型根據 214 份公開申報檔案建立 Costco 的獲利模型、如何用 Costco 2024 年 7 月的會員費調漲來驗證,以及為什麼流程中納入領域專家後,能抓到工程檢查漏掉的問題。這場議程是 15 分鐘的研討會演講,不是訪談;大約一半在講模型建構流程的技術細節,其餘則是 Omar 對模型自行編造假設的查核。
Hassan 負責打造應用程式,並在 Together AI 平臺上跑完整條流程;Omar 在四大會計師事務所待了 25 年,之後在多間數十億美元規模的企業擔任財務長與內部稽核主管,這次擔任審查模型的「流程中的人」(human in the loop)。讀者讀完應該能具體掌握如何設計一條 LLM 預測流程(帶時間戳的事實、由模型撰寫公式、平行執行、自動化檢查),也更清楚為什麼通過這些檢查不等於結果正確。
預測之所以準確,是因為兩個錯誤互相抵銷
表面結果很漂亮:五次模型建構平均下來,會員費調漲後 Costco 獲利預測與實際數字的誤差在 4.4% 以內,各次建構則落在 0.7% 到 5.2% 之間。Omar 的查核顯示,這個數字是碰巧湊出來的。模型把調漲套用到 Costco 全球會員,而不是隻套用到受影響的美國與加拿大會員,因而高估了會員基數;同時它把高階會員(executive tier)佔比設為 15%,但 Costco 申報檔案揭露的是 45%,等於低估。一個錯誤把估計值往上推,另一個往下拉,兩者大致互相抵銷。
Omar 用一個查核技巧示範這個結果有多脆弱:只修正兩個假設中的一個,模型表現就明顯變差。把編造的 15% 換成真實的 45%,誤差立刻擴大到 28%。他對這件事的結論講得很直白:
「在審計的世界裡,運氣不算一種控制措施。」
他提出的實用檢驗很有診斷力:如果兩個假設看起來會互相抵銷,就修正其中一個,看錶現是否變差。如果會變差,那模型從來就沒對過。
模型編造數字,再引用真實檔案來佐證
最嚴重的失誤不是算術,而是披著合法引用外衣的捏造輸入。以高階會員佔比為例,模型只給了一條引用——「高階會員滲透率提升」——這確實是 Costco 申報檔案裡的真實說法,但其中沒有任何數字。15% 這個數字是模型自己生出來的,連帶的合理區間(5% 到 30%)也是它編的。實際揭露的數字是 45%,而模型沒能從提供給它的檔案中萃取出來。
Omar 的查核還揪出一個失效的變數:某個美國/加拿大的假設對銷售與會費的影響都是零,也就是說,一個本該驅動預測的變數完全沒起作用。他指出 16 次平行執行都以同樣方式出錯,產生的會費調漲影響估計從 5 億美元到 60 億美元不等,而重新計算後的實際數字約為 4.5 億美元。
| 假設 | 模型設定值 | 實際/揭露值 | 對預測的影響 |
|---|---|---|---|
| 高階會員佔比 | 15%(編造;5–30% 的區間也是編的) | 45%(申報檔案揭露) | 低估獲利 |
| 會費調漲適用的會員基數 | 全球會員 | 僅美國與加拿大會員 | 高估獲利 |
| 美國/加拿大銷售與會費變數 | 變動為零 | 應有變動 | 失效變數,原因不明 |
| 會費調漲的獲利影響(16 次執行) | 5 億至 60 億美元區間 | 重算後約 4.5 億美元 | 離散度大,全部錯誤 |
模型選擇必須避開訓練資料汙染
團隊第一次嘗試用的是較新的開源模型 GLM-5.3 與 Chimera-3,結果發現它們早就知道 Costco 調漲會費,因為 2024 年 7 月的公告就在它們的訓練資料裡。他們改用事件發生前訓練的模型——GPT-OSS-120B 與 Llama-3.3 70B——並用一個直接的問題驗證訓練截止點:「Costco 在 2024 年有調漲會員費嗎?」較新的模型回答有,較舊的則沒有。
Hassan 的原則是:任何預測工作都需要一個訓練資料截止於被預測事件之前的模型;而開放權重模型很適合這麼做,因為你可以辨識並依訓練截止日期來挑選。那句驗證問題則是一個成本低、可重複使用的汙染檢查。
給模型結構化的事實,讓它寫公式而不是給答案
這條流程刻意把「模型知道什麼」和「模型算出什麼」分開。Hassan 爬取了約 214 份 Costco 公開申報檔案——季度與年度財報、銷售報告——轉成約 3,000 條帶時間戳的事實,再篩選出截止日期之前可取得的資料。模型的工作是輸出結構化的 JSON 公式與假設,而不是從頭到尾自己算算術。
Hassan 舉的例子是 Costco 的遞延收入認列:申報檔案裡一句「會員費收入採遞延基礎認列」,會轉成一個結構化物件,運算元為「按期攤銷」(ratable)、期間為「52 週」,意思是 65 美元的會費要分攤到 52 週,而不是第一天就全額入帳。要把會員費收入預測準,這個認列慣例非弄對不可;而這正是模型可以萃取、卻不該被要求在單次生成中默默套用的規則。
flowchart TD
A["214 份 Costco 公開申報檔案"] --> B["約 3,000 條帶時間戳的事實"]
B --> C["篩選出截止日期之前的事實"]
C --> D["16 次平行 GPT-OSS-120B 執行"]
D --> E["模型以結構化 JSON 撰寫假設與 14 條公式"]
E --> F["自動化工程檢查"]
F -->|"失敗,最多重試 2 次"| D
F -->|"通過"| G["5 個存活的財務模型"]
G --> H["GLM-5.3 將會費調漲情境轉為結構化輸入"]
H --> I["模型約 10 毫秒跑完,輸出預測"]
I --> J["Omar 對假設進行會計查核"]
產出的模型包含 14 條公式與一組假設,Hassan 把它呈現成 Excel 風格的試算表方便審閱。
平行執行勝過調提示詞,而且檢查成本極低
團隊一開始只反覆調整單一提示詞,以為 GPT-OSS-120B 終究會通過所有檢查,結果耗掉太多時間。他們改成同時開 16 個工作階段,各自建構自己的模型,並把沒通過的檢查退回給模型,最多讓它自我修正兩次。16 次中有 5 次通過並用於預測,其餘的失敗超過兩次。
成本低到讓這件事幾乎不用考慮:16 次執行只花 19 美分。檢查本身都是基本的不變條件——公式不能依賴自己、調漲會員費必須讓營收上升。Hassan 的重點是:當推論這麼便宜時,擴大取樣廣度就能取代提示詞工程的深度。
工程檢查是第一道防線,領域檢查是另外兩道
Omar 把這套做法對應到審計上的三道防線模型。Hassan 的自動化檢查是第一道,相當於管理階層的控制措施。第二道是內部稽核——針對會計的檢查,大多可以寫成程式碼,例如拿高階會員佔比去核對揭露的 45%。第三道是獨立的外部審查,在這裡就是 Omar 本人,扮演他所說的「流程中的專業判斷」。
他的論點不是要用人工審查取代自動化,而是:一旦專家指出某項領域檢查,就能把它寫進系統,讓代理(agent)隨時間越來越自主。Hassan 的坦白則是同一件事的誠實版本:他看到 4.4% 就覺得結果很棒,因為他沒有會計背景。「通過我的檢查」與「結果正確」之間的落差,只有知道該質問哪些假設的人才看得出來。
背景:為什麼 Costco 是乾淨的測試案例
Costco 一年賣出約 3,000 億美元的商品,售價幾乎貼近成本,因此商品本身貢獻的毛利很薄。它的營業利益超過一半——總計約 120 億美元——來自會員費,這使得會費調整成為任何獲利預測中的主導變數。Costco 在 2024 年 7 月調漲會費,是 2017 年以來首次,標準會員從 60 美元調到 65 美元,高階會員從 120 美元調到 130 美元。團隊把資訊截止點設在公告前幾週,這讓他們有一個真實、有明確日期的事件可以預測,也有一條乾淨的分界線來篩選事實與選擇模型。
這條流程產出的結果是預測兩年內獲利增加 5.6 億美元,Hassan 把它與從 Costco 財報中萃取的實際獲利並列視覺化。
值得帶走的重點
這個案例的結構本身就是論點:一條任何稱職工程師都會說設計良好的流程——帶時間戳的事實、做過汙染檢查的模型、結構化公式輸出、平行取樣、自動化不變條件檢查——卻產生了 4.4% 的誤差率,以及一個內部邏輯至少在兩處出錯的模型。尚未解決的問題是:第二與第三道防線能自動化到什麼程度。Omar 承認,多數會計檢查一旦被辨識出來就能寫死,但辨識這一步需要一位會計師,知道 45% 是有揭露的、知道某個歸零的銷售變數是警訊。在受監管或高風險領域打造代理的團隊,應該把專家審檢視成檢查規格的來源,而不只是最後一道關卡——並且對任何在假設被讀過之前就看起來很漂亮的結果保持懷疑。