跳到正文
Latent Space(youtube.com)· swyx·· 3 小時前品質評分58

Building ChatGPT for Finance — Joseph Kim, OpenAI's Head of Financial Services

Building ChatGPT for Finance — Joseph Kim, OpenAI's Head of Financial Services

重點導讀

OpenAI 的 Joseph Kim 表示,這款金融產品有 95% 可透過 ChatGPT 外掛的基本元件複製出來,真正關鍵的 20% 秘密武器——人在迴路中的品味判斷與獎勵模型訓練——才是能打造十億美元事業的所在。

🎙️

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

OpenAI 旗下 ChatGPT Finance 產品與工程負責人 Joseph Kim 認為,要在垂直 AI 領域勝出,絕大多數功夫根本不在模型本身——ChatGPT 金融服務版約有 95% 的功能,任何新創都能用 OpenAI 的外掛基礎元件做出來;他甚至預期,會有人靠一個 ChatGPT 外掛打造出十億美元級的事業。這場對談錄製於紐約的 AIE Finance 活動,大部分時間都花在這次發布背後的產品與研究心得:OpenAI 為何選擇自行整合金融資料、而非仰賴 MCP 聯結器;「品味」如何被訓練進模型;金融領域的評測為何失靈;以及安全機制如何被設計成仿照「初階分析師到董事總經理」的審核層級。Kim 在主題演講中主打的 2027 年預測,在對談裡主要只是這些產品決策的背景脈絡,而非本集核心。

Kim 的視角相當特別:他是研究出身,如今帶領的團隊被他形容為「一家建立在 OpenAI 技術之上的新創」,這讓他同時看得到主模型訓練與企業部署這兩層。共同主持人 swyx 與 Richard(Latent Space 編輯總監)不斷把話題拉回實務問題——該做什麼、該量測什麼、該招募什麼人——讓讀者能帶走一套垂直 AI 產品的具體作戰手冊,也清楚看見金融 AI 目前還差在哪裡。

垂直產品有 95% 任何新創都做得出來

Kim 最核心的產品論點是:OpenAI 內部的金融團隊所面對的限制,跟外部新創一模一樣,而護城河不在於能否取得模型。ChatGPT 金融服務版在對談前幾週才發布(相對於十月下旬的錄音時間,Kim 說的是「上個月」),是一款企業級產品,把消費級 ChatGPT 工具與企業層結合:公司專屬範本,以及 Dilupa、S&P 等內建資料來源。設計合作夥伴是 Morgan Stanley 與 Evercore。

團隊建立在 Codex/ChatGPT 的外掛架構,以及任何外部開發者都能取得的基礎元件之上。Kim 兩度重申的論點是:光靠 Codex 大約只能帶你走到能贏得市場的產品的 80%,而缺的那 20% 才是關鍵:

「如果你直接把 Codex 當成金融產品推出,它會失敗。所以那 20% 其實才是決勝點。」

那 20% 可能是資料、UI 調整,或某項整合——「你的獨門配方」。他明確表示,後訓練並不是差異化來源:「我們做的東西有 95%,任何新創都絕對做得到,別家公司也做得到。」他也提到,所有金融推理的訓練資料都會往上匯入主模型訓練(他稱之為產出 GPT-6 Astra、GPT-6.1 Astra 等模型的「大訓練」),因此這些智慧仍會開放給外部開發者,以及直接進行整合的金融機構。

這次發布背後的採用資料,來自內部的 Codex 使用情況。OpenAI 內部軟體工程的採用率穩定攀升,但財務、法務與業務部門一直接近零,直到二月(2026 年)Codex 桌面應用推出前後,才一舉跳升到約 90%。Kim 認為這證明:解鎖一個領域的是產品介面的覆蓋面,而非原始能力。

自行整合資料勝過 MCP 聯結器,因為聯結器錯誤率達 40%

Kim 描述最具體的一項產品決策,是把法說會逐字稿等金融資料自行整合進來,而不是引導使用者去用 MCP 聯結器。從基本原理推論,這樣做的好處並不明顯:客戶可能早已取得資料授權,會覺得自己被收了兩次錢,而且商店裡本來就有現成的聯結器。但實測改變了結論。

考量基本原理觀點實測結果
資料取得使用商店裡既有的 MCP 聯結器部分知名供應商的聯結器錯誤率超過 40%
成本自行整合等於客戶為已授權的資料付兩次錢為了從頭到尾掌控體驗,多付這筆錢值得
客戶反應附加價值不明確資料是客戶最在意的第一件事

Kim 從投入產品六個月得到的更大教訓是:企業級開發者必須尊重「你所處產業的現實」——競爭力量與客戶自身的目標——而不是純粹從基本原理推論。一個邏輯上站得住腳的結論,若忽略產業實際運作的方式,照樣會做出錯誤的產品。

品味靠人類偏好訓練,寫程式就是明證

對於「品味怎麼訓練」,Kim 的答案是 OpenAI 從早期 RLHF 時代就在做,當時唯一的訓練訊號就是人類的成對偏好。實務做法至今沒變:蒐集人類對成對輸出的判斷,訓練出獎勵模型。以簡報為例,人類會看成對的簡報、挑出比較好看的那份。事實證明,人類在美感判斷上遠勝模型——人幾秒鐘就能判斷兩份簡報,評分模型卻得燒掉大量推理 Token 做畫素級分析,還可能判錯。

他主張金融工作很像寫程式,而他認為寫程式大約已解決了 80%。寫程式結合了可驗證的獎勵(能不能編譯、有沒有語法錯誤、輸出是否符合預期)與品味(系統設計乾不乾淨、好不好維護、是否符合社群慣例)。金融工作也有同樣的二分:一個 Excel 模型要嘛加總正確、沒有參照錯誤,要嘛就是有問題——但除此之外還有「模型的感覺」:資深專業人士會擾動輸入、觀察輸出,判斷資料流走起來對不對。這跟「程式碼看起來乾不乾淨」一樣,都是人類偏好的問題。swyx 把這連結到 Cognition 的 Frontier Code 之類的基準測試:它問的不只是 PR 能不能通過,而是審查者會不會把它合併。

Kim 也重新詮釋了「犯一個錯就毀掉職涯」的恐懼。真正會終結職涯的錯誤,是會改變結論的事實錯誤;而幻覺——2022 至 2023 年的頭號顧慮——「現在已經沒那麼常出現了」。模型真正還缺的是判斷力與品味:一份不算錯、但看起來很隨便的簡報。他預期到 2027 年,模型在這些較軟性、比較性的目標上會有大幅進步。

安全機制仿照企業現有的初階員工督導方式

已發布的產品全程假設有人在迴圈中:分析師用 ChatGPT 嘗試每一項任務,視任務不同完成 30% 或 80%,並仍須負責稽核輸出。這讓把審核責任交給使用者變得順理成章。

至於接下來——2027、2028 年更自主的代理——Kim 的設計原則是讓產品行為像同事,因為人本來就懂得怎麼跟人合作。也就是沿用既有的人為控管機制:讀寫許可權,類似他初進 Google 當工程師時需要的「可讀性」審查;以及銀行業的層級制度,初階分析師的成果由副理審核,再往上到副總、協理與董事總經理。這些層級之所以存在,正是因為人會犯錯,所以行為像人的模型,就能用同一套制度治理,也能用金融機構熟悉的方式向它們解釋。

flowchart TD
    A["分析師用 ChatGPT 起草成果"] --> B["副理審核並補充推理"]
    B --> C["副總審核"]
    C --> D["協理與董事總經理審核"]
    D --> E["交付客戶的成果"]
    A -.-> F["模型許可權對應人類的讀寫許可權"]
    F -.-> B

金融評測不是飽和就是失靈,OpenAI 正自建一套

Kim 說要做好評測「難到不可思議」:任何評測都只是目標能力某一面向的代理指標,而一份評分不佳的答案卷,很容易讓人靠取巧刷分。他表示,目前金融工作根本沒有好的評測。OpenAI 用於一般知識工作的 GDP 評測如今已飽和,而沒飽和的部分「基本上已經壞了」,這也是 GPT-6 Astra 發布時未報告該評測的原因。

他描述了實驗室對待評測的一種偏誤:數字好看就當成進步的證據、不做追查;數字難看才會深入調查。GPT-6 在一組金融評測上就發生過這種情況——分數幾乎沒動,團隊深入調查後發現評測已飽和,剩下的失敗則來自錯誤的答案卷、寫得不清楚的提示,或其他瑕疵。他的團隊現在正打造一套評測,目標是預測「自動化某個特定職業工作」的能力——例如一套投資銀行評測,高分意味著初階分析師的大部分工作都能被自動化。

2027 年路線圖往上游走,目標愈來愈模糊

目前金融領域的 AI 大多針對初階分析師的工作,Kim 給了兩個理由:產品必須建立在當今模型能力之上,而模型擅長具體指令(「幫我做一份簡報、用我們的範本、弄得好看一點」);而且人偏好把自己討厭的工作自動化——建 Excel 模型、在簡報上精準擺放商標,既枯燥又容易出錯。

展望 2027 年,他預期重心會從分析師往上爬到副理、再到董事總經理層級的任務。難處在於目標愈往上愈模糊:「這是不是一份好簡報」會變成「這是不是一個好的投資想法」,而後者可能要等三年市場結果才答得出來。要在那裡取得進展,需要研究聚焦、好的資料、P99.9 等級的專家回饋,以及基礎模型持續擴充套件。Kim 說他正把這列為 OpenAI 的優先領域,並有信心「2027 年會有很多進展」。他也預測,到 2027 年不會再有 PowerPoint——這是他主題演講的一句話——AI 工具會內嵌在流程之中。

OpenAI 招募的是產品經理與金融領域專家,不只工程師

Kim 說客戶需求強勁,團隊正快速擴編。他點出三類職缺:一般的前端與後端產品工程;橫跨投資銀行、股票研究與資產管理的產品經理,他稱這是贏下這個領域的「主要瓶頸」;以及「領域專家」職位。最後一項是針對一項結構性劣勢的直接回應:在寫程式領域,訓練模型的人本身就知道好程式碼長什麼樣,這是 OpenAI 在金融領域沒有的順風。領域專家將與工程師、研究員、產品經理並肩工作,提供這種判斷力。他邀請大家透過 LinkedIn 聯絡,並指向 OpenAI 的招募頁面。ChatGPT 金融服務版目前僅限企業版,但 Kim 說團隊正努力把它帶給 Pro 方案的專業消費者,後續會有訊息。

值得關注的重點

貫穿全文的主軸是:OpenAI 把金融當成「圍繞通用模型展開的部署問題」,而不是客製化模型問題——這正是為何 Kim 能同時主張新創可以複製 95% 的打造過程,又說有一個十億美元的外掛事業在等著。有兩股張力值得追蹤。第一,安全機制依賴銀行業既有的真人審核層級;這套做法能否移植到沒有「副理到董事總經理」階梯的領域,尚未驗證。第二,2027 年進軍投資判斷,取決於 Kim 自己都說尚未以可用形式存在的評測,因此在他們團隊推出正在打造的職業級基準測試之前,外界很難驗證該領域的進展說法。Kim 在主題演講中略提的預訓練問題——「2026 年,我們已經解決了其中許多問題」——則是另一條值得帶進主題演講本身追下去的線索。

來源: Latent Space (youtube.com)
開啟原文