Revolut 如何靠自架開源模型將 AI 編碼成本降低 90%——專訪 Revolut 的 David Abitbol

Revolut 的 AI 營運負責人 David Abitbol 主張，把開源程式碼模型自行部署在專用 GPU 上，可將公司整體的 Token 成本壓到每百萬約 30 美分——大約是他們付給 Anthropic 和 OpenAI 的十分之一——同時讓工程前置時間（lead time）改善 70%。這場演講是對該部署的密集技術拆解：支撐這項決策的效能資料、讓 56 張 B200 服務 2,000 名工程師的 GPU 與推論調校，以及讓一家受歐盟監管的銀行得以執行中國開源權重模型的合規與沙箱控管。大部分時間花在推論最佳化與生產環境建置；削減成本的那個標題，只是包住這些具體細節的框架。

Abitbol 的視角來自一家產品推進極為積極的公司——Revolut 對外公佈在 45 個市場擁有 8,000 萬名客戶，且截至 2026 年 7 月，已是歐洲最大的未上市公司。讀者應該帶走的是具體數字（延遲門檻、量化節省、快取命中率目標、每 Token 成本）與營運教訓：別急著擴充 GPU、把長上下文視為陷阱、在跟監管機關談之前先建好人在迴路（human-in-the-loop）的沙箱。

自行部署在成本與前置時間上都勝過前沿 API

Revolut 的資料來自約一年的期間內追蹤 2,000 名工程師的樣本。第一次 AI 匯入是 2025 年 1 月的 Gemini，帶來前置時間 10%、編碼時間 20% 的改善——Abitbol 把編碼時間的增益歸因於工程師不必再翻 Stack Overflow 和檔案。Claude Code 約在 2025 年 2 月試用、2026 年 1 月大規模上線，初期幾乎看不出可量測的成效，而且 Revolut 對成本存疑：工程師每月花費 1,000 到 10,000 美元，投資報酬卻很薄弱，因此上線時附帶嚴格的預算上限。

從 2026 年 4 月左右開始自行部署開源模型，情況就此改觀。Abitbol 指出，當時的 GLM 5.1 帶來編碼時間 60%、前置時間 70% 的改善。這種不對稱很重要：較大的增益落在前置時間而非編碼時間，因為工程的瓶頸不在寫程式，而在周邊工作——收件匣分類、Jira、Confluence。當 Token 實際上等於無限，工程師就不再為了季末或最難的任務而省著用。

Abitbol 把目前的立場講得很直白：開源現在是優先選項，帳單固定、不會有每月暴增的帳單驚嚇，前沿模型是例外而非常態。Codex、Claude Code 和 Gemini 仍保留給最難的任務。

56 張 B200 服務 2,000 名工程師，每百萬 Token 30 美分

容量計算很具體。以 GLM 5.3——一個 8,000 億引數的模型——服務 2,000 名工程師，大約需要 56 張 B200。Abitbol 的延遲目標是經驗法則而非理論值：首 Token 延遲（time-to-first-token）以低於三秒為目標，因為超過五秒「我的 Slack 收件匣就開始爆掉」。對互動性而言吞吐量沒那麼重要；每秒 200 Token 就夠，因為工程師現在是並行跑任務、做完再回來看，而不是盯著思考 Token 串流。下午五點之後才連上的工程師，GPU 閒置，可以拿到 800 TPS。

成本結果就是那個標題數字：整體平均每百萬 Token 30 美分，帳單是 Revolut 付給 Anthropic 和 OpenAI 的十分之一。

「自行部署 GLM 之後，我們的整體 Token 成本是每百萬 30 美分，所以帳單是我們付給 Anthropic 和 OpenAI 的十分之一。」

靠調校而非加 GPU，換來 88% 的延遲改善

Abitbol 最核心的營運教訓是：把權重丟上 GPU 就跑推論，效能會很糟，因為結果高度取決於設定。Revolut 從 2026 年 4 月到 8 月把 GPU 數量固定在 56 張，首 Token 延遲從超過 10 秒改善到約 1.6 秒，同時每秒請求數從約 3 提升到 7 以上。這是在需求增加 76% 的情況下、不添購任何硬體所達成的 88% 效能提升。

timeline
    title Revolut 自行部署里程碑
    2025 年 1 月 : Gemini 全公司匯入
    2025 年 2 月 : 試用 Claude Code，Sonnet 3.7 時期
    2026 年 1 月 : Claude Code 大規模上線並設預算上限
    2026 年 4 月 : 自行部署 GLM 5.1 於 56 張 B200，首 Token 延遲超過 10 秒
    2026 年 8 月 : 同樣 56 張 GPU，首 Token 延遲約 1.6 秒，每秒 7 次以上請求

他得出的結論：別急著擴充硬體，先調校。

長上下文是陷阱，FP4 是下限

Abitbol 列出真正重要的引數，並以一個反直覺的觀點開場：長上下文是「騙局」。就算模型能服務一百萬 Token，實際工作負載需要的只有 256K。至於量化，Blackwell 世代的 GPU 不該跑高於 FP4 的精度——依他的說法，從 FP4 換到 FP8 會讓 GPU 佔用多出約 40%，精度卻毫無提升。

其餘的清單：

• 張量平行（tensor parallelism）： GLM 用 TP4 就放得下，但 KV 快取會不夠用；視工作負載大小，TP8 可能服務得更好。
• 快取命中率： 編碼任務需要 90% 以上。
• 進階技巧： 最佳化的投機解碼（speculative decoding）、序列化預填（sequential pre-fill），以及 PD（prefill-decode）分離。

把影像任務導到別處，保留更聰明的文字模型

GLM 只處理文字，Abitbol 認為這是可接受的取捨：用更聰明的模型，影像辨識另循他途。像 OpenCode 這類本地路由器可以把影像任務送到 Gemini 或 Luna，由 GLM 處理主要的編碼任務。對需要直接處理視覺的團隊，GLM 5G Flash 表現不錯——Revolut 的 UI 設計師就在用，Abitbol 說 UI 產品的交付週轉已大幅改善。

工具方面，所有端點都相容 OpenAI 並支援 response API，因此可直接接上 OpenCode、Codex 和 Codex app。這樣的相容性正是 Revolut 所推薦的。

沙箱是中國開源權重模型的合規解方

Abitbol 直接回應中國開源模型背負的汙名，並針對在場的 CIO 定調：Revolut 用的不是會繞到中國的推論端點，只是下載權重、跑在美國的基礎設施上。他說，就資料分享的立場而言，這樣沒問題。

作為受歐盟監管、且依他所說處於最嚴格合規制度的銀行，Revolut 對監管機關的論據建立在分類上：編碼任務不是自主代理，因為永遠有人在迴路中。證據就是為此保證而打造的沙箱。Codex CLI 的核準功能讓 Revolut 能針對特定操作設定允許／拒絕規則——例如允許 grep、拒絕 gradle——這讓監管機關有信心，系統不是無人監督的代理。

沙箱有雙重作用。它防範內部的不當使用（「你會訝異在大公司裡能查到什麼，」Abitbol 說），也防範提示注入（prompt injection）——他認為以現在的模型能力而言，這已不算是主要威脅，但仍是實際存在的風險。

資料隱私方面，GPU 可以放在資料適足性框架涵蓋的任何國家——美國、歐盟、英國或以色列——而 GPU 與推論供應商預設零資料留存。最後一項要求是強大的 OpenTelemetry，讓任何事故都能透過完整的日誌追溯，分析只是附帶的好處。

「你不是在用那個繞到中國的推論、專用端點，你只是取得權重、放到美國的服務上。」

貫穿這幾節的主線是：成本上的勝利與合規上的勝利，來自同一套紀律——把系統牢牢收緊，限制上下文、限制精度、限制許可權——而不是買更多容量或更大的模型。尚未解答的問題是可持續性。Abitbol 的數字是單一公司的內部樣本，而他的成本比較假設前沿 API 的定價維持不變；一旦 Anthropic 或 OpenAI 重新定價，十分之一這個數字就會變動。值得觀察的是：當 GLM 及其後繼模型長到 8,000 億引數以上時，56 張 GPU 的規模是否還能維持；以及監管機關是否會把人在迴路的沙箱論據當成通則先例，而非 Revolut 的個案安排。