富國銀行自建基礎模型偵測詐騙——專訪 Freddy Lecue

Wells Fargo 研究員 Freddy Lecue 表示，該行從零開始預訓練了一個 10 億引數的交易基礎模型，且在偵測率與誤報率兩項指標上都優於線上生產環境的 XGBoost 詐欺模型。這場演講是對整個建置過程的技術拆解——為什麼交易資料需要專屬模型而非語言模型、銀行如何將表格式交易資料 token 化、架構與訓練配方長什麼樣子——最後以詐欺偵測的成果收尾。

Lecue 把這項工作定調為從眾多各自為政的模型，轉向單一可重用的主幹模型（backbone），再針對詐欺、信用額度調升、反洗錢與行銷等任務進行微調。對實務工作者最有價值的部分，是他說明困難究竟落在哪裡：不在 transformer 區塊——他形容那「沒什麼花俏的」——而在數值轉 token 的設計與後訓練（post-training）。他也給出了具體的延遲與規模數字，並坦率指出團隊所需的每引數 token 數，遠高於 Chinchilla 比例最初所建議的水準。

一個主幹模型取代眾多各自為政的模型

Lecue 的核心論點是：金融機構不該再為每個下游任務各建一個模型，而應在原始交易資料上預訓練單一基礎模型，再依任務微調。用他的話說，目標是「從散落在各組織、各自為政的眾多模型，走向單一主幹模型，讓每個組織都能直接重用，因為你在大規模資料上學到了客戶交易的表徵。」

這個模型以每月數十億筆交易訓練，涵蓋簽帳卡、信用卡、數位與支票等通路，橫跨約一百萬個帳戶，每位客戶每月有數百筆交易。他點名的下游用途包括：信用評分與信用額度調升、詐欺偵測、反洗錢與行銷。同一個基礎模型目前已在 Wells Fargo 內部不同組織間落地應用。

他明確表示，這不是把語言模型改裝來做金融。基本單位是交易，不是詞，預訓練目標是預測下一筆交易，或預測一筆交易中的下一個 token——結構上與語言模型同樣是「預測下一個東西」，但學到的表徵是客戶隨時間累積、且跨客戶之間的行為模式。

模型在詐欺偵測上勝過 XGBoost——誤報更少、速度更快

最受矚目的結果：對照生產環境的 XGBoost 模型，基礎模型標記出更多詐欺活動，同時降低誤報，且執行速度約為 250 毫秒拒絕視窗所需的 10 倍快。Lecue 稱這樣的節省「價值數百萬美元」。

| 面向 | 生產環境 XGBoost | 交易基礎模型 |
|---|---|---|
| 偵測率 | 基準 | 更高 |
| 誤報率 | 基準 | 更低 |
| 延遲要求 | 須在 250 毫秒內拒絕 | 約為該上限的 10 倍快 |
| 歷史脈絡 | 除非硬寫進特徵，否則流失 | 透過對過去交易的注意力機制保留 |
| 引數量 | — | 10 億（下一版目標 110 億） |

他將這樣的提升歸因於架構。XGBoost 會丟棄被評分交易與客戶過往交易之間的關聯，除非有人手工把這段歷史工程化成特徵。Transformer 對交易序列的注意力機制則保留了這層關聯。下游任務的定義很單純：給定一串交易與一筆簽帳卡交易，相對於所有歷史資訊，這筆是否為詐欺？

聚焦誤報背後的商業邏輯是營運面的。一筆非詐欺交易被拒絕，會引發客戶來電、產生服務成本，還流失了這筆交易——所以壓低誤報是直接的損益專案，不只是模型指標。

難的是 token 化，不是 transformer

Lecue 一再指出，真正的難點在數值轉 token 的設計。資料是表格式且異質的：數值金額、類別欄位（從八個類別到遠多於此都有）、交易金額、交易間的時間差、IP 位址、郵遞區號。每個特徵都可以編碼成單一二進位 token，或拆散到多個 token，這個選擇會影響詞彙表大小與可訓練性。

「如果要說配方或秘訣，那真的是你怎麼做 token 化，然後你怎麼做後訓練。」

他描述的流程是：數值轉 token、token 轉 ID（token 化）、再查嵌入（embedding）——所以一筆進來的交易及其所有特徵，會對應到一個 token、一個 ID 與一個嵌入。以郵遞區號為例，他指出美國的郵遞區號遠多於模型所用的 2,800 個，依分佈重新分組比一個郵遞區號一個 token 更好。他警告，詞彙表太大會讓訓練「有點混亂」。

團隊也削減了特徵工程。相較於現有生產模型大量手工打造的特徵，他們只挑出橫跨五個維度的一小批原始特徵，再讓 transformer 自行學習其中的關聯。他們從數千個候選特徵起步，精簡到原始核心。

他列出的五個維度如下：

| 維度 | 回答的問題 |
|---|---|
| 誰（Who） | 誰在處理、請求與提供服務——客戶還是商家 |
| 什麼（What） | 買了什麼、交易了什麼 |
| 如何（How） | 通路——信用卡、簽帳卡、數位、支票 |
| 何時（When） | 交易的時間點 |
| 何地（Where） | 交易的地點 |

由於這套詞彙表專屬於金融服務，他表示現成的預訓練模型並不可行——即使把所有交易型別合併，留下的仍是一組有限且特殊的特徵。

架構刻意平淡無奇；規模則不然

Lecue 坦承，模型建構本身用的是標準且文獻完備的技術。架構採 decoder-only，是為了預測下一個 token 而選。團隊用 Chinchilla 數學來設定引數對 token 的比例，之後再調整：他們起初假設每引數 20 倍 token，實驗後發現需要約 10 倍於該係數。訓練採用混合精度、分散式資料平行、最大化微批次大小以加快收斂，以及 Muon、RoPE、Flash Attention 與啟動檢查點（activation checkpointing）。目標函式為因果語言建模與遮罩語言建模。評估則用困惑度（perplexity），加上下游任務的準確率儀錶板。

flowchart TD
    A["原始交易資料，每月數十億筆"] --> B["橫跨 5 個維度挑選少量原始特徵"]
    B --> C["數值轉 token 設計"]
    C --> D["token 轉 ID 的 token 化"]
    D --> E["嵌入查詢"]
    E --> F["decoder-only transformer，在 GPU 叢集上從零預訓練"]
    F --> G["主幹模型：預測下一筆交易"]
    G --> H["後訓練／依任務微調"]
    H --> I["詐欺偵測"]
    H --> J["信用額度調升"]
    H --> K["反洗錢"]
    H --> L["行銷"]

他強調，這個模型無意與前沿語言模型競爭：「我們不是要打造兆級引數的模型。」選擇 10 億版本，是因為它是能帶來最大提升的最小規模，而 110 億的後繼版本正在進行中。預訓練初期跑了數週，後續幾次則縮短到數天，用的是銀行自家的 GPU 叢集。

下一個考驗是主幹模型能否移轉

詐欺結果只是單一下游任務。Lecue 留下的未解問題是：同一個預訓練主幹模型，能否在信用額度調升、反洗錢與行銷上帶來相當的增益——他形容這些仍在研究中，尚未證實。若能，經濟效益就從每個模型的建置成本，轉為一筆可在全機構攤提的預訓練成本——這正是整套做法的立論基礎。若增益最後證明只限於詐欺，共用主幹模型的理由就會大幅減弱。

值得追蹤的重點：110 億引數版本，以及那套在詐欺上奏效的 token 化配方，在下游任務改變時是否依然成立。Lecue 自己的說法暗示，決定這一切的是 token 化與後訓練的選擇，而非架構——而這也正是最可能因任務不同而需要重做的部分。