打造 AI 代理很容易，證明它安全才是難題——專訪 NatWest 的 Jonathan Osborne

NatWest Group 的 AI 首席工程師 Jonathan Osborne 認為，打造一個面向客戶的 AI 代理，如今已是最簡單的部分——真正困難的是證明它安全到足以放進一家受監管銀行、擺在 1,900 萬名零售客戶面前。整場分享的重心幾乎都放在這份「證明」上：NatWest 如何限縮代理被允許觸及的範圍、如何用多個維度而非單一分數衡量品質，以及為什麼他們的 LLM 評審一開始完全跟不上人類審查員的判斷。

Osborne 是從部署現場的第一手視角出發，介紹 NatWest 的數位助理 Cora（每天約 10 萬次對話，至今大多仍靠指令碼執行），以及把大約三分之一的服務旅程轉向 RAG 支撐的答案與可執行操作的代理的計畫。這份簡報涵蓋路由漏斗、6 月針對付款代理所做的人工驗證資料、內部客訴代理上 LLM 評審與人工評分之間幾近於零的相關性，以及讓銀行「先觀察、後回答」的影子部署與功能旗標上線流程。他提到付款代理會在演講隔月上線，因此其中若干說法當時仍未經證實。

單一準確率分數，會掩蓋真正要命的失敗

Osborne 在衡量方式上的核心論點是：「準確率」回答的並不是 Cora 該問的問題。路由器的準確率 94% 聽起來很強，但它完全沒說明答案是否有真實來源支撐、客戶的問題是否真的被解決，或系統是否知道該轉交真人。因此 NatWest 不再把品質當成單一數值，而是視為一個向量，分三大類評分：安全（是否可能傷害客戶）、任務（是否完成該做的事）、體驗（與它打交道的感覺如何）。這三類各自獨立監控與告警，團隊因此能分辨「幻覺」與「正確但繞圈子、令人挫折的答案」——兩者是不同的問題，需要不同的修法。

他對風險最犀利的一句總結：

「一個準確率 94%、但在出錯的那 6% 裡百分之百確信的 router，遠比一個準確率 85%、而且知道自己只有 85% 的 router 危險得多。」

他列舉了生成式代理才有的失敗模式，這些在指令碼機器人身上都不存在：自信地答錯（對著虛構來源產生幻覺）、被誘導去做不該做的事（提示注入（prompt injection）讓輸入帶有對抗性）、流暢卻無用（答案正確、符合政策，卻從未真正解決問題），以及非確定性（同樣輸入、不同輸出）。最後一項直接打破傳統軟體的斷言機制，意味著核心團隊多年累積的迴歸測試不再適用。腳本系統的失敗面有界且可列舉，代理則不然，所以「我們沒辦法真的用傳統測試測到安全」。

先縮小攻擊面，再談強化

NatWest 的解法，是讓絕大多數流量根本不經過任何模型。每一段對話都先進入「路由漏斗」，只有通過前幾道關卡的語句才會觸及生成式 AI。

flowchart TD
    A["客戶對話"] --> B["情境過濾 — 剔除按鈕點選，約 20%"]
    B --> C["確定性預分類規則 — 語句加中繼資料，不用 ML"]
    C --> D["帶閘門的相關性判斷與改寫步驟"]
    D --> E["意圖分類器 — 以嵌入向量為輸入的神經網路，非生成式"]
    E --> F["政策規則 — 確認客戶有權存取此後端"]
    F --> G["後端旅程或代理"]

Osborne 為這個設計提出四個理由，多數都與「身為一家銀行」有關：存取控制（強制確保這位客戶能到達這個後端）、可稽核性（每個決策都帶有程式碼，且可對監管機關重現）、韌性（模型或 GenAI 無法使用時，客戶仍能得到答案）、治理（整體都是版本化的設定，無須完整重新部署即可變更）。他對這套哲學的總結是：「我們不是拿一個語言模型、塞點情境進去，就把它對準 1,900 萬名客戶。我們先非常認真地想過，到底哪些事情真的需要模型來解。」

人工驗證揭穿：83% 的總體數字底下藏著 54 個百分點的落差

在自動化評估之前，NatWest 於 6 月對付款代理做了人工評分。做法是：涵蓋 37 條付款旅程、四個品牌，共 111 段對話，每段對話由三位獨立的人工評分員評分。

83% 掩蓋了 54 個百分點的落差。話題轉換——房貸客戶先問提前還款，接著轉問「那我能不能乾脆把帳戶結掉」——正是最弱的一環，只有 43%。這點很重要，因為 Osborne 指出離題是客戶反覆出現的正常行為，而決策樹處理得很差。

第二個發現是關於驗證者本身。在偏見與公平這類客觀維度上，三位評分員有 95% 的時間看法一致；但在主觀維度上——機器人是否真的理解使用者想要什麼——一致率掉到 64%。這個數字讓「把 LLM 評審調到跟人類一致」這個標準目標變得複雜：「他們到底是要對齊什麼？人類之間的一致率只有 64%，那它就不可能是唯一的目標。」Osborne 也提到，這次驗證中最大的兩個失敗原因，其實是工程問題而非模型問題——而這正是人工審查抓到的價值所在。

LLM 評審本身就是壞掉的量尺，換掉評審模型後更糟

在內部客訴代理上（2 月上線、面向同事，使用一組工具為客訴處理人員撰寫調查摘要），NatWest 讓人工與 LLM 評審各評了大約 14,000 件案例。忠實度分數出現明顯分歧：

平均誤差 0.2 看似可以接受，但評審與人工之間的相關性幾乎為零。Osborne 說，一個無法區分好案例與壞案例的評審毫無價值：「你不會希望你的評審很寬容，而這正是 LLM 預設想做的事。」

接著他描述了一個設定陷阱。評審原本穩穩高於其琥珀色警戒門檻。NatWest 只換掉評審背後的模型——輸入相同、輸出相同——餘裕就從高出門檻 0.2，塌縮到只高出一個低得多的門檻約 0.2（他的說法是「從高出 0.8 一路掉到高出 0.2」）。教訓是：評審模型本身就是你門檻設定的一部分，可能悄悄帶來破壞性變更。有效的緩解做法，是把評審換成與被評代理不同的模型家族，讓評審與被評者各有不同的盲點——這也讓兩邊的分數拉近了一些。

評估是生產基礎設施，不是跑在 notebook 裡

代理與護欄之間的即時對話，透過開放標準（OTEL、OpenInference）擷取。NatWest 預設隨機抽樣 5%，再加上所有「有意思」的對話：轉交真人的、失敗的、異常冗長的，或顯示使用者動怒的。這些由 LLM 評審依安全／任務／體驗三個維度評分，所有追蹤紀錄、分數與實驗結果都匯入 Comet。

有兩項銀行限制形塑了這套做法。環境完全氣隙隔離、無法連網，因此評審模型是經由內部 GenAI 閘道、走私有路徑存取；Comet 則以 AWS 上的簽署合作夥伴應用形式使用。此外，個資（PII）外流是零容忍政策，因此許多評估是在不含個資的情況下進行。節奏各不相同：追蹤紀錄即時擷取、離線評分每四小時一次、迴歸檢查內建於 CI/CD 並設有硬性關卡——提示或情境的變更，若團隊未先了解其相對於已知良好基線的影響，就不能合併。Osborne 的定調是：「持續評估是你生產基礎設施的一部分。它不是模型上線時跑個幾次的 notebook。」

兩種模型需要不同的量測工具。生成式代理會因為有人改了提示而退化，這正是 CI/CD 關卡的用途；付款代理產出的真實 OpenInference 追蹤，會把每個 LangGraph 節點對應到一個 span，方便定位緩慢或出錯的步驟。意圖分類器屬於傳統 ML，會隨著人類對話演變、偏離其訓練資料而漂移，因此以輸入特徵漂移、對照人工標籤的 F1，以及明訂的重新訓練門檻來監控。Osborne 稱輸入特徵漂移是很好的預警金絲雀——它會比 F1 更早示警。Comet 的角色，是把 OpenInference 這一側與 NPM 模型效能監控放在同一個平臺上，而不是兩套框架。

影子部署打破受監管產業的僵局

上線流程刻意避免一次到位的大爆炸式發布。第一步是影子部署：新系統上線、進行分類並擷取真實語句，但實際回答客戶的仍是既有的指令碼方案。這能在幾近零風險下取得真實輸入空間的資料。Osborne 稱這是整個專案中最值得複製的概念，因為受監管產業面臨一個死結——沒有上線許可就拿不到生產資料，但模型風險部門如今越來越希望在核可之前，先看到模型在生產資料上的行為。影子模式把「安全地觀察」與「回答客戶」拆開，將一個大決策拆成一連串小決策。

接著按品牌逐一推進，採百分比式階段上線，並在檢查點設 go/no-go KPI，有些自動化、有些需人工核准。功能旗標讓一切可操作：一個全域旗標就能把所有流量導回指令碼方案，每個後端也能在全域或依品牌等維度隔離，全部在數秒內完成。

把人工回饋設為關卡，養出 14,000 筆標註資料集

在客訴代理上，人工回饋是一道關卡，而不是按個讚。客訴處理人員必須先提供回饋、說明原因，才能重跑調查——這既記錄了原因，也產出約 14,000 筆由同事標註的案例資料集，Osborne 說多數專案連這個量的十分之一都很難達到。兩個專案互相交換了發現：客訴團隊在生產環境中暴露了評審問題，促成評審校準與迴歸檢查；而該團隊預計也會採用這套以 Comet 為基礎的架構來做自己的生產監控。他最後的區分是：「代理在這裡是便宜的部分……評估主幹才是我們能一再重複使用的東西。」

房貸案例說明瞭影響半徑有多大

Osborne 用的具體例子，是客戶詢問能否提前償還房貸而不被收費。在指令碼版 Cora 中，「房貸」這個關鍵字會觸發一個選單（申辦、利率、我的房貸）；客戶選「以上皆非」，可能被要求換句話說，最後多半是排隊等真人。在 AI 版本中，知識庫會產出「您一年最多可提前償還餘額的 10%，且不收提前還款費——要我幫您查一下您的方案嗎？」——接著客戶離題轉問結清帳戶，而這正是決策樹處理得很差的情況。

重點不在流暢度，而在曝險：如果那個 10% 不適用於這位客戶的特定方案，那涉及的是真人真房貸、真金白銀。Osborne 說，面對 1,900 萬名客戶，一句答錯不是開張 bug 單或博君一笑的新聞標題——而是監管機關的棘手提問與聲譽損害。這也是為什麼整場分享的重心放在核準流程、以及信任 NatWest 自家指標，而非代理本身。

尚未有答案的是時間點：Osborne 說他會在隔月「上線後弄清楚這一切到底有多少是真的」，因此付款代理的生產結果——以及評審校準的修正能否在大規模下成立——在演講當下仍不可得。他指出的可移轉資產不是代理，而是評估主幹：一套讓多數流量不碰模型的路由漏斗、一張多維度計分卡、一個刻意選用與代理不同模型家族的評審，以及先影子、後旗標的上線流程，讓受監管機構先取得生產資料，再取得回答客戶的許可。