別再跟試算表聊天了——專訪 Monzo 的 Francesco Galletta 與 Felippe Felisola Caso
別再跟試算表聊天了——專訪 Monzo 的 Francesco Galletta 與 Felippe Felisola Caso
Monzo 的 Francesco Galletta 與 Felippe Felisola Caso 提出一套五項原則的框架設計——一致性、證據、問責、驗證——用來打造值得信賴的 AI 財務分析,並主張計算應該交給經過測試的確定性程式碼,而不是聊天。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Francesco Galletta 為 Monzo 資料團隊打造 AI 驅動的內部工具。他主張,AI 輔助財務分析目前的瓶頸已不再是速度,而是信任;而信任必須透過工程手段,內建進一套專門打造的「測試框架(harness)」之中,無法靠提示詞讓通用聊天機器人產生。在這場約 110 分鐘的議程裡,Galletta 與 Monzo 同事 Felippe Felisola Caso 逐一拆解這套框架的五項設計原則——共享領域、一致性、證據、當責、驗證——並用一個刻意挑選的平凡案例現場示範:規劃 Galletta 自己的婚禮預算。這是一場實作工作坊,附有寫好程式碼的示範介面,並非產品發表;「別再跟試算表聊天了」是整場的前提,多數時間則花在確定性計算、可追溯憑證與人工審核關卡的實際運作機制上。
兩位講者都在英國數位銀行 Monzo 的資料部門工作,先前也待過其他金融服務公司,包括他們口中的「New Bank」;他們明確表示,婚禮這個例子純屬個人事務,不代表 Monzo。他們的權威來自實務:他們曾在銀行的資料團隊內部交付 AI 工具,也被一般聊天工作階段中的隨機算術與脈絡流失狠狠教訓過。讀者讀完後,應該帶走一份可重複使用的檢查清單,判斷何時該打造框架、何時用一個 skill 或單純聊天就夠;同時也該帶走具體的失敗模式——錯誤假設無聲地擴散、計算過程中程式碼被改動、代理在第一百次執行時自行發明新程式碼——這些正是值得多花工程成本的理由。
制約 AI 財務分析的是信任,不是速度
Galletta 開場直接點出這個轉變:讓代理產出一份分析已不再是難事,「現在的瓶頸在於它如何與我們連結」。因為這個領域談的是錢,他把信任視為風險最高的設計要求,也否定任何單一技術——trace、eval、單元測試、規劃迴圈、graph——就能買到信任的想法。那些都只是零件;這場工作坊提供的,是決定這些零件如何組裝的設計原則。
五項原則依序鋪陳,每一項都建立在前一項之上:
| 原則 | 要求 | 可避免的失敗 |
|---|---|---|
| 共享領域 | 代理與使用者在動工前先對齊同一套定義 | 模型對某個詞的通用定義與你的不同 |
| 一致性 | 算術以具版本、經測試的程式碼執行,而非解析 Token | 同一個問題,跨工作階段得到不同答案 |
| 證據 | 每項輸入都標記為事實、解讀或假設,並附上追溯紀錄 | 一個錯誤的粗估無聲地驅動整個模型 |
| 當責 | 在關鍵決策點設定少量、高訊號的人工關卡 | 沒人敢背書的黑箱輸出 |
| 驗證 | 以外部參照點挑戰這份計畫 | 確認偏誤與盲點 |
Galletta 坦言,這些個別零件都不新,整套框架也只是「一個非常簡單的實作」,並非放諸四海皆準的方法。Felippe 則把它定位為「一種我們在多個案例中都行得通的做法」,並邀請全場挑戰這個前提——包括「信任被高估了,丟 100 個代理去解一個問題,最後總會解掉」這種可能性。
「我們不想變成 Token 刷量。如果花大錢換不到具體的商業價值,我們就不想花。」
示範案例是婚禮預算,正因為它真的很亂
Galletta 在議程中途揭露,這場工作坊另有目的:觀眾是來幫他規劃婚禮財務的。他現場調查賓客人數(50 人以下、約 100 人、150 人、200 人、「更多」),並描述他和未婚妻為了每人餐費與疊加上去的其他變動成本而起的真實爭執——重點是,一旦人數成為變數,連「簡單的計算」都不簡單。與會者會 clone 一個含三個資料夾的 repo:婚禮範例、框架本身,以及一個給偏離指令碼、自行發揮的暫存空間。repo 裡另有一份「自己動手做」的檔案,依序把同樣的原則寫成步驟,供想打造類似框架的人參考。
示範介面刻意不修飾。Galletta 事先警告「今天一定會出包」,並說這個介面「過度設計」,不是 UX 教材。重點是讓人感受以信任為導向的框架用起來是什麼樣子,而不是要出貨。
共享領域,就是逼代理先訪談你,再開始規劃
第一個互動是聊天視窗,而這套框架的任務,就是拒絕當應聲蟲。Galletta 輸入一個刻意含糊的問題——三筆婚禮付款,一筆 6,000 美元、一筆未知、一筆是「剩下的」,再加上 DJ 等固定成本與未知的每人餐費——然後補上一堆雜亂細節:沒有存款、媽媽可能贊助 5,000 美元、每人約 150 美元、花藝 500 美元、還要買一套西裝。框架不斷追問,而不是直接動手實作。
背後的論點是:除非你有用自家資料訓練過的模型,否則模型對一個詞的定義,是全體使用者用法的平均值,不是你的用法。這套框架的設計就是要「挖得更深、挑戰你的一些假設、問你一些你原本不知道自己需要問自己的問題」。來回約十分鐘後,代理產出一棵決策節點樹,每個節點都標註來源:來自使用者、由代理提出,或仍未定案。點選節點,可以看到模型為何認為這裡是決策點,以及它是從聊天中的哪段話推斷出來的。
接著 Galletta 舉手錶決一個大家熟悉的痛點:誰曾在聊天工作階段超過十輪後,因為脈絡已不堪使用而想整個重來。診斷結果是:現今的框架都是為線性對話設計,把所有東西塞進同一個脈絡視窗;解法是把問題拆成可個別討論的元素,這樣在一處修正,不會讓其餘部分跟著崩掉。
計算該放進具版本、經測試的程式碼,而不是模型的腦袋裡
一致性原則是整場最具體的工程主張。Galletta 自己的翻車經驗:他請代理算一份預算,拿回一個用斜體排版得漂漂亮亮的公式,結果是錯的——「我不是計算機。」一位與會者補上更糟的情況:結果看起來合理,但重跑一次就不一樣。
處方是:計算寫一次、測試它、給它版本,讓代理以工具的形式呼叫。Galletta 的親身例子是每月預算結帳,含分類後的對帳單、退款與支出;他一開始讓代理自行決定如何分類與彙總,每次結果都略有不同,最後花在跟代理纏鬥的時間比任務本身還不值得。框架必須嚴格要求模型不得靠解析 Token 做任何算術。
「計算寫一次,之後每次要用就直接跑。」
他也點出一個更隱微的風險:代理越來越會臨時自己寫工具,所以第一次執行可能正確,第一百次卻可能毫無必要地重新發明程式碼。版本管理之所以重要,是因為一旦某個函式變了,框架應該揭露同一個流程現在跑的是不同邏輯,不該再以同樣的方式被信任。在示範中,點選節點會顯示哪些步驟是以程式碼實作;執行測試會直接通過,過程中沒有任何代理「思考」的動詞——因為測試是在本機環境執行,不經過模型。
有與會者追問,這不就是規格驅動開發(spec-driven development)嗎?Felippe 的回答是:寫程式時,程式碼是達成目的的手段;在這裡,代理協助分析的是一個規格不斷變動的問題,所以框架把規格拆成帶有明確立場的區塊,而不是一份大檔案。他連結到資料團隊的經驗——指標與維度的定義永遠在變,而那句反覆出現的「這個數字對嗎?」正是這套框架要穩定的東西。
證據,就是把每項輸入標記為事實、解讀或假設
Galletta 稱之為「拿出憑證」,並把它紮根於資料工作者的每週之痛:不是所有資訊都等價,一份分析的好壞,取決於它能否把某個決策歸因到一組證據上。框架強制三層分類——聊天中未結構化的想法是解讀,代理的推理或記憶召回是假設,送出的銀行對帳單才是事實。他的婚禮例子:受邀賓客人數原本被當成事實,後來未婚妻沒告訴他就多邀了三個人,整個模型就錯了。
證據也適用於程式碼,不只數字。他講了一個同事的案例:同事使用公司一份「主檔」,裡面內建了對合理數值範圍的假設;檔案被改了,同事不知情,儘管輸入完全相同,結果卻全錯。程式碼變更若無可追溯性,同樣的盲點就會重演。
他問全場,有沒有人有「當初若有證據鏈就能少受點罪」的故事,一位與會者講了很生動的一例:一套做簡報的框架,在使用者提出修改需求時,死死抓住使用者給的範例不放,把範例裡的數字塞滿整份要給高階主管看的簡報——結果在主管面前被問「這個數字和這個假設是哪來的?」
當責,是在少量高訊號的決策點設人工關卡
Galletta 的說法很直白:「不管 AI 代理做了什麼,最終負責任、扛當責的都是我們。」他指出,自己一部分的薪水來自要為結果負責,而不是為打字負責,並引用一句他找不到出處的格言——代理不必承擔現實後果,你要。
設計問題在於關卡該設在哪裡。他問全場,有誰懷念自動模式出現之前、每個變更都要核准的年代,接著問:那上百次點選,有誰真的讀過?答案本身就是論證:每個計算都核准、每個代理 PR 都逐行審,兩者都糟。目標是「少量、訊號極強的關卡」——審查任務而非個別 diff,並讓通過的測試代替逐行審查,因為憑證已提供了信心。
示範中的計畫刻意採低度當責——只有一個步驟,讓使用者在決定每月存多少錢之前,檢視所有算出的情境——這之所以可接受,只因為沒有任何金錢流動。介面也把決策畫成分支樹,最後再匯回主幹,使用者可以在做出決定後回頭修正某項輸入,看著後果擴散出去,而不會丟失其餘分析。Galletta 描述自己在分析途中對著手機口述,多講了一句不相干的話,整條思緒就斷了——分支結構正是解方。「分支對話」按鈕讓使用者另開岔路提問,不汙染主脈絡;這是對一個現實的直接回應:Claude 的 /btw 有時管用、有時不管用,而在工作階段中問的問題,不管你願不願意,都會成為該工作階段脈絡的一部分。
驗證需要外部參照,而且不會轉移當責
最後一項原則是第二雙眼睛,明確建立在當責之上:驗證是從不同來源補充資訊,但不會減少任何一分責任。Galletta 提到 vibe coding 團隊裡那種令人洩氣的動態:審查者要為一堆「看起來差不多對」的程式碼,扛下所有正確性的重擔。
他描述財務專家實際上如何驗證——開啟試算表,抽查幾個自己知道能看出大概的儲存格,如果感覺不對就問「我們行銷怎麼花了這麼多?」這種直覺檢查成本很低,也不必重做整份分析。有與會者問,黃金範例(golden example)難道不夠嗎?答案是:黃金範例本身就編碼了你自己的選擇偏誤,而且沒有哪個領域是孤立的。Felippe 的 BI 故事把這點講得很具體:一份他徹底檢查過的儀錶板,被另一位團隊的利害關係人一眼指出有錯——對方只是知道銷售數字不可能那麼高——這是一個完全不需要審 SQL 的外部參照點。
Galletta 把這個概念稱為「薄切片(thin slicing)」——用一片片軼事性的領域經驗,判斷某個東西對不對勁。模型握有所有人經驗的平均值,所以框架需要一個回饋迴路,把你的經驗翻譯回去給它。他再繞回第一項原則:共享領域是把你的語言翻譯成模型的訓練分佈,驗證則是反方向。
示範中,一個標記為「挑戰」的按鈕會開啟另一個審查代理,對計畫的假設提出批評,然後匯回主幹真正去改動它——刻意不讓它停留在 LLM 當裁判,因為沒有回饋迴路的審查不會改善決策。也保留了「略過」選項,因為有些挑戰無關緊要,而使用者比誰都清楚。
何時該打造框架,以及如何對內推銷
問答時段浮現了這套框架沒回答的實務問題:框架該做得多通用?該做幾套?Felippe 把它看成一道光譜,一端是把所有東西都塞進 Claude Code 的 skill 與指令,另一端是每個小任務都從零重造;他認為決定因素是:可重現性、現成框架出錯的頻率、會有多少使用者用到、以及這個決策有多關鍵。非業務關鍵的任務,讓人多花幾輪帶著代理做就好;但支撐 50 位信用分析師做出關鍵公司決策的東西,就不能這樣。
Galletta 補上反面情境:這套配方是為財務領域調校的,因為賭注很高。換成像「用 AI 生成的影片塞爆 Instagram 和 TikTok」這種用例,蒐集證據與驗證就遠沒那麼重要。他也警告別「只磨斧頭卻不砍柴」——如果你發現自己老是在聊天之間複製貼上、反覆開新工作階段,這種重複就是該把框架好好做一次的訊號。
談到如何管理高層期待,Felippe 說 Monzo 是從影響力而非能力出發來推動採用:先定義成果與成功指標——驗證一份儀錶板要來回幾輪、少掉幾張「數字看起來不對」的工單——實作只是達成目的的手段。Galletta 的結語是:模型會持續進步,但還是得贏得信任,而在金錢的世界裡,「偶爾錯 1% 就是一筆大錢。」
「財務這行很有意思……它混合了必須 100% 穩定可靠執行的東西,以及字裡行間大量的解讀空間與創作自由。」
整場未解的張力,正是有與會者直接提出的那一點:skill 與框架之間並沒有清楚的界線。Felippe 的經驗法則是:以提示詞為基礎的 skill 本質上是「請遵守以上所有規定,不準出錯」——代理 99% 的時候會照做,而那 1% 正是邊界案例、使用者層級指令互相衝突、內部外掛貢獻互相打架的地方。確定性的後端程式碼,則補上指令管不到的部分。Galletta 與 Felippe 請大家隔天去聽 Monzo 的分場議程,談他們的內部遠端代理能力「agent chip」,看這些原則在生產環境中長什麼樣子——那正是這場工作坊刻意留白的那一塊。