Ramp 如何在客戶之前先測試自家的 AI 記帳代理——專訪 Ramp 的 Ryan Stevens
Ramp 如何在客戶之前先測試自家的 AI 記帳代理——專訪 Ramp 的 Ryan Stevens
Ramp 的 Ryan Stevens 說明如何打造合成企業「世界」與排程回歸評估,來測試自家的 AI 記帳代理;他發現瓶頸在於推理而非檢索,而軌跡蒸餾記憶則是最大的效益來源。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Ramp 應用科學團隊負責人 Ryan Stevens 主張,要打造可靠的 AI 記帳代理,關鍵不在於挑哪個前沿模型,而是在上線前花四到六個月建構端到端評估。這場演講大致是一位實務工作者現身說法:Ramp 如何為旗下記帳代理 Stacks 建立這套評估集——合成企業、任務層級的成功標準、pass@K 計分——以及團隊後續拿它做了什麼:模型選擇、失敗分析、技能消融、記憶測試,還有每週回歸測試。標題的「在客戶發現之前」說得沒錯,但範圍偏窄:這一集真正談的是評估設計與其後的一連串實驗,而不是客戶上線。
Stevens 的視角相當特別——他是 Ramp 第一位機器學習工程師,擁有經濟學博士學位,他形容自己的團隊由 AI 工程師、MLE 與出身 Meta 的產品資料科學家組成。Ramp 本身是費用管理平臺,服務超過 7 萬家企業,涵蓋企業卡、差旅、應付帳款與應收帳款。讀者讀完應該能具體掌握:一套認真的代理評估計畫要花多少時間成本、哪些最佳化實驗真的有用、哪些白忙一場,以及為什麼 Stevens 對用 CI 把關代理評估、還有把「自動研究」當成拯救弱代理的萬靈丹,都抱持懷疑。
評估就是回測,而資料是瓶頸
Stevens 把「benchmark」、「eval」與「可驗證性」當成同一件事的不同說法:拿同一批資料反覆跑代理,衡量成功與否。他把整套方法論框成回測,並認為業界在 coding agent 上算是走運,因為 Git 天生就會捕捉狀態,任何一次過去的執行都能重播。其他領域的生產級代理,則必須刻意隨時間捕捉狀態,才有辦法重播。
在他看來,打造代理的第一步,是把真人做的工作拆解成一個個獨立任務,並定義什麼叫成功——而不是從一個你自己都搞不懂的流程開始。以記帳為例,這意味著坐下來和記帳人員、會計師事務所一起,把每個任務的完整端到端流程畫出來。他舉的實例是對帳:一邊是存放應付帳款明細帳的 ERP,另一邊是帳單支付系統(在 Ramp 就是 Ramp),會計師在 Excel 裡一行一行拉出兩邊資料,核對是否對得上,對不上就找出原因、把它們調平。
他對前提講得很直白:「資料是評估的瓶頸。」必須先有乾淨的資料,才有東西可以拿來衡量。
合成企業代替你還沒有的使用者
在代理的使用者還不足以產生具代表性的資料分佈之前,Stevens 建議用模擬與合成資料。Ramp 的 benchmark 是與 Mercor 合作打造,他稱讚對方是很好的夥伴;他也提到不一定要找公司一起做,但模擬這件事很重要。
團隊建構了合成企業——其中一例是透過 Amazon 與 Shopify 銷售的 D2C 生活風格品牌,多通路、曆年制、月結——再為每家企業補齊整套檔案:ERP、客戶名單、供應商名單、應付帳款,離線評估所需的一切。Mercor 把這些環境稱為「worlds」,Stevens 很喜歡這個說法;他指出,生產資料的快照本質上就是同一回事,所以日後要換成真實資料也沒什麼不可以。
Ramp 建立的評估類別涵蓋對帳、資料輸入、差異分析(數字為什麼變動),以及排程與應計專案。每個任務大約有 10 到 20 條成功標準,而且只看代理的最終產出,不看過程軌跡。Stevens 說,他們不檢查有沒有呼叫正確的工具、有沒有觸發正確的技能、路徑是否有效率。他們在意的是正確性、延遲與成本:「你只希望它正確、便宜、快。」
準確率與 pass@K 衡量的是不同的事,而會計兩者都需要
Ramp 回報兩項指標。準確率給部分分數:六條標準中答對四條得 67%。Pass@K 則是 K 次嘗試內全有或全無——以 Stevens 的例子,代理依序拿下 4/6、5/6、6/6,則 pass@1 為零、pass@2 為零、pass@3 為一。
| 指標 | 計分規則 | 演講中的例子 | 適用時機 |
|---|---|---|---|
| 準確率 | 每條標準給部分分數 | 六條中對四條 = 67% | 追蹤整體能力 |
| Pass@1 | 第一次嘗試就全部標準達標 | 三次執行範例中為 0 | 容錯低、出錯代價高的工作 |
| Pass@K | K 次嘗試內全部標準達標 | 範例中 pass@3 = 1 | 只要一步錯就會毀掉採用的情境 |
Stevens 認為,對會計這個領域來說,pass@K 可能才是對的目標:如果會計師無法信任代理的某一步不會出錯,他可能根本不會用。他也指出,這些 benchmark 還沒飽和——準確率高、pass@1 卻低——他認為這是好訊息,因為代表還有空間靠 harness 最佳化把 pass@K 拉上來。他由此得出的結論是:不能只是把前沿模型丟上去,就當問題解決了。
模型選擇由 Opus 勝出,失敗分析則指向推理能力
在模型選擇上,Ramp 在 Stacks 上線時公佈的結果——Stevens 說在演講當時已經有點舊——顯示 Opus 系列表現最好,他表示重跑之後結果依然相同,「55」是最佳模型。Music Spark 的表現也相當突出,他特別點出這點很有意思。
比排行榜更有用的,是深挖模型為什麼失敗。Ramp 把失敗分成幾類:推理失敗(資料有了,但推理過程出錯)、沒蒐集到正確資訊、沒遵循指令,以及他所謂的反思失敗——他說這類其實就是「其他」。在會計領域,推理失敗佔大宗。他的解釋是,harness 在蒐集正確資料上已經很行,因為會計的檢索並不難——「應付帳款這種東西,我大概可以講給五歲小孩聽」——所以失敗終究出在模型還不夠聰明。他認為還有很大的進步空間。
多數最佳化實驗都失敗,技能消融與記憶測試則奏效
Stevens 把失敗的實驗清單整份攤出來,理由是論文通常只報告成功的那 30 件事,其餘略過。其中一項還被拉出來特別講:Jeepa 式的技能自動調參與自動研究,他說「完全不行」。他的理由是,在文字空間上用評估做爬山搜尋,直覺上很難說得通——沒有明確的梯度方向——他也提醒,別把 Andrej Karpathy 那則關於自動研究的知名推文套用到這裡,因為那項工作是在有限搜尋空間上、用真正的梯度去調 ML 模型。教訓是:別指望自動研究能救一個爛代理。
真正有效的做法:
- 技能消融。 借用 MLE 常用的留一特徵測試,Ramp 精簡技能以節省 context,並衡量每一項的邊際貢獻。結果顯示有技能與沒技能之間差異明顯,據此列出可刪除或壓縮的技能候選清單。他推薦做技能消融,並表示工具消融也能如法炮製,只是工具比較難處理。
- 軌跡蒸餾記憶。 Stevens 指出,大家都在建記憶系統——壓縮資訊、儲存、再讀取——卻很少去測試它。Ramp 的「roll forward worlds」把同一任務橫跨兩個時段執行:代理在第一時段結束後寫下記憶,到了下一時段執行同一任務時,要嘛把這段記憶直接注入(他承認這有點作弊),要嘛在一堆記憶中搜尋。例子是一場對帳,其中藏有未完全寫明、但可從成功標準推斷出來的客戶規則。發現是:alpha 很大,而寫入哪類記憶、以及最終成功與否,都高度取決於記憶提示詞。他說這是整項評估工作帶來最大的收穫之一。
對非確定性的代理,回歸測試比 CI 把關更管用
Stevens 講得很明白:考量到非確定性與 70–80% 的通過率,他並不相信用 CI 來把關代理評估。Ramp 改為把評估放在內部平臺上,讓大家都能新增案例。案例會加上標籤,方便分群與整理,並排定固定排程在背景每天或每週執行。接著由一個背景代理檢視失敗與回歸,在 Slack 發訊息指出看起來壞掉的地方,把團隊導向問題所在。
flowchart TD
A["評估案例加入內部平臺"] --> B["案例加上標籤並分群"]
B --> C["固定排程每天或每週執行評估"]
C --> D["背景代理檢視失敗與回歸"]
D --> E["Slack 警示指出疑似故障點"]
E --> F["團隊著手調查"]
四到六個月的評估建置,是前沿領域之外的入場費
整場演講最具體的數字是時程:在推出 Stacks 代理之前,花了四到六個月建構評估。Stevens 說,對於在前沿實驗室尚未充分最佳化的領域打造代理的公司而言,這樣的投入很典型。他承認,coding agent 大概開箱就能用得不錯。但如果你的領域與前沿模型當初最佳化的方向正交,那就得乖乖花時間。
他最後的結論也相應地偏重流程:把工作拆成獨立任務、建構貼近現實的環境、盡可能從評估中榨出價值,然後把它們納入一致的流程,持續衡量表現。
未解的張力在於:同一套評估集既支撐了四到六個月的建置,也產出了一長串失敗的最佳化嘗試,而 Stevens 並未估計最終表現有多少來自 harness 調校、多少來自模型本身的進步。值得持續觀察的是,他描述的 pass@1 落差——準確率高、全有或全無的成功率卻低——究竟會靠前沿模型的推理能力補上,還是靠 Ramp 認為最有價值的記憶與技能工程補上。他對自動研究與 CI 把關的懷疑,對市面上許多代理調校建議是很好的制衡,但這套看法終究建立在單一公司在單一領域的經驗上——會計,而這個領域裡單一步驟出錯的代價高得非比尋常。