你的 PR 說測試通過了,證明給我看——Stephen Chin 與 Cassandra Chin
你的 PR 說測試通過了,證明給我看——Stephen Chin 與 Cassandra Chin
Stephen Chin 介紹 Trace Tune,它在 Relate Rust 資料庫中建立證據圖譜來生成 AI pull request,讓 PRBench 分數提升(74→76、82→86),同時把 Token 成本降低約 50%。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Cassandra Chin 是開源框架 TraceTune 的開發者。她主張,多數被退回的 pull request 之所以失敗,問題不在程式碼寫錯,而在 PR 文字把程式碼實際做的事說錯了;她也指出,若事先把證據圖(evidence graph)算好再餵給代理,草稿成本大約可砍半,PR 品質反而提升。整段訪談大部分在拆解這套工作流程:為什麼代理寫的 PR 會偏離事實、名為 Relate 的嵌入式 Rust 圖形資料庫如何在任何模型動筆之前先組出證據包,以及為什麼昂貴的模型該坐進寫手的位置,而不是審查者的位置。本集以一則卡通化的案例貫穿:虛構工程師 Alex 追著一件「AI 工程師連帽衫」跑;標題裡的「證明測試通過」只是更大論述中的一個具體例子,背後談的是稽核軌跡與 Token 經濟學。
主持人為 Stephen Chin;Cassandra Chin 打造了 TraceTune,並描述她拿它來測試自己——用這個工具生成它自己的 PR,隨著品質改善持續迭代。讀者讀完應該能掌握:造成 PR 假宣告的具體失效模式、那條反直覺的模型分級規則、PRBench 基準測出的品質與成本差距,以及 Relate 的發布背景。
代理寫的 PR 敗在假宣告,不是爛程式碼
Cassandra Chin 的前提是:AI 輔助開發的速度,已經超前於描述這些成果的 PR 品質。她說,開發者交出的程式碼沒問題,但 PR「經常含有不正確的資訊,或寫得很糟」,這才是被退回的原因。代理的預設行為讓情況更糟:當你在工作階段中請代理寫 PR,它會去讀自己的 session log,從一個膨脹的上下文視窗重建意圖,而這個視窗會隨著它一路運轉不斷壓縮——用她的話說,「它越寫越不準。」
本集的實例是一份真實的 TraceTune PR,裡頭聲稱「沒有記錄到之後通過的執行」。但軌跡顯示,bun test 與 bun xtsc 型別檢查是同時跑的。這兩者不可能並行,必須依序執行,測試才會通過。這份 PR 卻宣稱測試通過、檢查完成,而程式碼實際上從未做到。Stephen Chin 把問題一般化:多數 AI 寫的 PR 讀起來像逐行解釋 diff,因為它們就是從 diff 長出來的;而這種敘事裡的不實陳述會汙染審查,還會生出彼此矛盾的 PR。
TraceTune 的解方,是不再信任 session log,改為跨讀機器上儲存的各個代理工作階段,重建實際建了什麼。這個想法可追溯到她先前的 ShowTale 專案,原本是為了支援一項學術研究而做。該研究遇到的問題是:學生只交出最終程式,無法追溯產生它的提示過程與投入心力——她認為,這正是讓 AI PR 不可靠的同一個缺口。
證據圖把昂貴的研究先在地做一次
核心架構動作,是在任何 LLM 動筆之前先把證據圖算好。Relate 被描述為一個以 Rust 撰寫的嵌入式開源圖形資料庫,於當週在 Nodes 大會發布,也在這場 AI Engineer 舊金山演講中亮相;它儲存提交變更的來源脈絡(provenance)及其關聯。自稱「圖形佬」的 Stephen Chin 強調,這不是 Neo4j,而是專為代理設計的新型嵌入式資料庫。
重點在經濟效益:圖層不產生任何 LLM 成本,只吃本地運算與儲存,而且完全在記憶體中執行。代理不必再迴圈反覆重新挖掘事實,Relate 直接回傳一份「鄰域簡報」(neighborhood brief)——把原因、程式碼、檢查與其歸屬關係串成一個連通的封包——較便宜的寫手模型就能用更少的來回次資料此起草。
flowchart TD
A["磁碟上的代理工作階段"] --> B["Relate 證據圖(記憶體中,Rust)"]
B --> C["鄰域簡報:原因、程式碼、檢查、歸屬"]
C --> D["高品質寫手起草 PR"]
D --> E["便宜審查模型交叉核對宣告"]
E --> F["發現對照草稿核查,重寫"]
F --> G["人類審查者核准"]
輸出格式很具體。改善後的 PR 會寫明日誌的 CWD,並解釋 cd 執行前的 shell 狀態;它會指出例外情形——某個 cd 指向一個 repo,或某個指令提到某條路由;它會把通過的專案寫成「型別檢查加上 71 項測試,是針對提交內容檢查,而非在此之前」;而且它從 correlate.ts 開場,檢視開頭那個 cd 例外。Stephen Chin 指出,這是審查者角色 Meera 第一次看起來真心開心的場景。
把昂貴的模型放在寫手的位置,不是審查者的位置
財務團隊的第一個要求是換上更便宜的寫手來降低成本。這招失敗了:品質下滑,Alex 的問題更嚴重。真正奏效的反直覺解法,是把慣常的分級整個倒過來。Cassandra Chin 說,「讓寫手的品質高於審查者,感覺非常反直覺」,因為團隊通常會把規劃者、審查者與檢查者設成最強的模型。
她的解釋著眼於每個任務實際需要什麼。低階模型不管迭代幾次、給多少回饋,「都會把事情變成一份檢查清單,變得很機械」——它寫不出像人寫的文字。相較之下,審查與交叉核對本質上就是機械性的工作。因此架構上保留一個 Sonnet 或 Opus 等級的寫手,負責那份必須通過人類核准的簡報;再用數個 Haiku 等級的審查者去找出遺漏的發現,並對照證據核對宣告。Stephen Chin 把這個迴圈總結為:便宜的審查者找出發現,這些發現再對照草稿核查,然後重寫,最後由高品質寫手產出最終簡報。
基準結果:品質小漲,Token 約砍半
團隊打造了 PRBench,這是一套 pull request 基準,把稽核軌跡與程式碼結合 LLM 評審,並加上人工審查來確認準確度。結果在 Claude 與 Codex 上都做了測量。Stephen Chin 表示,評審「幾乎一面倒」偏好 TraceTune 加 Relate 的輸出。
| 配置 | 品質分數(1–100) | 變化 |
|---|---|---|
| Claude,基準 | 74 | — |
| Claude,TraceTune + Relate | 76 | +2 |
| Codex,基準 | 82 | +4 |
| Codex,TraceTune + Relate | 86 | +4 |
更大的數字在成本。根據 Stephen Chin 的說法,搭配圖形方案的 TraceTune「用的 Token 大約是先前的一半」,因為證據圖是事先建好的,寫與審都變得更便宜。他把基準測試的支出定位為公共財:團隊先替大家把 Token 燒掉,使用者就能直接拿到品質提升與省下的成本。
大規模跑基準,是成為「Token 億萬富翁」的途徑
本集的反覆笑點是 Token Billionaire 計畫,Cassandra Chin 證實自己就是其中之一——她花了「好多好多的 Token」打造 TraceTune。PRBench 貢獻良多。起初測試是一條一條循序跑;團隊後來把它們平行化,她稱這是「快速衝高支出的捷徑」。Stephen Chin 說,目前的測試矩陣可以讓一臺高階電競 PC 被 Linux 能吃下的執行緒數完全塞滿。那張獎勵卡現在據他所述被拿來當書籤——「比信用卡還重」。
Stephen Chin 從中得到的更大教訓是:代理在資料分析、評估與資料整理上很弱。事先給它們一層建在記憶體資料庫上的自訂圖形層,就能降低成本、提升品質,適用於「幾乎任何有資料、有關聯、有證據的專案」。
「如果你要做高品質的寫作,較低階的模型不管迭代幾次、給多少回饋,都辦不到。它只會把事情變成一份檢查清單,變得很機械。」——Cassandra Chin
工具鏈與周邊的教育推廣
TraceTune 是開源的,支援 Claude 與 Codex,用 Stephen Chin 的話說,也支援「你所有愛用的 AI 工具」,檔案在 trace tune.com。Relate 則定位為以 Rust 為基礎的嵌入式開源圖形資料庫,「為你的代理帶來脈絡」。本集最後宣傳了當週末在舊金山舉辦的 AI Engineer Kids Day:工作坊教小朋友用 AI 寫程式、打造自己的遊戲,還有讓孩子用 AI 操控小型汽水罐機器人的課程。Stephen Chin 的訴求是「培養下一代的 AI 工程師」。
值得持續觀察的未解張力,就是品質差距本身。在百分制上多 2 到 4 分,是真實的進步,但幅度不大;真正的賣點是成本砍半,而非正確性出現跳躍式改變。證據圖這套做法能否從 PR 寫作擴充套件到其他場景——任何有可追溯產出物的代理工作流程——是團隊正在主張、但目前只在這一套基準上驗證過的說法。