跳到正文
AI Engineer(youtube.com)· Ayush Bhardwaj·· 12 天前品質評分58

你的代理討厭你的 CLI——Allos AI 的 Ayush Bhardwaj

你的代理討厭你的 CLI——Allos AI 的 Ayush Bhardwaj

重點導讀

Allos AI 的 Ayush Bhardwaj 主張,CLI 工具應加入能感知代理的輸出模式與技能檔案,因為代理的對話紀錄揭露了隱藏的管線摩擦,使管線使用率從 82% 掉到只剩四分之一。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Ayush Bhardwaj 打造了一套 CLI,讓寫程式的代理能搜尋自己過去的對話紀錄。他主張:代理為了繞過某個工具而寫出的變通做法——那些接在工具輸出後面的管線、grep 和 Python 一行指令——正是開發者從來沒送出的 bug 報告。這場演講大部分時間都在為這個主張找證據:他稽核了自己對話紀錄中約 20,000 次代理工具呼叫、整理出反覆出現的特定管線模式、說明管線如何掩蓋失敗,以及他對自家工具實際推出的三項修正。標題的框架說得通,但涵蓋範圍比內容窄——這一集與其說在談代理「不喜歡」什麼,不如說是在談如何把對話紀錄當成產品分析資料。

Bhardwaj 的案例研究規模不大但很具體:他的工具附帶一份 skill 檔案,讓代理自行判斷何時呼叫,在十月的一次稽核中記錄了約 1,000 次呼叫。他再佐以外部證據——Sanity 的 MCP 伺服器遙測、InfraCost 五月的文章、GitHub CLI 與 cargo 的使用模式,以及關於 MCP 工具描述與代理撰寫之 context 檔案的學術研究。讀者讀完應該能帶走一套可重複的方法:備份對話紀錄、搜尋「工具名稱+管線符號」、把這些指令分別對舊版與新版重跑,並衡量回合數與答對率,而不是省下多少 Token。

代理會在你的程式外面另寫程式,而不是回報 bug

Bhardwaj 開場的範例全都出自他自己的對話紀錄,而且形狀一致:代理向 CLI 要東西,拿到一大段輸出,然後基於「答案大概在哪裡」的假設把它裁掉。

  • Claude Code 想從一頁檔案裡拿到某一項設定,於是下載整頁,最後只保留 40 行。
  • Codex 想知道有多少依賴套件有漏洞,於是索取整份 JSON 報告,最後只保留最後 40 行——那份報告把總計放在那裡。
  • Cursor 跑了一套測試,發現一個失敗,最後只保留最後 80 行。

Bhardwaj 說,每一次裁剪都保住了資訊,但每一次都「把『答案在輸出中的哪個位置』這個假設寫進了程式」。單一管線說明不了什麼;同一條管線一寫再寫,就指向工具缺少了某樣東西。他提到,Claude Code 那個例子來自一個正在審閱這場演講的代理,而它「還是忍不住這麼做」。

這件事之所以重要,是因為代理不會回報摩擦。Bhardwaj 引用內容平臺 Sanity 六月發表的文章:超過 20,000 個代理、上線以來約 300 萬次工具呼叫,卻連一份 bug 報告都沒有。Sanity 後來推出一個回饋工具,代理一有了抱怨的地方,就開始表達哪裡不對。Bhardwaj 的重點是:你不需要先有回饋工具才能起步——回饋早就躺在你的對話紀錄裡了。

四分之一的代理工具呼叫以管線收尾,而且管線會重複出現

Bhardwaj 從對話紀錄中抽出約 20,000 次代理呼叫。樣本中出現 14 種 CLI,包括 Git、GitHub CLI、cargo、curl、npm 和 Docker。其中四分之一把輸出送進 head、grep、tail、python、sort 或 wc 等過濾器。若是讀取量大的指令,比例超過一半。

指令/工具輸出送進過濾器的比例
20,000 次呼叫樣本中的所有呼叫約 25%
讀取量大的指令>50%
git show62%
cargo test62%
Bhardwaj 自家 CLI,十月稽核(約 1,000 次呼叫)80%(每五次有四次)

他指出,有些執行框架(harness)使用管線的比例低得多——例如 Codex 讓代理在每次呼叫時自行設定輸出上限。但這個模式並非隨機:在這些日常 CLI 中,83% 的管線落在至少出現過 10 次的模式裡,CLI、子指令與管線工具都相同,即使引數不同也一樣。「代理一直在要同樣的東西,」他說。

他也量化了輸出為什麼會被裁掉。有一段很長的對話,他用兩種方式透過工具開啟:完整內容是 120 萬字元;代理以管線檢視、只看搜尋命中處附近的部分,約 3,000 字元。執行框架確實會限制輸出量,但 Bhardwaj 主張,單靠大小上限無法辨識出相關訊息——選擇性旗標可以,它讓代理告訴工具自己想要哪一部分。

管線能把失敗變成一個綠點

沒有 pipefail 時,管線回傳的是最後一個指令的結束碼,所以 cargo test | head 即使測試失敗也可能回報成功。Bhardwaj 在畫面上示範了一個例子:一個編譯錯誤,配上一個綠點。狀態是錯的,但代理至少還讀得到錯誤訊息。

更糟的情況是管線把錯誤本身也裁掉了。他引用 GitHub 上一則 Claude Code 的 issue:使用者的指令碼發生參照錯誤並以錯誤碼結束;tail 只顯示三行無害的訊息,Claude 便回報成功。錯誤從未送達模型。

他的處方很直接:工具失敗時就要大聲失敗;把最後幾行做成簡短摘要,並附上完整日誌的位置;不要指望結束碼能撐過管線。

三項修正:選擇性旗標、精簡格式與批次處理

Bhardwaj 把範例的左欄讀成 bug 報告,右欄讀成修正方案,這些都來自他對自家工具的改動。

代理行為(「bug 報告」)代表什麼已推出的修正
對輸出跑 rg 和 z/head/tail「讓我自己挑我要的那一段」view 可以只回傳命中處附近的部分、只回傳符合的訊息,或回傳最後幾筆並附上大小間隔
對 JSON 跑 Python「欄位給我少一點」search 新增精簡模式,每次命中一行,結果相同但體積約為 JSON 的六分之一
用 for 迴圈逐一對多段對話呼叫 inspect「讓我一次問好幾段」一次呼叫即可處理多段對話;原本約三分之一的 inspect 呼叫是手動迴圈

他舉雲端成本工具 InfraCost 為例,說他們五月也記錄了同樣的發現:他們的代理會在 JSON 輸出上寫 jq 和 Python 管線,於是他們把過濾功能搬進 CLI、加入精簡格式,並加了一份 skill 來教代理使用。在他們的測試中,什麼都沒有的原生 Claude 六道難題全錯;加上這些之後六題全對——而且整份基準測試的成本下降 41%。Bhardwaj 引用該篇文章作者在 Hacker News 上的說法:讀代理日誌「就像在看使用者測試」。

你的 skill 檔案和說明文字就是介面,過時的說明就是 bug

能力一旦進了 CLI,代理就必須知道它存在——靠 skill 檔案或說明旗標。Bhardwaj 測試了代理會多忠實地照著這些教學走。他做了一項改動,讓 deep 旗標變成空操作,但 skill 仍告訴代理要用它:95 次搜尋中,95 次都照樣帶了這個旗標。接著有兩段對話載入了改寫後的 skill,其中已不再提到這個旗標:沒有任何一次搜尋帶上它,而且兩段對話都在第一次讀取時就試用了新的旗標。

「你的 skill.md、說明文字、錯誤訊息就是介面,」他說。「這也意味著過時的說明就是 bug,因為你的代理會一直照著它做。」新旗標送達代理之後,幾乎每次搜尋都使用精簡輸出,也幾乎每次都用上新旗標;管線使用率從 82% 降到約四分之一。

先推出範圍與上限,並衡量答對率而非 Token

被問到如果重來一次會先做什麼,Bhardwaj 指向資料:受測管線中有 55% 在下游只用 head、tail 或 sed,他解讀為市場對更小切片的需求。先推出範圍與上限,再談其他花俏功能——但旗標只有在代理願意使用時才有用。

旗標/功能觀察到的代理行為
GitHub CLI list 的 --limit81% 的呼叫有使用
cargo test --quiet(每個測試輸出一字元,仍會回報失敗)約每 10 次 cargo 執行只有 1 次帶上;代理改用管線
DuckDB 的代理模式模型讀取的輸出減少 59%,但省下的 Token 僅約佔模型讀取總 Token 的 0.5%;成本與執行時間都沒有改善

cargo 的例子說明旗標需要在說明文字與 skill 中教學。DuckDB 的例子則是他的警告:DuckDB 的代理本來就能答對,所以省下的 Token 並沒有轉化為更好的結果。「要衡量回合數和寫出的答案,不能只看 Token,」他說。

他也建議讓大型輸出預設印得少一點,並說明如何取得更多——例如「顯示 300 筆中的 20 筆,加上 offset 20 取得下一頁」。要一次推出好幾項這類改動,一個辦法是代理模式:CLI 察覺到是代理在呼叫(Claude Code 等工具會設定環境變數),就換一種印法。在 DuckDB 的版本裡,終端機使用者看到的是畫出來的表格;代理看到的是純文字表格,並註明省略了幾列、如何取得,過大的查詢會提早中止並說明原因,錯誤則以 JSON 回傳,因為代理讀 JSON 讀得比較好。

代理很會拿對話紀錄檢查工具,卻不擅長設計工具

Bhardwaj 反駁「代理可以一次到位做完這件事」的想法。「問題出在設計,」他說。要代理為代理打造一個工具,它腦中浮現的八成是真人使用者,再把代理硬接上去;它會複製自己看過最常見的模式,而那些大多很糟。他引用一項針對官方 MCP 伺服器的研究,發現多數只是包裝既有 API;另一項研究檢查了真實 MCP 伺服器的工具描述,在其中 97% 挑出問題。蘇黎世聯邦理工學院(ETH Zurich)的研究人員測試了代理撰寫的 context 檔案:這些檔案無助於任務成功、執行成本更高,表現還不如人寫的檔案。

工作的另一半,正是代理的強項。給它一段對話紀錄和一個能跑的測試,它就能找出哪裡不對並改進工具——有時甚至超越人手寫的成果,Bhardwaj 說 Anthropic 曾在自家內部工具上得到這樣的結果。他的分工方式是:「你決定工具該長什麼樣子,讓代理拿真實發生過的事來檢查它。」

把對話紀錄重播成回歸測試套件

Bhardwaj 提供的方法很機械化,也不需要任何額外埋點。先備份對話紀錄,因為 Claude Code 會在 30 天後刪除閒置的紀錄。接著搜尋「工具名稱+管線符號」及類似模式。如果你有推出 MCP 伺服器,就去找代理呼叫你的工具後立刻換一組引數再呼叫一次的情況。

代理真正跑過的指令就是測試案例,而代理緊接著做的事就是粗略的答案卷。把這些指令分別對舊版與新版重播:如果你改了排序,確認代理後來採用的那筆結果仍排在前面;如果你改了輸出格式,確認沒有東西遺漏;如果你改了預設值,看看哪些指令的行為現在不一樣了。當代理換一組引數重新發出呼叫,你大概就找到了一個失敗案例。留幾組案例來替修正評分,因為答案卷終究只是對「代理想要什麼」的猜測。

「如果你在為你的代理打造工具,你的代理對話紀錄就是你大概沒在讀的產品分析資料。變通做法就是 bug 報告。」

貫穿各節的主軸是:工具設計的證據早就存在,蒐集起來也不花錢,但它躺在開發者當成廢氣、而非遙測資料的地方。有兩股張力仍未解。第一,演講中最有力的成效資料——InfraCost 從六題全錯到六題全對——來自一個代理本來就徹底失敗的工具;而 DuckDB 砍掉 59% 輸出,卻幾乎沒省下 Token、也沒省下成本,所以「這些修正劃得來」的論證,在基準本來就壞掉的地方最清楚。第二,Bhardwaj 自己的數字建立在單一開發者約 1,000 次呼叫之上;20,000 次呼叫的樣本擴大了管線模式的廣度,卻沒有擴大前後對照的結果。值得持續追蹤的主張,是他推出新旗標後管線使用率從 82% 降到 25%——如果這個結果在其他工具、其他使用者身上也成立,重播對話紀錄就會成為 CLI 發布測試的標準環節,而不只是某個開發者的個人習慣。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論