為什麼 AI 寫程式助理自己檢查,還是抓不到錯誤?實驗比較自我檢查與對抗式審查
Why Self-Review Fails in AI Coding Agents: Single-Agent Self-Review vs. an Adversarial Critic (0% vs. 100% Mutant Kill Rate)
重點導讀
AI 寫完程式後,常會被要求自己再檢查一次,但它可能沿用原本的想法,只測常見情況,漏掉容易出錯的邊界。這次實驗讓同一個 AI 助理自我檢查,並和「另一個 AI 助理專門找碴」的做法比較:前者寫出的測試程式用了環境裡沒有的 pytest,無法執行,6 個隱藏錯誤一個也沒抓到;後者則用 Python 內建功能寫測試,抓出全部 6 個。兩種做法寫出的程式都通過了 20 個功能測試。多加一次找錯步驟,花費增加 $0.0052、時間多 6.92 秒。這個結果顯示,讓不同 AI 助理分開寫程式和找錯,可能更容易發現邊界條件、型別和格式問題;找錯用的測試也應鎖定,避免後續修改把測試放寬。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Why Self-Review Fails in AI Coding Agents: Single-Agent Self-Review vs. an Adversarial Critic (0% vs. 100% Mutant Kill Rate)
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文