作者比較 AI 助理與人類改動測試的情況,推出 honest-ci 偵測工具
Coding agents weaken tests about as rarely as people do
重點導讀
程式測試被改掉時,CI 仍可能顯示通過,光看結果很難知道測試是否變弱。
- 作者用自己開發的 honest-ci 檢查 1,598 件 AI 助理提出的 PR,並與同一批專案中相近時間的人類 PR 比較。結果顯示,8.4% 的 AI 助理 PR 和 10.4% 的人類 PR 有測試變動。
- 沒有提出理由、而且確實讓測試變弱的案例,兩邊都不到 1%。這些數字無法證明每次改動都合理,偵測工具也會誤報,因此作者建議讓測試變動交由人檢視。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Coding agents weaken tests about as rarely as people do
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文