基準測試發現,AI 程式開發助理的執行環境會讓成本差到 5 倍
Your AI coding agent could cost 5x more depending on the harness, benchmark finds
重點導讀
同一個模型搭配不同的程式開發助理執行環境,花費可能差到 5 倍。
- Runta 和 Baseten 比較 22 種設定與 5 個開放權重模型,發現省錢排名會隨模型改變。
- 有些設定搭配一個模型最便宜,換了模型卻可能變得很貴。估算費用中,52.7% 花在未通過檢查的任務,另有 11.8% 花在逾時執行。測試也發現,成功完成一項任務所需的步數和成本有明顯關聯,但研究沒有單獨驗證簡單的工具使用方式是否能降低費用。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處thenewstack.io
Your AI coding agent could cost 5x more depending on the harness, benchmark finds
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: The New Stack (thenewstack.io)
開啟原文