DeepSeek Harness 太早關閉背景工作,讓 Terminal-Bench 得分下滑
DeepSeek’s coding agent is too tidy for its own good — and benchmarks are punishing it
重點導讀
AI 助理完成任務後自動關閉背景工作,通常是好習慣,但有些測試需要這些工作繼續執行。
- 研究者比較多種 AI 助理框架時發現,DeepSeek Harness 在 Terminal-Bench 的三項任務中,使用 DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 共 36 次嘗試只通過 2 次。
- OpenCode、Pi 和 Hermes Agent 則全數通過。這項設計讓 DeepSeek Harness 的分數少了 1.5 到 1.7 個百分點。整體比較也顯示,相同模型換用不同框架,解題率和每題花費都可能差很多。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處thenewstack.io
DeepSeek’s coding agent is too tidy for its own good — and benchmarks are punishing it
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: The New Stack (thenewstack.io)
開啟原文