DeepSeek Harness 太早關閉背景工作,讓 Terminal-Bench 得分下滑
AI 助理完成任務後自動關閉背景工作,通常是好習慣,但有些測試需要這些工作繼續執行。研究者比較多種 AI 助理框架時發現,DeepSeek Harness 在 Terminal-Bench 的三項任務中,使用 DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 共 36 次嘗試只通過 2 次;OpenCode、Pi 和 Hermes Agent 則全數通過。這項設計讓 DeepSeek Harness 的分數少了 1.5 到 1.7 個百分點。整體比較也顯示,相同模型換用不同框架,解題率和每題花費都可能差很多。