重點導讀
要知道 AI 助理能不能完成工作,光看最後答案不夠,還得檢查它一路怎麼做。
- Together AI 的做法是先挑出約 10 個常見任務,讓 Claude Code 在隔離環境中執行,再比較基本設定、MCP 和技能三種組合,並檢查操作過程,據此改進檔案與 API。
- 文中表示,任務完成率從 67% 提升到 96%。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
Together AI 用代表性任務比較不同設定,並檢查 AI 助理的操作過程來改進檔案與 API,呈現一套實作評估方法。
Together AI@togethercompute
·6 天前
Here's how we do agent evals at Together AI:
→ Define ~10 representative tasks
→ Run agents (Claude Code) in sandboxes
→ Test 3 configs (baseline, MCP, skills) for each task
→ Analyze trajectories and improve docs + APIs
Agent task completion improved from 67% to 96%!
推文來源 · X (Twitter)在 X 參與討論
來源: Together AI (x.com)
在 X 查看推文