跳到正文
𝕏 elvis(x.com)·· 5 天前品質評分39
重點導讀

我正密切關注 AI 助理的交接能力。要讓 AI 助理做到這點,目前仍很難。

SWE-CoWork 把 AI 助理放進模擬團隊,提供工單、檔案和可詢問的隊友,以此衡量交接能力。接著,AI 助理必須在 101 個真實專案中提交能通過隱藏測試的修補程式。

表現最佳的模型完整完成了 101 項任務中的 8 項。Claude Opus 5.5 有超過一半的檢查失敗,發生在 AI 助理已經得知需求之後。

@TokenWaveai 做得很棒。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

elvis
elvis@omarsar0
·5 天前
𝕏

Handoff capabilities are something I am looking at closely with agents. They are still hard to code for agents.

SWE-CoWork measures this by putting an agent in a simulated team with tickets, docs, and teammates it can ask. It then has to deliver a patch that passes hidden tests across 101 real repos.

The best model fully finished 8 of 101 tasks. For Claude Opus 5.5, more than half of the failed checks came after the agent already had the requirement.

Great work from @TokenWaveai.

推文來源 · X (Twitter)在 X 參與討論
來源: elvis (x.com)
在 X 查看推文

讀者討論

理性交流 · 即時討論