SWE-CoWork測試程式開發AI助理的團隊協作能力
先了解這件事
研究者推出 SWE-CoWork,讓程式開發 AI 助理在有同事、專案看板與聊天紀錄的模擬組織中處理任務,測試它能否找出分散在團隊成員手上的需求、合作並確認成果。
- 基準測試收錄 101 項來自真實專案的任務,涵蓋 11 種程式語言與 12 個領域。
- 其中 82% 的需求由隊友掌握,觀察助理是否會向對的人詢問。早先報導稱,表現最好的模型通過約 63% 的個別檢查,但完整完成的任務不到 8 項。
- 提供完整規格後,GPT-6 Astra 通過的檢查增加 16 個百分點。11 月 22 日的後續報導則指出,Claude Opus 5.5 和 GPT-6 Astra 在模擬職場中完整完成的任務都不到十分之一,顯示單項程式測試分數高,不代表能在較貼近日常工作的環境中完成整項工作。
根據報導自動生成 · 6 小時前更新
事件進展
- 11月22日 23:15 · 1 篇報導AI編碼代理在模擬職場任務中完成率低The Decoder:研究測試 AI 程式助理在模擬職場中能否完成工作
- 11月17日 15:00 · 2 篇報導SWE-CoWork基準測試協作編碼代理Dev.to Top Tech:SWE-CoWork 用模擬組織測試 AI 助理如何合作寫程式
報導時間線
沿著報導,瞭解事件的不同面向。
- The Decoder研究測試 AI 程式助理在模擬職場中能否完成工作
AI 程式助理在單獨的程式測試中分數很高,但放進有同事、專案看板和聊天紀錄的模擬軟體公司後,能完成的工作少得多。這項新實驗測試了包括 Claude Opus 5.5 和 GPT-6 Astra 在內的 AI 助理,兩者完整完成的任務都不到十分之一。結果提醒我們,單項測試表現好,不一定代表 AI 助理能在較貼近日常工作的環境中把事情做完。
- Rohan Paul (@rohanpaul_ai)SWE-CoWork 用模擬職場測試程式開發 AI 助理能否團隊合作
程式開發 AI 助理常拿到寫得很完整的任務,但真正的團隊工作裡,需求可能散在同事手上。TokenWave AI 推出 SWE-CoWork 這項基準測試,讓 AI 助理在模擬職場中工作,並把 82% 的需求交由隊友掌握,測試它會不會向對的人詢問。結果顯示,表現最好的模型雖能通過約 63% 的個別檢查,完整完成的任務仍不到 101 項中的 8 項;提供完整規格也讓 GPT-6 Astra 通過的檢查增加 16 個百分點,但它仍只完整完成 8 項任務中的 101 項。這項測試呈現了通過單項檢查和完成整個工作之間的差距。
- Dev.to Top TechSWE-CoWork 用模擬組織測試 AI 助理如何合作寫程式
實際開發工作常要先問清楚需求、和同事合作,再確認成果;只測 AI 助理能不能單獨寫程式,可能看不出它在團隊裡的表現。研究者推出 SWE-CoWork,讓 AI 助理在模擬組織中處理開發任務,從同事和紀錄裡找出需求,並與其他人合作、檢查工作成果。這套測試包含 101 項任務,來自 101 個真實專案,涵蓋 11 種程式語言和 12 個領域。它把測試情境拉近團隊工作,觀察 AI 助理如何理解需求與協作。
本事件熱度趨勢
當前熱度 9·可比範圍峰值 17(11月18日 02:00)·近 24 小時可比範圍變化 –
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點選圖表檢視每小時熱度;鍵盤可用左右方向鍵切換。
讀者討論
針對此事件的各方觀點與即時反饋