跳到正文
熱點事件持續更新

SWE-CoWork測試程式開發AI助理的團隊協作能力

3 篇報導3 個報導來源6 小時前更新

先了解這件事

重點綜述

研究者推出 SWE-CoWork,讓程式開發 AI 助理在有同事、專案看板與聊天紀錄的模擬組織中處理任務,測試它能否找出分散在團隊成員手上的需求、合作並確認成果。

  • 基準測試收錄 101 項來自真實專案的任務,涵蓋 11 種程式語言與 12 個領域。
  • 其中 82% 的需求由隊友掌握,觀察助理是否會向對的人詢問。早先報導稱,表現最好的模型通過約 63% 的個別檢查,但完整完成的任務不到 8 項。
  • 提供完整規格後,GPT-6 Astra 通過的檢查增加 16 個百分點。11 月 22 日的後續報導則指出,Claude Opus 5.5 和 GPT-6 Astra 在模擬職場中完整完成的任務都不到十分之一,顯示單項程式測試分數高,不代表能在較貼近日常工作的環境中完成整項工作。

根據報導自動生成 · 6 小時前更新

事件進展

2 個進展
  1. 11月22日 23:15 · 1 篇報導
    AI編碼代理在模擬職場任務中完成率低
    The Decoder:研究測試 AI 程式助理在模擬職場中能否完成工作
  2. 11月17日 15:00 · 2 篇報導
    SWE-CoWork基準測試協作編碼代理
    Dev.to Top Tech:SWE-CoWork 用模擬組織測試 AI 助理如何合作寫程式

報導時間線

沿著報導,瞭解事件的不同面向。

11月22日
  1. The Decoder
    研究測試 AI 程式助理在模擬職場中能否完成工作

    AI 程式助理在單獨的程式測試中分數很高,但放進有同事、專案看板和聊天紀錄的模擬軟體公司後,能完成的工作少得多。這項新實驗測試了包括 Claude Opus 5.5 和 GPT-6 Astra 在內的 AI 助理,兩者完整完成的任務都不到十分之一。結果提醒我們,單項測試表現好,不一定代表 AI 助理能在較貼近日常工作的環境中把事情做完。

11月18日
  1. Rohan Paul (@rohanpaul_ai)
    SWE-CoWork 用模擬職場測試程式開發 AI 助理能否團隊合作

    程式開發 AI 助理常拿到寫得很完整的任務,但真正的團隊工作裡,需求可能散在同事手上。TokenWave AI 推出 SWE-CoWork 這項基準測試,讓 AI 助理在模擬職場中工作,並把 82% 的需求交由隊友掌握,測試它會不會向對的人詢問。結果顯示,表現最好的模型雖能通過約 63% 的個別檢查,完整完成的任務仍不到 101 項中的 8 項;提供完整規格也讓 GPT-6 Astra 通過的檢查增加 16 個百分點,但它仍只完整完成 8 項任務中的 101 項。這項測試呈現了通過單項檢查和完成整個工作之間的差距。

11月17日
  1. Dev.to Top Tech
    SWE-CoWork 用模擬組織測試 AI 助理如何合作寫程式

    實際開發工作常要先問清楚需求、和同事合作,再確認成果;只測 AI 助理能不能單獨寫程式,可能看不出它在團隊裡的表現。研究者推出 SWE-CoWork,讓 AI 助理在模擬組織中處理開發任務,從同事和紀錄裡找出需求,並與其他人合作、檢查工作成果。這套測試包含 101 項任務,來自 101 個真實專案,涵蓋 11 種程式語言和 12 個領域。它把測試情境拉近團隊工作,觀察 AI 助理如何理解需求與協作。

本事件熱度趨勢

當前熱度 9·可比範圍峰值 17(11月18日 02:00)·近 24 小時可比範圍變化 –

0510152011月17日16:0011月19日12:0011月21日09:0011月23日05:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點選圖表檢視每小時熱度;鍵盤可用左右方向鍵切換。

讀者討論

針對此事件的各方觀點與即時反饋