跳到正文

DeepSWE v1.1

DataCurve / 程式設計 · 在統一的程式設計助手環境裡改倉庫、修缺陷,比較的是寫程式碼的模型本身。

官方評測
在 888news 中觀察中
依據預算不參與排序
上游數據時間待核實
最近成功同步尚未開始採集

它測什麼,怎麼測

只取 pass@1;統一 harness 內按預先固定的推理檔位優先順序選代表配置。

如何使用這份依據

觀察中:9 月 3 日後沒有再加入新模型,且 Epoch 指出部分題目判分有缺陷;恢復更新並修好後再計分。

評測局限與數據署名

仍是模型+mini-swe-agent 的系統表現;大版本變化必須隔離快照。

數據許可:官方公開結構化結果;僅管理員私有觀察,公開前複核許可

成績由 DataCurve 發布,各項原始分數使用不同尺度,不能直接相加;參考名次採用公開的分差標準化規則。