跳到正文

SWE-rebench

Nebius / 程式設計 · 持續收集真實倉庫問題,比較模型在多種程式語言中的軟體修復能力。

官方評測
在 888news 中觀察中
依據預算不參與排序
上游數據時間待核實
最近成功同步尚未開始採集

它測什麼,怎麼測

固定任務視窗、ReAct 環境和 text/tools 互動協議,採用多次執行的平均解決率與標準誤;不把完整 Agent 產品與基礎模型混為同一物件。

如何使用這份依據

候選觀察:真實倉庫任務值得補充,等待可驗證執行日期、穩定成績協議與再展示邊界;尚未啟用自動採集或計分。

評測局限與數據署名

滾動題目、執行環境和任務視窗影響可比性;網站近期維護不等於所有模型重新測試。

數據許可:官方 Hugging Face CC BY 4.0 資料集是任務題庫;尚未確認網頁最終成績的穩定匯出與再展示邊界。

成績由 Nebius 發布,各項原始分數使用不同尺度,不能直接相加;參考名次採用公開的分差標準化規則。