SWE-rebench
Nebius / 程式設計 · 持續收集真實倉庫問題,比較模型在多種程式語言中的軟體修復能力。
在 888news 中觀察中
依據預算不參與排序
上游數據時間待核實
最近成功同步尚未開始採集
它測什麼,怎麼測
固定任務視窗、ReAct 環境和 text/tools 互動協議,採用多次執行的平均解決率與標準誤;不把完整 Agent 產品與基礎模型混為同一物件。
如何使用這份依據
候選觀察:真實倉庫任務值得補充,等待可驗證執行日期、穩定成績協議與再展示邊界;尚未啟用自動採集或計分。
評測局限與數據署名
滾動題目、執行環境和任務視窗影響可比性;網站近期維護不等於所有模型重新測試。
數據許可:官方 Hugging Face CC BY 4.0 資料集是任務題庫;尚未確認網頁最終成績的穩定匯出與再展示邊界。
成績由 Nebius 發布,各項原始分數使用不同尺度,不能直接相加;參考名次採用公開的分差標準化規則。