FrontierCode 2.0(Artificial Analysis 復跑)
Artificial Analysis / 程式設計 · 在真實開源倉庫裡改程式碼,看改動能不能達到維護者願意合併的水平。
在 888news 中參與排名
依據預算不參與排序
上游數據時間待核實
最近成功同步尚未開始採集
它測什麼,怎麼測
132 個真實倉庫改動任務,每題三次,統一 Stirrup 工具流程;取總體得分。同一型號按最高推理檔位選代表配置,選擇不看分數。
如何使用這份依據
計分:倉庫改動一類評測。固定 10 個對照型號至少測到 6 個,才參與計算。
評測局限與數據署名
除隱藏測試外,維護者評分細則由一個固定的模型裁判打分,不是純測試判定;偷看答案的嘗試記 0 分。 缺測留空;回退成績計入並標註,受影響題目過半不計。
數據許可:Artificial Analysis 公開頁面資料;展示須顯著署名並連結來源,遵守其 Terms of Use
成績由 Artificial Analysis 發布,各項原始分數使用不同尺度,不能直接相加;參考名次採用公開的分差標準化規則。