Mercor APEX-SWE
Mercor / 程式設計 · 在真實工程環境裡做系統整合、排查線上故障。
在 888news 中參與排名
依據預算不參與排序
上游數據時間待核實
最近成功同步尚未開始採集
它測什麼，怎麼測
200 道不公開的工程題：100 道系統整合（寫應用程式碼、配基礎設施、把服務部署起來），100 道線上排障（看日誌和開發者討論，追到程式碼裡的根因）。只取 Mercor 用 Terminus-2 統一跑的 Pass@1，評分細則全部滿足才算通過；按預先固定的推理檔位選配置，選擇不看分數。
如何使用這份依據
計分：系統整合與排障一類評測。固定 10 個對照型號至少測到 6 個，才參與計算。
評測局限與數據署名
評分細則由專家編寫、模型裁判判定；題目由 Mercor 與 Cognition 合作編寫。只用舊框架 Inspect 跑過的型號不計，Cognition 自家模型目前只有 Inspect 成績。 缺測留空；回退成績計入並標註，受影響題目過半不計。
數據許可：官方公開結果；資料與程式碼許可不等於榜單再分發授權
成績由 Mercor 發布，各項原始分數使用不同尺度，不能直接相加；參考名次採用公開的分差標準化規則。