CyberBench Patch v1.1
Vals AI / 程式設計 · 修補真實開源專案的安全漏洞。
在 888news 中參與排名
依據預算不參與排序
上游數據時間待核實
最近成功同步尚未開始採集
它測什麼,怎麼測
56 個 Patch 任務,統一 mini-swe-agent;編譯、原漏洞複測及隱藏輸入與維護者修復對照。
如何使用這份依據
計分:漏洞修補一類評測。固定 10 個對照型號至少測到 6 個,才參與計算。
評測局限與數據署名
只取 Patch,不混入 PoC 或總分;回退比例按 Patch 的 56 題計算。 缺測留空;回退成績計入並標註,受影響題目過半不計。
數據許可:官方公開結果;公開再展示保留官方署名,完整再分發授權仍以 Vals 條款為準
成績由 Vals AI 發布,各項原始分數使用不同尺度,不能直接相加;參考名次採用公開的分差標準化規則。