跳到正文

SimpleQA Verified

Epoch AI / 知識問答 · 短問題的事實準確性

官方評測
在 888news 中參與排名
依據預算6.3%
上游數據時間11/20 05:24
最近成功同步11/23 00:05

它測什麼,怎麼測

只取 Epoch 自行復跑的 mean_score,採用固定推理檔位;不讀取 ECI 或 Best score 聚合列。

如何使用這份依據

計分:知識問答領域,與 AA-Omniscience 同屬事實準確一類,兩項合起來算一票。

評測成績

按固定規則,每個公開模型採用一套代表配置;沒有可採用配置的模型標為未計入並寫明原因。匿名測試型號不展示,保留原榜名次,每項最多 30 個。

原榜名次原榜型號原始成績代表配置
1claude-fable-5-2_maxAnthropic94.0%Max 推理
2gpt-6.2-astra_maxOpenAI78.5%Max 推理
3gemini-4-carbon_highGoogle77.7%High 推理
4gemini-4-argon_highGoogle76.0%High 推理
5gpt-6-astra_maxOpenAI75.6%Max 推理
6gemini-4-neon_xhighGoogle75.2%xHigh 推理
7gpt-6.1-sol_maxOpenAI73.9%Max 推理
8gemini-3.1-pro-preview_highGoogle73.5%High 推理
9claude-opus-5-5_maxAnthropic72.2%Max 推理
10gemini-4-hydrogen_xhighGoogle70.9%xHigh 推理
11claude-fable-5-1_maxAnthropic70.8%Max 推理
12claude-fable-5_xhighAnthropic70.7%xHigh 推理
13gemini-3.8-flash_highGoogle69.7%High 推理
13gpt-5.6-sol_maxOpenAI69.7%Max 推理
15gemini-3.7-flash_highGoogle69.2%High 推理
16gemini-3-flash-preview_highGoogle66.8%High 推理
17gemini-3.5-flash_highGoogle66.2%High 推理
17gemini-3.6-flash_highGoogle66.2%High 推理
19gpt-5.5_xhighOpenAI63.0%xHigh 推理
20kimi-k3.1-pro-together_maxMoonshot AI62.2%Max 推理
21gpt-6-sol_maxOpenAI60.7%Max 推理
22muse-spark-1.2_xhighMeta60.3%xHigh 推理
23claude-opus-5_maxAnthropic59.9%Max 推理
24muse-spark-1.1Meta57.8%來源預設配置
25gpt-6.1-terra_maxOpenAI57.3%Max 推理
26Muse-Spark-Open-816B-A42B_xhighMeta56.6%xHigh 推理
27grok-4.7_xhighxAI56.0%xHigh 推理
28qwen3.7-maxAlibaba55.8%來源預設配置
29claude-opus-4-8_maxAnthropic53.0%Max 推理
30deepseek-v4-pro-0813_maxDeepSeek52.9%Max 推理
評測局限與數據署名

正式計分;同題家族共用固定預算。

數據許可:CC BY 4.0 · Epoch AI 自行評測資料

成績由 Epoch AI 發布,各項原始分數使用不同尺度,不能直接相加;參考名次採用公開的分差標準化規則。