跳到正文

AA-Omniscience v1.1(Artificial Analysis)

Artificial Analysis / 知識問答 · 事實問答,答錯倒扣、拒答不扣,看模型知道什麼、會不會亂編。

官方評測
在 888news 中參與排名
依據預算不參與排序
上游數據時間待核實
最近成功同步尚未開始採集

它測什麼,怎麼測

取 Artificial Analysis 獨立公佈的 AA-Omniscience v1.1 分數(−100 到 100),3,000 道事實題。同一型號按最高推理檔位選代表配置,選擇不看分數。

如何使用這份依據

計分:知識問答領域,與 SimpleQA Verified 同屬事實準確一類,兩項合起來算一票。固定 10 個對照型號至少測到 6 個,才參與計算。

評測局限與數據署名

分數同時反映知識量和是否亂編,不單純是知識量。v1.1 換了題集,和 v1 的分數不能直接比,v1 的成績不再計入。 缺測留空。

數據許可:Artificial Analysis 公開頁面資料;展示須顯著署名並連結來源,遵守其 Terms of Use

成績由 Artificial Analysis 發布,各項原始分數使用不同尺度,不能直接相加;參考名次採用公開的分差標準化規則。