跳到正文

FACTS Parametric

Google DeepMind / Kaggle / 知識問答 · 不借助搜尋工具回答世界事實問題,檢驗模型自身知識的準確性。

官方評測
在 888news 中觀察中
依據預算不參與排序
上游數據時間待核實
最近成功同步尚未開始採集

它測什麼,怎麼測

只考慮固定任務版本的 Score,保留公開集、私有集與置信區間供核查;不能把三個相關分數重複計票。FACTS 不在 AA v4.3 的十項底層評測中。

如何使用這份依據

觀察中:官方協議與許可已確認,但沒有完成題數或完整性標記;部分行區間顯著寬,總分與公開集、私有集的彙總口徑也存在待確認情形。等待評測方說明,不刪除異常行來強行接入,不佔評分預算。

評測局限與數據署名

裁判與評測發起方均來自 Google,需結合其他機構證據。匯出未說明部分結果是否完成同一套題,不能把區域性結果當完整評測;從區間反推的樣本量不是官方確認事實。

數據許可:Apache 2.0 · 官方 benchmark 與 Score task 頁面明確宣告;Kaggle 文件提供公共榜單的免登入 JSON 下載。

成績由 Google DeepMind / Kaggle 發布,各項原始分數使用不同尺度,不能直接相加;參考名次採用公開的分差標準化規則。