跳到正文

排序怎麼算

了解 888news 評分怎麼算,以及每個分數背後的公開成績。

EVIDENCE BEFORE CONCLUSIONS

先看評分,再看所長。

綜合榜與四類榜單最多展示 30 個模型。888news 評分幫助快速比較;分項成績說明各有所長,依據覆蓋說明已有評測的範圍。

評分是基於公開評測折算的綜合比較指數,不是答題正確率,也不表示所有任務的絕對能力。具體用途請結合分項原始成績和運行配置。

  1. 01

    先核驗型號與運行配置

    統一模型名稱、版本與推理配置,按預先確定的規則選代表運行,不挑最高分。統一固定工具且全程同一型號可以採用;多模型回退、混合模型與專屬異構 Agent 系統不混排。配置未公開就保留未知,不據此斷言混用了模型。

  2. 02

    按能力分配,重複依據不加權

    綜合榜按八個能力維度等權分配,每維佔 12.5%。維度內再分配到評測題族,同一題庫的重複成績、榜單切片與已用分項的綜合指標不疊加計權。新增評測先核對題目與協定的重疊關係。

  3. 03

    用同協定參照校準真實分差

    只比較同一評測協定下雙方都有的成績,用預先固定參照組的四分位距校準連續分差,避免把微小領先和大幅領先都當成同一票。缺測不補分,未知標準誤差不當成零。

  4. 04

    算成評分,方便比較

    彙總共同評測的相對成績差,尋找衝突較少的參考順序。在保持順序的條件下,將共同成績分差擬合為 0–100 的 888news 評分;各項原始成績供進一步核對。

A BALANCED VIEW

八個能力維度,各佔相同份額。

程式設計、數學與推理、知識與事實、語言理解與指令、寫作與表達、視覺理解、專業任務、中文與多語言各佔 12.5%。這是均衡取向的公開選擇,不是通用能力的天然權重。每個維度先分配題族份額,再處理題族內的評測;同題重複不會增加總權重。已採用分項時,包含它們的綜合指標不再重複計入。缺失份額不轉給其他依據。

  • 程式設計12.5%本輪參與:LiveBench · 程式設計綜合 · DeepSWE v1.1
  • 數學與推理12.5%本輪參與:FrontierMath v2 · Tiers 1–3 · LiveBench · 推理與數學 · Chess Puzzles · Mystery Game Puzzles · FrontierMath v2 · Tier 4
  • 知識與事實12.5%本輪參與:SimpleQA Verified · GPQA Diamond
  • 語言理解與指令12.5%本輪參與:LiveBench · 語言與指令
  • 寫作與表達12.5%本輪參與:Arena 創作盲選 · Creative Writing v3 · Longform Writing
  • 視覺理解12.5%本輪參與:Arena Vision
  • 行業專業任務12.5%本輪參與:Vals Finance Agent · APEX-Agents 1.1
  • 中文與多語言12.5%本輪暫無可計入依據

程式設計、推理、知識、專業辦公四類榜單保留獨立入口,只比較對應能力的公開成績;分類評分與參考名次不能跨分類比較。公開評測來自同一機構時,不能當成多個獨立機構。更多評測只有補充不同的有效依據才有價值,數量本身不增加某個能力維度的總份額。

你可能還想知道

888news 評分怎麼看?
0–100 分,越高表示該模型在本榜的綜合表現越強。分數根據共同評測的實際分差擬合,不是按名次逐個扣分,也不會自動給榜首滿分。它不是正確率或勝率;請在同一榜單、同一輪內比較。
為什麼不同名次可能同分?
評分只顯示一位小數;差距很小,或各項評測存在衝突、無法用一個分數完全表達時,可能同分。此時仍按原來的共同評測排序,不額外編造 0.1 分的差距。
參考名次能說明誰一定更強嗎?
不能。它是當前公開成績在指定規則下的瀏覽順序,不是全世界所有任務的絕對能力排名。實際體驗還受產品版本、推理預算、工具環境與任務類型影響。相鄰名次不代表顯著差距。
依據覆蓋百分比是什麼?
它表示該模型已有成績覆蓋了多少預設評測權重。覆蓋高說明已知的範圍更廣,不代表能力更強,也不是正確率。缺失的份額不轉給其他評測,更不補成零分或平均分。
共同評測的相對成績差是勝率嗎?
不是。它彙總雙方共同評測中經過固定參照校準的連續分差,正負只表示相對方向,不表示獲勝概率或顯著領先。兩兩比較可能相互衝突,完整參考順序要同時處理這些關係。
為什麼不直接取每個模型的最高成績?
最高成績可能對應更高推理預算、不同工具或不同評測協定。代表配置的選擇規則必須先確定,不能看到結果後挑分。使用同一推理檔位名稱,也不保證計算量完全相同;具體配置在成績旁保留。
評測重複、污染和誤差能全部消除嗎?
不能。我們按公開題庫與協定檢查重複,並限制同一題族的份額;無法確認的題目重疊和訓練污染仍是局限。上游未公開樣本級結果或標準誤差時,無法補造可靠誤差,也不會把未知當成零。
新模型什麼時候會出現?
888news 每天檢查四次上游結果。只有評測方實際發布了新模型的成績,才能用於參考順序;網頁重新整理、價格更新或我們的抓取時間,都不算重新評測。
某家榜單暫時打不開,會怎樣?
仍有效的來源快照可繼續使用。相同評測版本內,臨時漏行最多沿用最近七天已核驗的記錄;仍在公開榜中保留的有效成績,不因數值長期不變被刪除。官方撤回、更正、換版會相應失效或替換,不保留歷史最高分。整輪計算失敗時保留上一輪有效榜及原時間。
價格或速度會影響參考順序嗎?
都不會。價格只供你了解 API 的使用成本,統一按每百萬 Token 展示,並保留廠商官方來源。它不代表訂閱費用。
查看計算細節與當前版本

方法版本:2026.10-observed-evidence-v17。模型身分、代表配置、題族歸屬、維度權重、參照組與計算輸入均保留版本。參考順序採用加權不完整 Kemeny 排序,最小化與共同評測相對成績差的衝突;只發布求解達到最優且滿足資格與連通條件的結果。可能存在多個同樣最優的順序,固定展示順序不代表已精確分開所有型號,數學求解最優也不代表真實能力順序已獲證明。

每項評測先確認協定和方向,再以固定參照組在同協定下的四分位距(中間一半參照成績的跨度)校準連續分差。參照不是當前參榜模型的動態最高分或最低分;新增極端成績不會因此重新拉伸其他模型的尺度。至少有四個有效參照且四分位距大於零才可校準;不足時等待有效參照。方向統一後的原始分差除以凍結的四分位距,再截斷到 −1 至 1。它是相對成績差,不是天然能力單位。

評分在參考順序確定後擬合:對每對共同評測的型號,以共同依據份額 W 加權,讓分數差儘量接近標準化的平均成績差 d,最小化 Σ W·(xᵢ−xⱼ−dᵢⱼ)²;同時約束 x 不與已發布順序反向。本輪有效參照型號的 x 均值固定為 0,再按 100 / (1 + 9⁻ˣ) 映射為 0–100 分,參照中心為 50、相差一個擬合單位對應 90 或 10。這個尺度是公開約定,不是測得的概率。不同分類、輪次及方法版本不直接比較;新增有效依據或參評型號可改變擬合分數,篩選頁面不會重新計算。

加權擬合借鑑 HodgeRank 的成對比較思路,本榜額外約束分數順序。它會壓縮衝突,不能把全部任務表現保真地濃縮成一個數字。擬合結果、實際參照和殘差隨計算輪次保存,未達到有效求解條件時不發布新輪次。

標準誤差已公開時保留其誤差資訊;未公開時保留未知,不設為零,也不把標準化分差說成概率。缺測不補零、不補均值;共同依據不足或不連通時,不強行編造跨組的確定順序。覆蓋比例表示已覆蓋的評測權重,不能解釋成對最終參考名次的精確貢獻率。

綜合榜至少需要三個來源、三個題族、三家機構、三個能力領域,並與至少兩個固定參照有直接可比成績。分類按其可用來源要求最多兩項來源和兩家機構、至少一個參照。發布超過十八個月的型號退出當前排序,已有詳情頁保留註明時間的歷史記錄。

沒有逐題數據時不能把展開的模型對數量當成獨立樣本量。已公開的成績不涵蓋所有可能偏差,也不能替代對未知成績的研究。評分不附帶未經驗證的統計信賴度。

固定參照型號:claude-fable-5、gpt-5-6-sol、kimi-k-3、qwen-3-8-max、gpt-5-4、claude-opus-4-8、claude-sonnet-5、grok-4-5、gemini-3-5-flash、glm-5-2、claude-sonnet-4-6、qwen-3-7-max、kimi-k-2-6、deepseek-v-4-pro、qwen-3-6-plus、minimax-m-3、gpt-5-4-mini、grok-4-3、claude-fable-5-1、gpt-6-astra、gpt-6-1-sol、gemini-3-8-flash、grok-4-6、deepseek-v-4-1-flash-1017。參照組用於校準評測尺度,不指定任何廠商應排第幾。與評測協定一起凍結並保留版本,協定變化時重新核驗。

查看每一份評測依據 →