排序怎麼算
了解 888news 評分怎麼算,以及每個分數背後的公開成績。
先看評分,再看所長。
綜合榜與四類榜單最多展示 30 個模型。888news 評分幫助快速比較;分項成績說明各有所長,依據覆蓋說明已有評測的範圍。
評分是基於公開評測折算的綜合比較指數,不是答題正確率,也不表示所有任務的絕對能力。具體用途請結合分項原始成績和運行配置。
- 01
先核驗型號與運行配置
統一模型名稱、版本與推理配置,按預先確定的規則選代表運行,不挑最高分。統一固定工具且全程同一型號可以採用;多模型回退、混合模型與專屬異構 Agent 系統不混排。配置未公開就保留未知,不據此斷言混用了模型。
- 02
按能力分配,重複依據不加權
綜合榜按八個能力維度等權分配,每維佔 12.5%。維度內再分配到評測題族,同一題庫的重複成績、榜單切片與已用分項的綜合指標不疊加計權。新增評測先核對題目與協定的重疊關係。
- 03
用同協定參照校準真實分差
只比較同一評測協定下雙方都有的成績,用預先固定參照組的四分位距校準連續分差,避免把微小領先和大幅領先都當成同一票。缺測不補分,未知標準誤差不當成零。
- 04
算成評分,方便比較
彙總共同評測的相對成績差,尋找衝突較少的參考順序。在保持順序的條件下,將共同成績分差擬合為 0–100 的 888news 評分;各項原始成績供進一步核對。
八個能力維度,各佔相同份額。
程式設計、數學與推理、知識與事實、語言理解與指令、寫作與表達、視覺理解、專業任務、中文與多語言各佔 12.5%。這是均衡取向的公開選擇,不是通用能力的天然權重。每個維度先分配題族份額,再處理題族內的評測;同題重複不會增加總權重。已採用分項時,包含它們的綜合指標不再重複計入。缺失份額不轉給其他依據。
- 程式設計12.5%本輪參與:LiveBench · 程式設計綜合 · DeepSWE v1.1
- 數學與推理12.5%本輪參與:FrontierMath v2 · Tiers 1–3 · LiveBench · 推理與數學 · Chess Puzzles · Mystery Game Puzzles · FrontierMath v2 · Tier 4
- 知識與事實12.5%本輪參與:SimpleQA Verified · GPQA Diamond
- 語言理解與指令12.5%本輪參與:LiveBench · 語言與指令
- 寫作與表達12.5%本輪參與:Arena 創作盲選 · Creative Writing v3 · Longform Writing
- 視覺理解12.5%本輪參與:Arena Vision
- 行業專業任務12.5%本輪參與:Vals Finance Agent · APEX-Agents 1.1
- 中文與多語言12.5%本輪暫無可計入依據
程式設計、推理、知識、專業辦公四類榜單保留獨立入口,只比較對應能力的公開成績;分類評分與參考名次不能跨分類比較。公開評測來自同一機構時,不能當成多個獨立機構。更多評測只有補充不同的有效依據才有價值,數量本身不增加某個能力維度的總份額。
你可能還想知道
888news 評分怎麼看?+
為什麼不同名次可能同分?+
參考名次能說明誰一定更強嗎?+
依據覆蓋百分比是什麼?+
共同評測的相對成績差是勝率嗎?+
為什麼不直接取每個模型的最高成績?+
評測重複、污染和誤差能全部消除嗎?+
新模型什麼時候會出現?+
某家榜單暫時打不開,會怎樣?+
價格或速度會影響參考順序嗎?+
查看計算細節與當前版本+
方法版本:2026.10-observed-evidence-v17。模型身分、代表配置、題族歸屬、維度權重、參照組與計算輸入均保留版本。參考順序採用加權不完整 Kemeny 排序,最小化與共同評測相對成績差的衝突;只發布求解達到最優且滿足資格與連通條件的結果。可能存在多個同樣最優的順序,固定展示順序不代表已精確分開所有型號,數學求解最優也不代表真實能力順序已獲證明。
每項評測先確認協定和方向,再以固定參照組在同協定下的四分位距(中間一半參照成績的跨度)校準連續分差。參照不是當前參榜模型的動態最高分或最低分;新增極端成績不會因此重新拉伸其他模型的尺度。至少有四個有效參照且四分位距大於零才可校準;不足時等待有效參照。方向統一後的原始分差除以凍結的四分位距,再截斷到 −1 至 1。它是相對成績差,不是天然能力單位。
評分在參考順序確定後擬合:對每對共同評測的型號,以共同依據份額 W 加權,讓分數差儘量接近標準化的平均成績差 d,最小化 Σ W·(xᵢ−xⱼ−dᵢⱼ)²;同時約束 x 不與已發布順序反向。本輪有效參照型號的 x 均值固定為 0,再按 100 / (1 + 9⁻ˣ) 映射為 0–100 分,參照中心為 50、相差一個擬合單位對應 90 或 10。這個尺度是公開約定,不是測得的概率。不同分類、輪次及方法版本不直接比較;新增有效依據或參評型號可改變擬合分數,篩選頁面不會重新計算。
加權擬合借鑑 HodgeRank 的成對比較思路,本榜額外約束分數順序。它會壓縮衝突,不能把全部任務表現保真地濃縮成一個數字。擬合結果、實際參照和殘差隨計算輪次保存,未達到有效求解條件時不發布新輪次。
標準誤差已公開時保留其誤差資訊;未公開時保留未知,不設為零,也不把標準化分差說成概率。缺測不補零、不補均值;共同依據不足或不連通時,不強行編造跨組的確定順序。覆蓋比例表示已覆蓋的評測權重,不能解釋成對最終參考名次的精確貢獻率。
綜合榜至少需要三個來源、三個題族、三家機構、三個能力領域,並與至少兩個固定參照有直接可比成績。分類按其可用來源要求最多兩項來源和兩家機構、至少一個參照。發布超過十八個月的型號退出當前排序,已有詳情頁保留註明時間的歷史記錄。
沒有逐題數據時不能把展開的模型對數量當成獨立樣本量。已公開的成績不涵蓋所有可能偏差,也不能替代對未知成績的研究。評分不附帶未經驗證的統計信賴度。
固定參照型號:claude-fable-5、gpt-5-6-sol、kimi-k-3、qwen-3-8-max、gpt-5-4、claude-opus-4-8、claude-sonnet-5、grok-4-5、gemini-3-5-flash、glm-5-2、claude-sonnet-4-6、qwen-3-7-max、kimi-k-2-6、deepseek-v-4-pro、qwen-3-6-plus、minimax-m-3、gpt-5-4-mini、grok-4-3、claude-fable-5-1、gpt-6-astra、gpt-6-1-sol、gemini-3-8-flash、grok-4-6、deepseek-v-4-1-flash-1017。參照組用於校準評測尺度,不指定任何廠商應排第幾。與評測協定一起凍結並保留版本,協定變化時重新核驗。