評測來源
評測來源
每個來源測什麼、怎樣更新、是否進入排名,都可以在這裡找到。
39本輪參與排名94已審查來源與專項
排序怎麼算 程式設計
21在終端機裡完成工程任務、開發應用、修補漏洞、改真實專案、系統整合與線上排障、寫程式、科學計算、整套程式的遷移與重建。
參與排名Terminal-Bench 4.0 · AA在命令列環境裡獨立完成一整件工程任務。Artificial Analysis
參與排名Terminal-Bench 4.0 · ValsVals 用同一套 Agent 流程給所有模型復跑 Terminal-Bench 4.0。Vals AI
參與排名LiveBench · 程式設計綜合Coding + Agentic Coding 兩項均分,各佔 50%。LiveBench依據預算 8.3%參與排名SciCode · AA把物理、化學、生物等科研問題寫成能執行的計算程式碼。Artificial Analysis
參與排名Code Migration把整套程式從一種語言或框架遷移到另一種。Vals AI
參與排名ProgramBench只給執行檔,從零重寫出行為相同的程式。Vals AI
參與排名Vibe Code Bench v1.1從需求搭建網頁應用,檢查實際功能。Vals AI
參與排名Vibe Code Bench 1–100在已有應用上連續開發,同時保持舊功能。Vals AI
參與排名CyberBench Patch v1.1修補真實開源專案的安全漏洞。Vals AI
參與排名FrontierCode 2.0 · AA在真實開源倉庫裡改程式碼,看改動能不能達到維護者願意合併的水平。Artificial Analysis
參與排名APEX-SWE在真實工程環境裡做系統整合、排查線上故障。Mercor
觀察中DeepSWE v1.1在統一的程式設計助手環境裡改倉庫、修缺陷,比較的是寫程式碼的模型本身。DataCurve
觀察中MirrorCode長時間的軟體復現Epoch AI
僅供參考TapTap Maker在真實遊戲引擎裡用 Lua 寫出能跑起來的功能。分數由引擎執行判定,不用另一個模型打分。TapTap Maker
- H僅供參考Terminal-Bench 4保留模型搭配不同 Agent 在終端任務中的原始成績,供交叉核對。Harbor / Terminal-Bench
- S觀察中Hyper-τ-bench根據業務資料構建並測試能工作的客戶服務代理。Sierra
- N觀察中SWE-rebench持續收集真實倉庫問題,比較模型在多種程式語言中的軟體修復能力。Nebius
- T觀察中LHTB在較長時間內持續使用終端,完成複雜工程與工具任務。Tencent HY / Lehigh 等
- C觀察中FrontierCode真實倉庫任務的質量、測試與修改範圍Cognition
- P觀察中FrontierSWE v2長時間執行的工程實現與研究任務Proximal Labs
- W觀察中WeirdML在陌生資料上實現機器學習方案WeirdML
科研與推理
18專家難題、研究級數學與物理、邏輯與遊戲推理、實驗探索和科學工作流程。
參與排名HLE · AA橫跨學科的專家級難題,不用工具作答。Artificial Analysis
參與排名FrontierMath v2 · Tiers 1–3研究級數學推理Epoch AI依據預算 1.6%
參與排名LiveBench · 推理與數學Reasoning + Mathematics 兩項均分,各佔 50%。LiveBench依據預算 3.1%參與排名CritPt · AA研究級物理問題,考驗專業推導。Artificial Analysis
參與排名CritPt v2 Hard · AA修訂版研究級物理題裡最難的 40 道,可以寫程式碼演算。Artificial Analysis
參與排名Chess Puzzles根據文字棋局尋找正確走法Epoch AI依據預算 3.1%
參與排名Mystery Game Puzzles從陌生規則推導正確行動Epoch AI依據預算 3.1%
參與排名MysteryMechanism自己設計實驗,去推斷一套隱藏的規律。Vals AI
參與排名Terminal-Bench Science · Vals在終端完成科學工作流與分析。Vals AI
參與排名Terminal-Bench Science · AA在終端完成科學工作流與分析。Artificial Analysis
僅供參考FrontierMath v2 · Tier 4更高難度的數學研究題Epoch AI
- C觀察中Humanity’s Last Exam橫跨學科的高難度學術知識與推理。CAIS / Scale AI
- S觀察中SimpleBench用日常常識和邏輯問題,檢驗模型能否識別問題中的實際約束。SimpleBench
- M觀察中MathArena · ArXivLean用 Lean 驗證數學證明MathArena / ETH Zurich
- M觀察中MathArena · BrokenArXiv發現和修復數學證明中的錯誤MathArena / ETH Zurich
- M觀察中MathArena · ArXivMath從近期數學論文提煉的新題MathArena / ETH Zurich
- A觀察中ARC-AGI-2從陌生規則中學習和泛化ARC Prize
- A觀察中ARC-AGI-3從陌生規則中學習和泛化ARC Prize
專業辦公
27職業交付成果、業務流程、金融法律、客服、資料分析與醫療編碼。
參與排名GDPval-AA按真實職業交付件出題,兩兩比較產出質量。Artificial Analysis
參與排名AA-Briefcase辦公知識工作的長任務,兩兩比較交付結果。Artificial Analysis
參與排名AutomationBench · AA跨辦公軟體完成一整條業務自動化流程。Artificial Analysis
參與排名Vals Finance Agent金融分析師的日常辦公題,看研報、建模這類工作做得怎樣。Vals AI依據預算 6.3%
參與排名APEX-Agents 1.1投行、諮詢和法律裡的長任務,看模型當助手能不能把一件完整的工作做完。Mercor依據預算 6.3%
參與排名Harvey LAB 1.1 · Vals處理法律資料並交付 Word、Excel、幻燈片等可審閱檔案。Vals AI / Harvey
參與排名Harvey LAB 1.1 · AA讀案卷,交付法律備忘錄、披露清單、證詞摘要、修訂稿等文書。Artificial Analysis
參與排名τ³-Banking · Mercor在統一工具環境裡辦理銀行客服業務:查政策、找產品、改賬戶。Mercor
參與排名LiveBench · 資料分析表格重排、列型別標註、表連線預測等資料處理任務。LiveBench參與排名MedCode根據住院記錄給出醫療診斷編碼。Vals AI
參與排名AA-Analyst Agent可靠地分析資料並回答專業問題。Artificial Analysis
觀察中τ³-Banking在統一工具環境中辦理銀行業務,檢驗規則理解、客戶溝通與任務完成。Sierra- Z觀察中AutomationBench跨辦公軟體完成自動化工作Zapier
- D觀察中OfficeQA Pro從大量真實財務檔案中檢索、計算並回答問題。Databricks
- S觀察中MCP Atlas通過真實 MCP 服務檢索資料、操作文件與資料庫,完成跨軟體任務。Scale AI
- F觀察中FinanceBenchmark完成金融定價、資本計算和風控任務,用數值與程式碼執行結果核驗。FinanceBenchmark
- S觀察中PRBench · Legal回答真實法律工作中的複雜問題,檢驗專業判斷和論證質量。Scale AI
- S觀察中PRBench · Finance回答真實金融決策問題,檢驗專業判斷、推導和風險說明。Scale AI
- S觀察中SpreadsheetBench 2完成財務建模、修復工作簿和資料視覺化的整套表格工作。SpreadsheetBench / Renmin University / AfterQuery
- A觀察中Vending-Bench 2經營模擬商店一年,處理採購、談判、庫存與定價。Andon Labs
僅供參考EBR-bench在長任務中學習新規則並使用記憶Epoch AI
觀察中Excel · EMB表格編輯與 Excel 辦公Vals AI
觀察中Legal Research法律檢索和論證Vals AI
觀察中TaxAgentBench稅務專業問題Vals AI
觀察中MedScribe臨床記錄整理與撰寫Vals AI
觀察中BioMysteryBench生物學研究推理Vals AI
- H觀察中Terminal-Bench Science在終端裡完成科研任務Harbor
知識問答
8事實準確、長文理解、語言理解、按要求作答、識破錯誤前提。
參與排名AA-Omniscience v1.1事實問答,答錯倒扣、拒答不扣,看模型知道什麼、會不會亂編。Artificial Analysis
參與排名SimpleQA Verified短問題的事實準確性Epoch AI依據預算 6.3%
參與排名AA-LCR讀很長的文件後,回答需要綜合推理的問題。Artificial Analysis
參與排名LiveBench · 語言與指令Language + IF 兩項均分,各佔 50%。LiveBench依據預算 12.5%- P參與排名BullshitBench · 錯誤前提識別問題裡的錯誤前提,觀察模型會不會順著錯誤繼續編造。Peter Gostev / BullshitBench
參與排名MLCR-AA準確、完整且簡潔地理解醫療長記錄。Artificial Analysis
僅供參考GPQA Diamond研究生水平的物理、化學與生物知識Epoch AI
- G觀察中FACTS Parametric不借助搜尋工具回答世界事實問題,檢驗模型自身知識的準確性。Google DeepMind / Kaggle
真人盲選與綜合指數
4真人匿名兩兩比較計分;各家綜合指數只做交叉核對。
寫作與設計
12創作、文風與設計類評測,目前只作參考,不計分。
僅供參考Arena 創作盲選真人盲選故事、詩歌和其他創意表達,觀察作品是否吸引讀者。LMArena
僅供參考Creative Writing v3短篇創作與表達EQ-Bench
僅供參考Longform Writing長篇故事的連貫性與完整性EQ-Bench
觀察中EQ-Bench 4 · 情緒與人際理解在多輪交流中理解人物情緒、隱含需求與不同的溝通偏好。EQ-Bench
- L觀察中Short-Story · 短篇小說把固定人物、情節與風格要求自然寫進一篇完整短篇小說。Lech Mazur
- T觀察中ToneBench · 文風與指令碼按指定作者文風寫影片指令碼,考查開場、結構、表達與口播節奏。Towards AI
- T觀察中TubeLab · 影片指令碼面向不同影片頻道寫指令碼,比較故事組織、文風、節奏與清晰度。TubeLab
- N觀察中NC Bench · 作家工作流幫助作家改寫、續寫、總結、翻譯和整理創作想法。Novelcrafter
- D觀察中Design Arena · 視覺設計真人盲選網頁、介面、圖表和幻燈片的設計作品。Design Arena / Intelligence
- O觀察中OpenVibeEval · 網頁作品對照網頁作品、可訪問性和盲選偏好,觀察不同工具下的設計表現。OpenVibeEval
- S觀察中SVGBench · 向量圖盲選按相同提示盲選 SVG,考查視覺清晰度與圖形表現。SVGBench
觀察中Rapidata SVG真人比較模型生成的向量圖,直接評價視覺偏好。Rapidata
視覺理解
2讀懂圖片的評測,目前只作參考,不計分。
中文與多語言
2目前只作參考,不計分。
「觀察中」表示仍在核對數據、運行條件或使用邊界,不參與綜合榜和分類榜。同一評測的重複抓取和展示切片不會增加權重;不同評測之間的題庫重疊仍需持續核對。