跳到正文

評測基準

模型到底誰強:Benchmark 成績、評測方法論爭議與排行榜變化的持續記錄。

138條精選相關主題模型發布論文研究推理能力

最新精選

第 41–60 條 · 共 138 條
11月17日週二
  1. NVIDIA Newsroom Press Releases76

    NVIDIA Vera Rubin 在 MLPerf 訓練與 AI 助理推論測試中展現效能

    NVIDIA 的 Vera Rubin 平臺首次參加 MLPerf 測試,在 MLPerf Training v6.1 的所有專案都有成績;和 NVIDIA GB300 NVL72 相比,Vera Rubin NVL72 每張 GPU 的效能最高達 2 倍。在 DeepSeek-V3 測試中,GPU 數量從 256 張增加到 1,024 張,訓練時間從 16 分鐘縮短到約 4 分鐘,擴充效率約 97%。AI 助理推論方面,Vera Rubin 在 Kimi K3 的一項暫定測試中,每瓦吞吐量超過 GB300 NVL72 的 10 倍;這項結果仍待 MLCommons Association 驗證。

    推薦理由:Vera Rubin 首次參加 MLPerf,訓練與 AI 助理推論的結果可用來比較單卡效能、擴充效率和每瓦吞吐量。

11月16日週一
  1. Artificial Analysis62

    Liquid AI 推出 d1.2-ultra 和 d1.2,更新旗下的 d1-ultra 和 d1.1 決策模型。Artificial Analysis 表示,d1.2-ultra 在自家 AA-Paperclip 評測拿下 76 分,比第二名 Drex Max v1.1 高 3 分;另一項 Artificial Analysis Decision Index v2.1 排名中,d1.2-ultra 第 1 名,d1.2 第 6 名。兩款模型也都比前代得分更高,且都位於能力與成本的帕累托前緣。每 100 萬個 Decision Index 任務的費用分別是 $133 和 $63;兩者可接收文字與圖片,並透過 Liquid AI 自家 API 提供。

    推薦理由:Artificial Analysis 的測試顯示,d1.2-ultra 與 d1.2 都比前代得分更高,並列在能力與成本的帕累托前緣,可比較兩款模型的進步與花費。

  2. Arena.ai64

    想知道 Qwen4-Max 寫網頁的表現如何,可以先看 LMSYS Arena 的 Code Arena 榜單。榜上 Qwen4-Max 暫列 WebDev 第 6 名,得分 1750,比前代 Qwen3.8-Max(0902)的 1676 分高 74 分。它也在 HTML 專案排名第 6、品牌與行銷及參考設計專案排名第 8;這些名次和分數呈現它在幾種相關測試中的表現。

    推薦理由:這份榜單列出 Qwen4-Max 在網頁開發及相關專案的名次與分數,並與前代比較,可快速瞭解它在這些測試中的表現。

  3. Dev.to Top Tech76

    cloro、Exa、Brave、Tavily 搜尋 API 評測:各自適合什麼情境?

    AI 助理查資料時,搜尋結果可能找不到答案,也可能花太久或成本太高。cloro 團隊用公開題目比較四種搜尋 API:多步問題中,cloro 答對 80.2%,高於 Exa 的 64.0%、Brave 的 53.9% 和 Tavily 的 48.4%;不過 Exa 搜尋最快,中位數是 0.74 秒,cloro 則要 7.96 秒。作者指出,多步問題的差距主要來自找不到資料,而不是找到資料後答錯。若重視速度可選 Exa,若在意慢速搜尋的穩定度可看 Brave;這項比較由 cloro 發布,且該公司也參與測試。

    推薦理由:這項比較把答題正確率、搜尋速度與費用放在一起,並指出多步問題的差距多半來自找不到資料。

  4. Dev.to Top Tech76

    Tavily、Exa 和 Brave 的搜尋 API 基準怎麼看?

    挑搜尋 API 時,分數看起來很接近,但各家基準測試的題目和測法可能不同,不能直接拿排名互相比。文章整理 Openbenchmarks、AIMultiple 和 Artificial Analysis 三個第三方測試,說明它們有的每題只搜尋一次,有的讓 AI 助理反覆搜尋,也比較公開題目與評分資料的程度。作者另公開一套比較 6 種 API 的測試,涵蓋 3 組題目;不同 API 在不同題目中各有高低。作者也說明這套測試由販售其中一種 API 的 cloro 執行,並提醒讀者檢視測試者是否也賣表內產品、搜尋模式與題目數量,以及答案能否查核。

    推薦理由:各榜單使用的題目、搜尋次數與評分方式不同,文中並列這些差異,也提醒讀者留意作者自營 API 基準的利益關係。

  5. The Decoder82

    Claude Fable 5.2 用程式一筆筆畫出逼真影像

    一般影像模型會從雜訊中慢慢做出清楚的圖,Claude Fable 5.2 則用程式模擬畫家下筆,在畫布上逐筆畫出影像。Anthropic 員工 Jake Eaton 示範時,模型用約 700,000 筆模擬筆觸,畫出停車場裡的購物車;它每畫一筆就檢視畫布,也能用新筆觸修補畫錯的地方。研究人員還讓它操作實體機械手臂作畫,但測試仍顯示精細動作有其限制。

    推薦理由:文章以 Claude Fable 5.2 的繪畫過程和實體機械手臂測試,呈現語言模型逐筆下指令、邊看邊修正的做法與目前限制。

11月15日週日
  1. Dev.to Top Tech76

    Rust 1.100 實測:never type、配置器與 Cargo 依賴防護

    升級程式語言版本後,有些原本能編譯的程式可能因型別推斷改變而出錯。作者把自己的電腦從 Rust 1.99.1 升到 1.100.0,測試 never type、可自訂的記憶體配置器,以及 Cargo 的依賴檢查功能。新版本會提醒專案中沒用到的依賴,也能設定等待新套件版本發布一段時間再採用;不過作者只確認設定可用,尚未測試它能否擋下新發布的版本。兩版的編譯時間也沒有明顯差別。升級前跑過測試,有助於找出少數可能受型別推斷變更影響的程式碼。

    推薦理由:作者實際升級並測試 Rust 1.100,整理出型別推斷可能改變的相容性風險,以及 Cargo 依賴防護的測試限制。

  2. Dev.to Top Tech82

    實測 Jev 判斷模型:決策看起來更好,遊戲結果卻沒改善

    把模型接到原本運作正常的系統上,光看它的決定合不合理,還看不出整體有沒有變好。作者在殭屍遊戲中測試 Jev 判斷模型,讓它每 15 秒從威脅清單挑出下一個攻擊目標,再把結果和手寫規則及不使用指揮模型的版本比較。Jev 很少選到被建築擋住、火砲打不到的目標,但在 48 組配對任務中,任務結果沒有可測量的改善,分數反而下降約 27%。作者也記錄了整合過程中的問題,提醒評估 AI 功能時要拿掉它做基準比較,並用足夠多的任務確認結果。

    推薦理由:配對任務比較顯示,Jev 的選擇較少瞄準看不見的目標,任務結果卻沒有可測量的改善。

  3. Dev.to Top Tech78

    實測 50,000 筆訂單:SQLite 的 JSON 欄位何時方便、何時拖慢查詢

    把訂單明細放進 JSON 欄位,讀取整張訂單很方便,但查詢所有訂單、找出含特定商品的訂單,或修改其中一項時,可能要多做很多工作。作者用相同的 50,000 筆訂單,比較一般資料表、JSON 文字欄位和 JSONB;找出含某個商品的訂單,JSON 欄位花了 119.9 毫秒,一般資料表加索引只要 0.11 毫秒。實測也發現,數字若以文字存進 JSON,篩選和排序可能悄悄算錯。作者建議,整份讀取的資料可考慮放在 JSON;常要搜尋、排序或加總的欄位則放進資料表並建立索引。

    推薦理由:作者用相同訂單資料比較三種 SQLite 儲存方式,量出查詢與修改的代價,也整理出哪些欄位適合放進資料表。

  4. The New Stack83

    The New Stack 實測 Claude Fable 5.2 和 Fable 5.1:新版較少拒答

    Fable 5.1 在一般網頁後端工作和簽章檢查上多次拒答,讓作者無法評估程式成果。The New Stack 作者用 API 比較兩個版本,並各自測試長對話、簽章檢查和登入程式修補;Fable 5.2 完成了前兩項,簽章檢查也通過 50 項測試。登入程式的三個版本中,兩者都拿到滿分,總耗時接近,估算費用也差不多。測試每個版本只跑一次,因此這些結果反映的是作者這幾次測試,不能直接代表其他人的工作情況。

    推薦理由:三種程式工作測試顯示,Fable 5.2 的差異主要在較少拒答;登入程式修補的成本與耗時則因版本而異。

11月14日週六
  1. Artificial Analysis61

    用 AI 助理寫程式時,分數高不一定代表不同工具在同一套測試裡都能公平比較。Artificial Analysis 更新 Coding Agent Index,改用新版 FrontierCode 和 Terminal-Bench 評分;前者看程式修改是否值得專案維護者合併,後者更新了檢查答案的方式,讓評分更可靠,也較不容易被鑽漏洞。新版中 Claude Fable 5.2 和 Claude Opus 5.5 都拿下 58 分;整體分數平均比舊版低 5 分。得分 48 分以上的配置,每項任務成本約差 30 倍,從 $1.51 到 $44.22,顯示比較表現時也要留意花費。

    推薦理由:新版基準讓模型分數平均下降 5 分,並列出不同配置的單項任務成本,方便比較分數與花費之間的差異。

  2. Dev.to Top Tech79

    Gemini Decisions API 客服工單實測:速度快,但緊急程度較容易判錯

    客服工單要分派給哪個團隊、是否退款、事情有多急,常得一題一題問模型。作者用 48 張人工標記的工單,讓 Gemini Decisions API 和四種生成式模型回答相同問題,再比較準確度、速度和費用。實測中,Decisions API 每張工單的中位處理時間是 202 ms,團隊分類答對 46 張,退款判斷答對 47 張;但緊急程度只答對 31 張,錯誤全是把事情判得太急。信心分數可用來把把握不足的答案交給人員複查,文章也示範如何把 API 接進 AI 助理,先攔下疑似提示詞攻擊。測試只涵蓋文字工單,作者提醒緊急程度的判斷仍需謹慎。

    推薦理由:作者用同一批客服工單比較五種模型,呈現 Gemini Decisions API 在速度與分類準確度上的取捨,也指出緊急程度判斷較容易出錯。

  3. MarkTechPost79

    2026 年 AI 影片模型評測:畫質分數、每秒價格和開放權重一次比較

    挑 AI 影片模型時,分數高不一定最省錢,開放權重也可能有限制。MarkTechPost 依 Artificial Analysis 的盲測偏好分數,整理文字轉影片與圖片轉影片的模型排名,再對照每秒價格和權重是否開放。榜首 Wan 3.0 的文字轉影片分數最高;Seedance 2.5 的圖片轉影片分數最高,但價格也偏高。MiniMax H3 是榜上排名最高的開放權重模型,不過授權限制部分地區部署,解析度上限為 768p。文章也提醒,排名第 3 到第 8 的模型分數接近,較適合看成同一群,而非嚴格分出高下。

    推薦理由:文章把盲測偏好分數、每秒價格與權重開放狀態放在一起比較,也提醒名次接近的模型不宜看成明確勝負。

  4. Dev.to Top Tech77

    Claude Fable 5.2 適合拿來寫程式嗎?作者比較價格、測試結果與使用時機

    寫程式時,功能較強的模型不一定適合每個任務,也可能花更多錢。作者還沒親自用過 Claude Fable 5.2,這篇實用指南整理了 Anthropic 等來源公佈的價格與測試結果,並用作者自己的 Claude Pro 帳號確認方案內容。Fable 5.2 每百萬 tokens 的輸入和輸出價格是 $8 / $40,是 Sonnet 5.5 的 4 倍;在 Anthropic 公佈的測試中,它也比 Opus 5.5 高幾分。作者建議平常先用 Sonnet 5.5 寫、測試和部署,較難的規劃交給 Opus 5.5,只有 Opus 卡住時才升級到 Fable。這些測試數字來自廠商或工具方,作者沒有實際測試 Fable。

    推薦理由:作者把 Fable 5.2、Opus 5.5 和 Sonnet 5.5 的價格與測試結果放在一起比較,並說明不同編碼工作如何選擇模型。

  5. Arena.ai67

    程式模型進步很快,但使用者也關心回答要花多少錢。Code Arena 分析了 2025 年 12 月到 2026 年 10 月 23 日的榜單和回答成本,發現 7 月到 10 月每月有 12 到 14 個新模型上榜。到了 10 月,Xiaomi 的 MiMo-V2.6-Flash 分數超過 4 月排名第一的 Claude Opus 4.7,價格不到其二十分之一;在回答價格介於 5 cents 到 $1 的比較中,10 月最佳模型對上 4 月最佳模型的估計勝率為 65% 到 80%。

    推薦理由:從 Code Arena 的榜單與回答價格比較,可看出程式模型進步加快,也讓較低成本的選擇開始超越先前的頂尖模型。

  6. Y Combinator64

    AI 模型愈來愈多,也各自擅長不同事情,光靠固定題目不一定看得出人們喜歡哪些作品。Intelligence 創辦人兼執行長在訪談中介紹 Design Arena:使用者可以用不同 AI 模型製作網站、圖片、影片等創作,這些實際使用過程會變成資料,讓模型團隊瞭解模型做得好或不好的地方。Design Arena 已有超過 7 million 名使用者,遍及 192 個國家;Intelligence 約一年內達到 $60 million annualized run rate。

    推薦理由:訪談說明 Design Arena 如何把人們實際創作和使用 AI 的過程整理成資料,協助模型團隊瞭解模型在哪些地方做得好或不好。

11月13日週五
  1. Dev.to Top Tech78

    Gemini 4 Hydrogen 升級 Gemini 3.8 Flash 值得嗎?成本、速度與 API 差異一次看

    換成 Gemini 4 Hydrogen 後,任務成本和完成時間可能降低,但預設思考等級提高,API 支援也有差異,直接換模型名稱可能讓程式出問題。作者用 Artificial Analysis 的資料比較兩款模型:在 high 設定下,Hydrogen 每項任務成本是 $1.87,Gemini 3.8 Flash 是 $7.77;完成時間分別是 8.3 分鐘和 14.7 分鐘。不過這不是作者親自跑出的測試,數字採用標準牌價,也不是 AIHubMix 的實際帳單。文章提醒,AIHubMix 目前只記載支援 Chat Completions,長輸出、思考等級設定和其他連線方式都還沒確認,遷移前應先用自己的請求測試。

    推薦理由:文章以同一項任務的成本與完成時間比較兩款模型,也整理 API 支援差異與尚未實測的部分,能幫助評估升級和遷移風險。

  2. Artificial Analysis64

    挑選 AI 模型協助找出並修補軟體漏洞時,除了看分數,也得考慮花費和輸出的長度。Artificial Analysis 評測 Tencent 的 Hy4,在自家 Cyber Index 得 58%,排名第 3;在測試 AI 助理找出並修補真實軟體漏洞的 CWE-Bench-AA 得 76%,排名第 1。每項任務成本是 $0.92,輸出 64k tokens。這些數字讓人能同時比較漏洞測試表現與成本,但只反映這篇評測採用的測試結果。

    推薦理由:Hy4 在漏洞修補測試中的表現、每項任務成本與輸出 token 數,可一併用來比較不同模型的能力和花費。

  3. Dev.to Top Tech83

    Gemini 4 Hydrogen 評測:速度與成本優勢,以及基準比較的限制

    Google Gemini 4 Hydrogen 主打日常程式開發與 AI 助理工作流程,在部分基準測試中勝過 Gemini 3.8 Flash,並在 Artificial Analysis Intelligence Index 以 51 分略高於 Argon 的 50 分。

    推薦理由:文章整理 Gemini 4 Hydrogen 的速度、成本與基準表現,並指出比較依據主要來自 Google,適合用來理解執行型模型的取捨。