跳到正文

#評測/基準

RSS
今日 0 則
11月17日週二
  1. Arena.ai48

    LMSYS Arena 的 Code Arena: WebDev 追蹤五款新模型加入後,模型價格和寫網頁程式表現的關係如何改變。其中 Muse Ember 表現影響最大:每次回答約 3 美分,分數達 1608;同價位先前最佳是 1438。推文估計,Muse Ember 對上先前最佳模型時,約有 73% 的機會勝出。這表示它以相近的低價,做出更好的網頁程式表現,也改變了這項評測中的價格與表現比較。

  2. vLLM52

    同一個模型和推論軟體,換到不同硬體後,每張晶片能處理多少 token 可能差很多。vLLM Project 公佈 DeepSeek V4.1 Flash 在 Vera Rubin NVL72 上的 AgentX 基準測試結果,使用 Dynamo 和 vLLM,並與同樣搭配 Dynamo 和 vLLM 的 GB300 NVL72 比較。每位使用者以 400 tok/s 生成時,Vera Rubin 的每張晶片總 token 吞吐量是 GB300 的 63.4 倍;以 600 tok/s 生成時則是 93.3 倍。這些數字呈現了特定模型、硬體和測試條件下的效能差距。

  3. Artificial Analysis59

    文字轉語音模型不只要發音自然、生成得快,也得讓人不用等太久才聽到聲音。Artificial Analysis 新增「開始播放語音所需時間」基準,每天用相同的 12 個提示詞測試各模型,並公佈近 7 天平均值。結果顯示,串流模型通常幾百毫秒內就會開始說話,中位數是 376 毫秒;非串流模型得等整段語音生成完才會回傳,中位數是 2.0 秒。

  4. NVIDIA Newsroom Press Releases76

    NVIDIA Vera Rubin 在 MLPerf 訓練與 AI 助理推論測試中展現效能

    NVIDIA 的 Vera Rubin 平臺首次參加 MLPerf 測試,在 MLPerf Training v6.1 的所有專案都有成績;和 NVIDIA GB300 NVL72 相比,Vera Rubin NVL72 每張 GPU 的效能最高達 2 倍。在 DeepSeek-V3 測試中,GPU 數量從 256 張增加到 1,024 張,訓練時間從 16 分鐘縮短到約 4 分鐘,擴充效率約 97%。AI 助理推論方面,Vera Rubin 在 Kimi K3 的一項暫定測試中,每瓦吞吐量超過 GB300 NVL72 的 10 倍;這項結果仍待 MLCommons Association 驗證。

    推薦理由:Vera Rubin 首次參加 MLPerf,訓練與 AI 助理推論的結果可用來比較單卡效能、擴充效率和每瓦吞吐量。

11月16日週一
  1. Artificial Analysis62

    Liquid AI 推出 d1.2-ultra 和 d1.2,更新旗下的 d1-ultra 和 d1.1 決策模型。Artificial Analysis 表示,d1.2-ultra 在自家 AA-Paperclip 評測拿下 76 分,比第二名 Drex Max v1.1 高 3 分;另一項 Artificial Analysis Decision Index v2.1 排名中,d1.2-ultra 第 1 名,d1.2 第 6 名。兩款模型也都比前代得分更高,且都位於能力與成本的帕累托前緣。每 100 萬個 Decision Index 任務的費用分別是 $133 和 $63;兩者可接收文字與圖片,並透過 Liquid AI 自家 API 提供。

    推薦理由:Artificial Analysis 的測試顯示,d1.2-ultra 與 d1.2 都比前代得分更高,並列在能力與成本的帕累托前緣,可比較兩款模型的進步與花費。

  2. Artificial Analysis40

    從 GTA VI 第一支預告在 2023 年 12 月發布至今,Artificial Analysis Progress Index 的最高分從 160 升到 358,增加超過一倍。榜上 491 個模型中,有 481 個是在預告發布後推出;最高分也在 23 個不同日子被改寫,模型來自 OpenAI、Google DeepMind、SpaceXSI 和 Anthropic。當時排名第一的 GPT-4 Turbo,現在會排到第 379 名。這些變化顯示 AI 模型進步很快;推文也開玩笑請 AI 公司別在 GTA VI 的 11 月 19 日發表新模型,免得搶走遊戲上市的風頭。

  3. Arena.ai58

    Arena 公佈的榜單顯示,Qwen4-Max 在中文模型中排名第一,整體實驗室排名第五;在 Agent Arena 首次登場就排第 14,前一代 Qwen3.8-Max 則排第 39。這項結果來自 14.7k 次真實任務操作紀錄,整體表現提升 7.5%。四項指標都比前一代進步,其中「好評相較抱怨」提升 13%,「確認成功」提升 9%;在工作、聊天和程式任務的排名也都進入中文模型前列。

  4. Arena.ai64

    想知道 Qwen4-Max 寫網頁的表現如何,可以先看 LMSYS Arena 的 Code Arena 榜單。榜上 Qwen4-Max 暫列 WebDev 第 6 名,得分 1750,比前代 Qwen3.8-Max(0902)的 1676 分高 74 分。它也在 HTML 專案排名第 6、品牌與行銷及參考設計專案排名第 8;這些名次和分數呈現它在幾種相關測試中的表現。

    推薦理由:這份榜單列出 Qwen4-Max 在網頁開發及相關專案的名次與分數,並與前代比較,可快速瞭解它在這些測試中的表現。

11月15日週日
11月14日週六
  1. Artificial Analysis61

    用 AI 助理寫程式時,分數高不一定代表不同工具在同一套測試裡都能公平比較。Artificial Analysis 更新 Coding Agent Index,改用新版 FrontierCode 和 Terminal-Bench 評分;前者看程式修改是否值得專案維護者合併,後者更新了檢查答案的方式,讓評分更可靠,也較不容易被鑽漏洞。新版中 Claude Fable 5.2 和 Claude Opus 5.5 都拿下 58 分;整體分數平均比舊版低 5 分。得分 48 分以上的配置,每項任務成本約差 30 倍,從 $1.51 到 $44.22,顯示比較表現時也要留意花費。

    推薦理由:新版基準讓模型分數平均下降 5 分,並列出不同配置的單項任務成本,方便比較分數與花費之間的差異。

  2. Artificial Analysis49

    Subquadratic 推出決策模型 SubQ Snap 1.2,在 Artificial Analysis Decision Index v2.1 得到 73 分,比前一版 SubQ Snap 1.1 的 68 分高 5 分,並與 Drex Max v1.1、GLiDE v1.2 並列領先。每 1M 個輸入 token 仍收費 $0.04,也支援 384K token 的上下文視窗。進步最大的是 AA-Paperclip 和 AA-Symmetry,各增加 8 分;在 AA-Paperclip 上,檔案全部答對的比例從 46% 升到 62%。不過,AA-Omniscience-Decision 和 HLE-MultiChoice 的改善來自模型更常不確定時選擇不回答,正確率並沒有提高。這表示總分變好,不代表每種題目都答得更準。

  3. Artificial Analysis47

    Speechify 推出語音模型 Simba 3.5,在 Artificial Analysis 的 Controlled Voice Arena 排名第一,成績與 HeyGen Voice 統計上不分高下,也領先 Qwen-Audio-3.1-TTS-Plus。其他測試中,Simba 3.5 的 Provider Voice 排名第五,發音穩定度排名第七。它每秒能生成 139.6 個字元,每 100 萬個字元收費 $6.58;Eleven v4 Turbo 則是每秒 105.3 個字元、收費 $40。Simba 3.5 是價格圖表中最便宜的模型,代表它在這項比較裡兼具較快速度與較低價格。

  4. Artificial Analysis39

    宣佈推出 Artificial Analysis Diarization Index,這是我們用來評測語音轉文字中「誰說了什麼」的新基準。 Diarization Index 以詞語語者辨識錯誤率(WDER)評分各家 API:在 97 段由 2 至 8 人參與的對話中,計算被分配給錯誤說話者或未分配說話者的詞語比例,並對各種人數的對話採相同權重。 來自 @NVIDIAAI 的 Nemotron 3.5 Transcribe 以 3.3% 領先,高於 Voxtral Small Transcribe 3 的 7.5%。下方串文詳述 🧵

  5. Arena.ai45

    LMSYS Arena 本週公佈多款模型在不同競賽的表現。Claude Fable 5.2 (Max) 在 Agent Arena 排名第 1,根據 7.8k 次真實使用記錄,淨改善幅度為 +30.5%;Gemini 4 Hydrogen (High) 則是前 10 名中速度最快的模型,每個常見步驟約需 7.3 秒。Muse Ember (Max) 以每項任務 $0.03 的中位成本登上 Code Arena: WebDev 第 37 名;Inkling 2 Small 則以 1647 分拿下該榜開放權重模型第 1。這些排名讓人能比較模型的表現、速度與成本;推文也提到,採用 Apache 2.0 的開放權重即將推出。

  6. Arena.ai50

    Claude Fable 5.2(Max)在 Agent Arena 排名第一;在和 Claude Opus 5.5(Max)都有排名的 10 個類別中,Fable 有 9 類領先,另一類差距小到無法分出高下。Fable 的視覺設計表現特別突出,整體進步分數是 30.48%,視覺設計則是 45.34%;Opus 5.5 分別為 19.51% 和 23.29%。不過,這些分數只顯示誰領先,還無法說明原因,因此發文者接著比較兩個模型在真實使用情境中的表現。

  7. Databricks Blog39

    Apache Spark 和 Apache Flink 怎麼選?多數團隊用 Spark 就能兼顧批次處理和即時資料

    團隊要處理大量資料,又想快速看到新資料,常得在 Apache Spark 和 Apache Flink 之間做選擇,甚至同時維護兩套系統。Databricks 的文章認為,多數團隊用 Apache Spark 就夠了:它能處理批次工作、資料分析和串流資料;Real-Time Mode 也讓資料能在幾毫秒內一路處理完成,不必為了更快的串流另外架一套 Flink。文章的測試中,處理有狀態的資料整理時,Spark 的 p99 延遲是 14 ms,Flink 是 45 ms;不過測試由 Databricks 執行,實際表現仍要看自己的工作內容。若需要超大型狀態資料、複雜事件比對,或已經在使用 Flink,Flink 仍可能更適合。

  8. Arena.ai67

    程式模型進步很快,但使用者也關心回答要花多少錢。Code Arena 分析了 2025 年 12 月到 2026 年 10 月 23 日的榜單和回答成本,發現 7 月到 10 月每月有 12 到 14 個新模型上榜。到了 10 月,Xiaomi 的 MiMo-V2.6-Flash 分數超過 4 月排名第一的 Claude Opus 4.7,價格不到其二十分之一;在回答價格介於 5 cents 到 $1 的比較中,10 月最佳模型對上 4 月最佳模型的估計勝率為 65% 到 80%。

    推薦理由:從 Code Arena 的榜單與回答價格比較,可看出程式模型進步加快,也讓較低成本的選擇開始超越先前的頂尖模型。

  9. Y Combinator64

    AI 模型愈來愈多,也各自擅長不同事情,光靠固定題目不一定看得出人們喜歡哪些作品。Intelligence 創辦人兼執行長在訪談中介紹 Design Arena:使用者可以用不同 AI 模型製作網站、圖片、影片等創作,這些實際使用過程會變成資料,讓模型團隊瞭解模型做得好或不好的地方。Design Arena 已有超過 7 million 名使用者,遍及 192 個國家;Intelligence 約一年內達到 $60 million annualized run rate。

    推薦理由:訪談說明 Design Arena 如何把人們實際創作和使用 AI 的過程整理成資料,協助模型團隊瞭解模型在哪些地方做得好或不好。

11月13日週五
  1. Artificial Analysis64

    挑選 AI 模型協助找出並修補軟體漏洞時,除了看分數,也得考慮花費和輸出的長度。Artificial Analysis 評測 Tencent 的 Hy4,在自家 Cyber Index 得 58%,排名第 3;在測試 AI 助理找出並修補真實軟體漏洞的 CWE-Bench-AA 得 76%,排名第 1。每項任務成本是 $0.92,輸出 64k tokens。這些數字讓人能同時比較漏洞測試表現與成本,但只反映這篇評測採用的測試結果。

    推薦理由:Hy4 在漏洞修補測試中的表現、每項任務成本與輸出 token 數,可一併用來比較不同模型的能力和花費。

  2. vLLM Official Blog85

    vLLM 如何在 Vera Rubin NVL72 上提升 DeepSeek-V4.1-Flash 推論效能

    vLLM 說明如何在 Vera Rubin NVL72 上部署 DeepSeek-V4.1-Flash,並透過核心最佳化與機架級記憶體池提升服務吞吐量與延遲表現。

    推薦理由:文章拆解 Vera Rubin NVL72 上的核心最佳化,並以 AgentX 資料呈現吞吐量、延遲與快取命中率的變化,可供評估大規模模型服務的部署取捨。

  3. Arena.ai38

    Gemini 4 Hydrogen 擅長知識工作。 根據超過 6,000 場真實世界的 AI 助理工作階段,Hydrogen (High) 在 Agent Arena 總排名第 5。在知識工作任務中則升至第 4。 因此,它在這類任務上的排名超越了整體排名高於它的三款競爭模型:Claude Opus 5.5 (Max)、GPT-6 Astra (Max) 和 Claude Sonnet 5.5 (Max)。 這表示 @GoogleDeepMind 的 Hydrogen 不僅是 Agent Arena 前 5 名中速度最快的模型,也是適合真實世界工作的強大選擇。

  4. Vercel Blog76

    Vercel 教你如何測試 Agent 與其使用的軟體

    Vercel 說明如何用評測衡量 Agent 是否能正確完成使用者任務,並以咖啡訂單示範端到端評測的設計、執行與分析。 - 測試層級:依 LLM 呼叫次數分為確定性測試、單輪評測與端到端評測;若要檢查整個任務是否達成,端到端評測會在環境中執行完整流程,再驗證結果。

    推薦理由:文章以咖啡訂單示範如何設計端到端 Agent 評測,並說明成功率與 Pass^k 回答不同可靠性問題,協助團隊選擇合適指標。

  5. AWS Machine Learning Blog66

    AWS 說明如何以 Agent DLC 將 AI 助理從原型推進至正式環境

    AWS 介紹 Agent Development Lifecycle(Agent DLC),以明確的驗收標準串起 AI 助理的建置、評估、發布與上線監測,並透過參考實作說明如何診斷失敗。

    推薦理由:文章以 HR 政策助理的實測說明,單看段落相關性可能漏掉檢索內容缺口,並整理出從定義標準到上線監測的評估流程。

  6. LMSYS Org Blog59

    RadixArk Miles 如何用 NVIDIA Vera CPU 加快 AI 助理訓練沙盒

    訓練 AI 助理時,模型會在沙盒裡反覆執行指令和測試;沙盒跑得慢,整個訓練也會跟著等。RadixArk 團隊用 Miles 在 NVIDIA Vera CPU 上執行所有沙盒,並和 AMD Turin 比較。在相同設定下,Turin 上的每個訓練回合平均多花 12% 時間;作者也觀察到,回合較短能讓訓練資料更新得更快,減少 GPU 記憶體閒置,以及整組回合等最慢一個完成的時間。文中的結果來自作者測試的任務與環境。

11月12日週四
  1. OpenRouter Announcements73

    OpenRouter 教你如何評測 LLM,並比較 10 個模型的合成任務結果

    OpenRouter 說明如何用符合應用輸入與輸出格式的任務評測 LLM,並比較正確率、費用與請求時間;文中也公佈 10 個模型在 60 項合成任務上的結果。

    推薦理由:文章以可重現的合成任務示範如何同時檢查正確率、輸出格式、成本與回應時間,也揭示公開排名與特定工作負載結果可能不一致。