跳到正文

評測基準

模型到底誰強:Benchmark 成績、評測方法論爭議與排行榜變化的持續記錄。

138條精選相關主題模型發布論文研究推理能力

最新精選

第 121–138 條 · 共 138 條
11月2日週一
  1. Dan Luu Blog78

    Dan Luu 比較 GPT-6 Astra 使用不同測試方法的表現

    AI 助理寫程式時,大家常想知道該不該要求它寫測試,以及哪種測試方法最有用。Dan Luu 用 GPT-6 Astra 重做測試,發現它在較簡單的 Zstd 任務中,即使不指定方法也常能通過所有測試;在較難的 Pandoc 任務中,不同方法的表現則有差異,但每種情況只測了 25 次,結果還不夠穩定,難以判定哪種方法普遍較好。作者也提醒,測試方法的效果可能隨模型和任務難度改變,因此小型基準測試不能直接當成所有程式工作的定論。

    推薦理由:文章比較 GPT-5.6 Sol 與 GPT-6 Astra 在不同測試方法下的結果,並提醒大型程式任務的少量測試難以支援普遍結論。

  2. LMSYS Org Blog79

    SGLang 如何用 HiCache 在多種部署配置中重用模型快取

    長對話會反覆送出相同的前文,模型若每次重算或重新傳送資料,使用者就得等更久。這篇文章說明 HiCache 如何把可重用的模型快取放在 GPU、主機記憶體和外部儲存,並讓不同運算階段和多臺機器在同一個字首上做出一致決定。以 GLM-5.2-FP8 的多輪對話測試來看,解碼端也重用 GPU 與主機快取後,平均首次回應時間降低 25.4%,中位數降低 60.3%,輸出速度增加 2.9%。文章也說明,資料分散存放和非同步傳輸會增加協調難度,快取資料必須準備妥當才能省下計算與傳輸時間。

    推薦理由:文章拆解 HiCache 在多種平行配置與分離式服務中的快取協調方式,並用實際服務資料呈現字首重用對回應等待時間的影響。

11月1日週日
  1. LMSYS Org Blog77

    GLM-5.3-Flash 如何在 H200 上提升長文本服務吞吐量

    長文本請求會佔用大量記憶體,也可能讓模型忙著處理輸入,來不及持續產生答案。作者在 SGLang 上調整 GLM-5.3-Flash 的快取共用、推測解碼和資料傳送方式,並分開測試輸入與輸出速度。在 4 張 H200 上,輸入處理速度提高到每秒 48,064 個 token;有 99.9% 共用字首時,輸出速度提高到每秒 12,027 個 token。整體結果也顯示,共用字首較少時,輸入處理仍是瓶頸;共用較多時,解碼端的改善更能提高整體速度。

    推薦理由:這組測試呈現共享字首比例如何改變服務瓶頸:字首重用少時,輸入處理仍限制整體吞吐量;重用高時,解碼端的調校更能轉成效能提升。

10月24日週六
  1. LMSYS Org Blog67

    SGLang 如何在 DeepSeek-V4.1-Flash 基準中比肩 DeepInfer

    部署 DeepSeek-V4.1-Flash 時,除了跑得快,也需要快取、請求分流和負載平衡等完整服務功能。SGLang 團隊用 DeepInfer 自家的基準,在相同硬體上比較兩套系統:預填測試中,SGLang 的吞吐量最高達 DeepInfer 的 1.04 倍;64 張 GB300 的解碼測試中,每一步最多短 7.4%,部分測試則表現相近。SGLang 也整合 DeepSeek 的多種核心運算方式,並提供快取重用、分開處理預填與解碼,以及在多個模型副本間分配請求等功能。這篇比較呈現了速度測試和完整推論服務的差異。

    推薦理由:同一硬體與 DeepInfer 自家基準下的比較,呈現 SGLang 在預填與解碼的表現,也說明完整推論服務還包含哪些元件。

10月20日週二
  1. Browser Use64

    Browser Use 比較 5 款供 Coding Agent 控制瀏覽器的 MCP 工具

    Browser Use 比較 5 款可讓 Coding Agent 操作瀏覽器的工具,並以 100 項公開任務測試其中 4 款;各工具分數差異都落在統計誤差範圍內,輸入 token 數則有明顯差距。 測試結果:Browser Harness CLI 加 Skill 的中位數輸入量為 2.1M tokens、每項任務成本 $0.042;Playwright MCP 為 4.4M、$0.066;Chrome DevTools MCP 為 6.7M、$0.097;agent-browser CLI 加 Skill 為 3.3M、$0.056。分數介於 56.3 至 61.0,配對差異的 95% 區間都包含零。 工具選擇:Browser Harness 操作已登入的 Chrome;Playwright MCP 支援 Firefox 與 WebKit,也可使用乾淨工作階段;Chrome DevTools MCP 提供效能追蹤與網路、主控臺檢視;agent-browser 提供加密驗證資料庫、網域允許清單與操作政策;Browser MCP 限定操作使用者選定的單一分頁,未納入測試。 測試限制:每項任務只執行一次,使用單一 Agent 與模型,並採用全新雲端瀏覽器;Browser Harness 測試的是 CLI 與 Skill,agent-browser 也是以 CLI 與 Skill 執行,並非 MCP 伺服器。

    推薦理由:同一組 100 項任務的比較顯示,各工具分數差異落在誤差範圍內,輸入 token 數與瀏覽器登入方式則呈現不同取捨。

10月9日週五
  1. LMSYS Org Blog82

    SGLang 和 Miles 如何在 NVIDIA Vera Rubin 上加速模型推論與訓練

    新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。

    推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。

10月1日週四
  1. Browser Use60

    Browser Use 比較 7 家 AI 助理瀏覽器基礎設施服務

    Browser Use 比較 7 家 AI 助理瀏覽器服務,涵蓋價格、並行數、反偵測表現、工作階段速度、部署方式與方案限制。 價格與速度:Browser Use 每瀏覽器小時 $0.02,是比較中價格最低的服務;Browser Use 與 KERNEL 的工作階段生命週期分別為 386 ms 和 366 ms,領先差距約 20 ms,且 BrowserArena 測試中的領先者會變動。 適用情境:Browserbase 提供即時檢視、重播與記錄;Steel 和 Browserless 可自行託管;Anchor 採每項任務計價;Hyperbrowser 以同一點數池支援瀏覽器、沙箱與網路 API。 測試限制:Stealth Bench V2 由 Browser Use 建置並執行,作者說明測試偏向 Browser Use;測試網站刻意挑選較難通過的網站,並非均衡的網路樣本。文章建議先用自己的網站測試候選服務。

    推薦理由:文章比較七家瀏覽器服務的價格、連線速度與功能限制,也揭露自建測試偏向 Browser Use 的條件,便於讀者判斷資料適用範圍。

9月25日週五
  1. LMSYS Org Blog61

    SGLang 如何加速 AI 助理的選項評分

    AI 助理要從多個動作中選一個時,系統可以先替每個選項打分,但重複處理相同背景會拖慢速度。這篇文章介紹 SGLang 的 Score API,讓程式明確要求 Yes 或 No 等標籤分數,也說明 MIS 如何在評估多個選項時共用相同背景。測試中,選項從 2 個增加到 16 個時,MIS 在部分模型上的延遲增加不多,但不同模型和負載下結果不一。文章也提醒,部署前要在預定流量下檢視實際處理量和較慢請求的延遲。

    推薦理由:文章比較 SGLang 在不同評分方式下的延遲表現,並提醒負載升高時要同時檢視實際吞吐量與尾端延遲。

9月23日週三
  1. openrouter blog73

    2026 年最佳 Embedding 模型選型指南

    OpenRouter 發布 2026 年最佳 Embedding 嵌入模型選型指南,針對英文 RAG、多語言檢索、程式碼搜尋、圖文檢索及低成本索引等不同應用場景進行實測與推薦。

    推薦理由:文章梳理 2026 年多類嵌入模型的選型指南與效能差異,讀者可據此對照自身專案需求評估合適方案。

9月22日週二
  1. Simon Willison83

    Simon Willison 評測 TypeSafe AI 推出的 Jev 決策模型

    TypeSafe AI 近期推出了名為 Jev 的 System One 決策模型,它接收非結構化文本輸入並返回對應類別的浮點數置信度分數。Jev 僅對輸入收費且價格低至每百萬 token 0.042 美元,支援 Yes/No、多選和評分三類問題並在後臺並行評估。作者指出 Jev 的黑盒特性和偏差問題需要謹慎對待,但社群已圍繞其展開了豐富的創意應用和開源復現嘗試。

    推薦理由:原文介紹了 TypeSafe AI 推出的決策模型 Jev 及其獨特的工作機制和定價模式,讀者可以藉此瞭解這類新型模型在分類與檢索重排場景中的應用與侷限。

9月16日週三
  1. LMSYS Org Blog76

    SGLang、Qwen 和 NVIDIA 團隊評測 NVFP4 KV cache,提升長上下文推論速度

    對話越長,模型要保留的過往內容就越多,GPU 記憶體也更容易不夠用。SGLang、Qwen 和 NVIDIA 團隊把 KV cache 改用 NVFP4 儲存,讓每 16 個值連同區塊縮放資料約只佔 FP8 的 56%。在 Qwen3.8-27B 的測試中,長上下文解碼速度有所提升,但部分準確度測項略低;在 AgentX 高並行測試裡,NVFP4 的吞吐量也持續增加,而 FP8 表現下滑。這項支援仍屬實驗性,結果會隨模型和工作情境而變,部署前仍要按任務檢查準確度。

    推薦理由:NVFP4 把 KV cache 壓到約 FP8 的 56% 儲存量;文中比較了準確度、長上下文解碼速度與 AgentX 負載,呈現省記憶體和回答品質之間的取捨。

9月7日週一
  1. Dan Luu Blog70

    Dan Luu 實測 AI 助理怎麼用測試方法,發現光給指示常常不夠

    只告訴 AI 助理使用某種測試方法,寫出的程式就會更可靠嗎?Dan Luu 用 Rust 重做 Zstd,測試 26 種提示和 4 種技能,並比較每種做法在 80 次執行中的結果。多數 AI 助理只是把一般測試塞進指定工具,或只檢查簡單、不容易出錯的情況;直接使用預設設定的表現反而高於平均。作者也發現,要求 AI 助理找出高風險部分、再設計能區分正確與錯誤結果的測試,方向上較有幫助,但仍未穩定找出問題。這項實測提醒我們,測試工具的名稱本身不會讓測試變好,給出具體做法並檢視結果可能更重要。

    推薦理由:這項比較顯示,只告訴 AI 助理採用某種測試方法,往往不足以讓它找出容易出錯的程式;文中也分析了哪些做法較有幫助。

8月29日週六
  1. LMSYS Org Blog65

    SGLang 用 SSD Expert Pack 在消費級硬體上執行 DeepSeek-V4-Flash 和 Kimi-K3

    MoE 模型的專家權重太大,消費級顯示卡和記憶體通常放不下完整模型。SGLang 的 SSD Expert Pack 把專家權重放在 NVMe SSD,每次只讀取路由器選中的專家,並用 GPU 快取留住常用內容;它也能省去資料先經過系統快取、再複製到 GPU 傳輸用記憶體的步驟。團隊在配有 RTX 5090、32 GB 記憶體和 2 TB SSD 的電腦上測試 DeepSeek-V4-Flash 與 Kimi-K3,兩款模型在測試中的生成速度都高於各自的比較基準。這種做法能降低放置完整專家權重所需的 GPU 記憶體,但 SSD 讀取和快取命中情況仍會影響速度。

    推薦理由:這套方法把容量需求轉移到 NVMe SSD,再用 GPU 快取常用專家;文中也比較兩款模型在單張消費級顯示卡上的實測速度與 SSD 讀取量。

8月27日週四
  1. LMSYS Org Blog74

    SGLang Diffusion 如何加速 MiniMax-H3 影片生成,最快達 6.24 倍

    生成高畫質影片要反覆計算很多次,想加快速度,常得在畫面相似度上有所取捨。SGLang Diffusion 團隊在 8 張 NVIDIA H200 顯示卡上測試 MiniMax-H3,並和 Diffusers 比較;在不近似計算的設定下,速度快約 1.85 到 1.95 倍。加入重用前面計算結果的 Cache-DiT,以及略過部分注意力運算的 SubBlock 後,最快達 6.24 倍,但部分 T2VA 影片的 SSIM 降到 0.76 至 0.78。若更重視畫質,單用 Cache-DiT 可達 2.99 倍,SSIM 為 0.90 至 0.92。測試固定提示詞、種子和輸出設定,結果顯示加速幅度會隨影片型別和設定改變。

    推薦理由:這組實測在固定影片生成條件下比較速度與畫質,呈現不同加速設定的取捨,方便估算可接受的畫質變化。

8月21日週五
  1. LMSYS Org Blog71

    SGLang 團隊拆解 Ling-3.0-flash 如何在 Blackwell GPU 上加快推論

    一次只處理一個請求時,GPU 和主機之間的等待很難被其他工作抵銷,使用者也得等更久。SGLang 團隊在 4 張 Blackwell GPU 上調校 Ling-3.0-flash,先減少主機等待,再合併 GPU 工作,並比較兩種猜測解碼方法。單次請求測試中,NEXTN 的平均每個輸出 token 等待時間從 3.33 ms 降到 1.53 ms;相同條件下,DSpark 降到 0.78 ms,輸出速度為 1120 tok/s。測試使用固定的隨機輸入,這些數字反映該測試設定下的結果。

    推薦理由:這篇拆解單次請求推論的延遲來源,並比較 NEXTN 與 DSpark 在相同機器和測試條件下的表現,呈現各項調校如何縮短等待時間。

8月19日週三
  1. LMSYS Org Blog83

    LMSYS 團隊實測 DeepSeek-V4-Pro 如何在 H20 上提升服務效能

    DeepSeek-V4-Pro 很大,在 H20 上提供服務時,團隊得同時顧到回答速度、長文章處理和能接待多少人。LMSYS 團隊依照輸入長度和服務目標,安排不同的運算配置:短內容用較淺的流程,長內容改用較深的流程;回答時則分成低延遲和高流量配置。實測中,H20 單張節點在一次只處理一個請求時,每秒產生 271 個 token;長達 1M token 的輸入也能在 43.7 秒完成預先處理。這些結果顯示,依工作需求調整配置,能讓有限的硬體資源更有效地支援大型模型。

    推薦理由:這份實測比較不同上下文長度與服務目標下的部署配置,並說明如何在 H20 的運算與記憶體限制間取捨。

7月29日週三
  1. LMSYS Org Blog70

    Miles 如何用 MXFP8 和 NVFP4 加速 Blackwell 上的強化學習

    強化學習要一邊讓模型作答、一邊更新模型;如果訓練和作答時使用的精度不同,兩邊就可能對不上。LMSYS 團隊在 Miles 加入兩種 Blackwell 低精度做法:MXFP8 用在更多訓練與推論步驟,NVFP4 則用在 MoE 專家層,並為每個 token 分別計算資料尺度,讓訓練和推論用同一套設定。在 Qwen3-30B-A3B、8 張 B200 的測試中,五種低精度設定的獎勵曲線都接近 BF16,MXFP8 和 NVFP4 也縮短了推論時間。這是配方消融測試,不能當成完整調校後的效能比較。

    推薦理由:這組消融比較顯示,在 Qwen3-30B-A3B 的 8 張 B200 設定中,低精度訓練的獎勵曲線接近 BF16,也能縮短推論時間。

7月14日週二
  1. LMSYS Org Blog60

    SGLang 如何讓 GLM-5.2 在 8 張 B300 上達到每秒 500 多個 token

    長對話會讓 AI 助理每次回覆都得處理大量舊內容,降低互動速度。SGLang 團隊調整 GLM-5.2 的推論流程,包括讓 GPU 工作彼此接上、重用索引結果,並合併部分運算步驟,減少等待和多餘工作。在 OpenHands 多輪程式開發測試中,GLM-5.2 每輪約有 80K token 的輸入;團隊表示,8 張 B300 上每秒可處理 500 多個輸出 token,單人互動速度比最初版本提升 18% 至 34%。這些數字來自文章設定的硬體與工作負載,其他使用情境的表現可能不同。

    推薦理由:文章拆解 SGLang 如何從排程、索引器到矩陣乘法逐步降低推論開銷,並以不同硬體與工作負載的實測呈現速度變化。