跳到正文

#評測/基準

RSS
今日 12 則
10月24日週六
  1. LMSYS Org Blog67

    SGLang 如何在 DeepSeek-V4.1-Flash 基準中比肩 DeepInfer

    部署 DeepSeek-V4.1-Flash 時,除了跑得快,也需要快取、請求分流和負載平衡等完整服務功能。SGLang 團隊用 DeepInfer 自家的基準,在相同硬體上比較兩套系統:預填測試中,SGLang 的吞吐量最高達 DeepInfer 的 1.04 倍;64 張 GB300 的解碼測試中,每一步最多短 7.4%,部分測試則表現相近。SGLang 也整合 DeepSeek 的多種核心運算方式,並提供快取重用、分開處理預填與解碼,以及在多個模型副本間分配請求等功能。這篇比較呈現了速度測試和完整推論服務的差異。

    推薦理由:同一硬體與 DeepInfer 自家基準下的比較,呈現 SGLang 在預填與解碼的表現,也說明完整推論服務還包含哪些元件。

10月23日週五
  1. Browser Use47

    12 款最佳瀏覽器自動化工具:AI 助理、指令碼與雲端瀏覽器

    本文比較 11 款瀏覽器自動化工具,涵蓋由 AI 助理解讀目標、由程式庫執行指令碼,以及由雲端服務代管瀏覽器等做法,並依不同用途提出建議。 Browser Use:支援自然語言指令操作網站,也可透過 CDP 代管既有 Playwright 或 Puppeteer 工作流程;瀏覽器託管費為 每小時 $0.02,流量另計,沒有強制訂閱。 Firecrawl:提供網站搜尋、擷取與爬取 API,可輸出 Markdown、HTML 或結構化 JSON;免費方案每月含 1,000 點數,Hobby 方案每月 $19,年繳摺合每月 $16。 Browserless:提供遠端瀏覽器與截圖、PDF 等 HTTP 端點,也支援既有 Playwright 或 Puppeteer 程式透過 WebSocket 連線,並提供雲端、自架授權與私有部署選項。

10月21日週三
10月20日週二
  1. Browser Use64

    Browser Use 比較 5 款供 Coding Agent 控制瀏覽器的 MCP 工具

    Browser Use 比較 5 款可讓 Coding Agent 操作瀏覽器的工具,並以 100 項公開任務測試其中 4 款;各工具分數差異都落在統計誤差範圍內,輸入 token 數則有明顯差距。 測試結果:Browser Harness CLI 加 Skill 的中位數輸入量為 2.1M tokens、每項任務成本 $0.042;Playwright MCP 為 4.4M、$0.066;Chrome DevTools MCP 為 6.7M、$0.097;agent-browser CLI 加 Skill 為 3.3M、$0.056。分數介於 56.3 至 61.0,配對差異的 95% 區間都包含零。 工具選擇:Browser Harness 操作已登入的 Chrome;Playwright MCP 支援 Firefox 與 WebKit,也可使用乾淨工作階段;Chrome DevTools MCP 提供效能追蹤與網路、主控臺檢視;agent-browser 提供加密驗證資料庫、網域允許清單與操作政策;Browser MCP 限定操作使用者選定的單一分頁,未納入測試。 測試限制:每項任務只執行一次,使用單一 Agent 與模型,並採用全新雲端瀏覽器;Browser Harness 測試的是 CLI 與 Skill,agent-browser 也是以 CLI 與 Skill 執行,並非 MCP 伺服器。

    推薦理由:同一組 100 項任務的比較顯示,各工具分數差異落在誤差範圍內,輸入 token 數與瀏覽器登入方式則呈現不同取捨。

10月16日週五
10月14日週三
10月12日週一
10月10日週六
10月9日週五
  1. LMSYS Org Blog82

    SGLang 和 Miles 如何在 NVIDIA Vera Rubin 上加速模型推論與訓練

    新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。

    推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。

10月6日週二
10月5日週一
10月1日週四
  1. Browser Use60

    Browser Use 比較 7 家 AI 助理瀏覽器基礎設施服務

    Browser Use 比較 7 家 AI 助理瀏覽器服務,涵蓋價格、並行數、反偵測表現、工作階段速度、部署方式與方案限制。 價格與速度:Browser Use 每瀏覽器小時 $0.02,是比較中價格最低的服務;Browser Use 與 KERNEL 的工作階段生命週期分別為 386 ms 和 366 ms,領先差距約 20 ms,且 BrowserArena 測試中的領先者會變動。 適用情境:Browserbase 提供即時檢視、重播與記錄;Steel 和 Browserless 可自行託管;Anchor 採每項任務計價;Hyperbrowser 以同一點數池支援瀏覽器、沙箱與網路 API。 測試限制:Stealth Bench V2 由 Browser Use 建置並執行,作者說明測試偏向 Browser Use;測試網站刻意挑選較難通過的網站,並非均衡的網路樣本。文章建議先用自己的網站測試候選服務。

    推薦理由:文章比較七家瀏覽器服務的價格、連線速度與功能限制,也揭露自建測試偏向 Browser Use 的條件,便於讀者判斷資料適用範圍。

  2. Hugging Face Blog55

    Hugging Face 推出 Open TTS Leaderboard 語音和聲音克隆評估榜單

    Hugging Face 推出了 Open TTS Leaderboard,旨在通過可擴充套件的客觀指標(如 WER、CER、推理速度和說話人相似度)來評估多語言語音合成與聲音克隆模型。該排行榜提供多語言評測、支援聲音克隆對比、內建音訊試聽與投票功能,並針對 GPU 和 CPU 環境對流式效能(TTFA)進行了基準測試。

9月25日週五
  1. LMSYS Org Blog61

    SGLang 如何加速 AI 助理的選項評分

    AI 助理要從多個動作中選一個時,系統可以先替每個選項打分,但重複處理相同背景會拖慢速度。這篇文章介紹 SGLang 的 Score API,讓程式明確要求 Yes 或 No 等標籤分數,也說明 MIS 如何在評估多個選項時共用相同背景。測試中,選項從 2 個增加到 16 個時,MIS 在部分模型上的延遲增加不多,但不同模型和負載下結果不一。文章也提醒,部署前要在預定流量下檢視實際處理量和較慢請求的延遲。

    推薦理由:文章比較 SGLang 在不同評分方式下的延遲表現,並提醒負載升高時要同時檢視實際吞吐量與尾端延遲。

9月23日週三
  1. openrouter blog73

    2026 年最佳 Embedding 模型選型指南

    OpenRouter 發布 2026 年最佳 Embedding 嵌入模型選型指南,針對英文 RAG、多語言檢索、程式碼搜尋、圖文檢索及低成本索引等不同應用場景進行實測與推薦。

    推薦理由:文章梳理 2026 年多類嵌入模型的選型指南與效能差異,讀者可據此對照自身專案需求評估合適方案。

9月22日週二
  1. Hugging Face Blog59

    英國 AI 安全研究所與 EvalEval 如何讓評測結果可復現

    英國 AI 安全研究所正使用 EvalEval 的 Evaluation Cards 基礎設施公開分享評估結果,以支援更具可復現性和可驗證性的評估科學。此次釋出包含了五項基準測試和兩項安全評測的驗證結果、上下文及配置資訊,涵蓋了 Claude Opus 系列與 GPT-5 系列等六款前沿模型,並配合其關於推理計算如何塑造前沿 LLM 評測的研究論文一同釋出。

  2. Simon Willison83

    Simon Willison 評測 TypeSafe AI 推出的 Jev 決策模型

    TypeSafe AI 近期推出了名為 Jev 的 System One 決策模型,它接收非結構化文本輸入並返回對應類別的浮點數置信度分數。Jev 僅對輸入收費且價格低至每百萬 token 0.042 美元,支援 Yes/No、多選和評分三類問題並在後臺並行評估。作者指出 Jev 的黑盒特性和偏差問題需要謹慎對待,但社群已圍繞其展開了豐富的創意應用和開源復現嘗試。

    推薦理由:原文介紹了 TypeSafe AI 推出的決策模型 Jev 及其獨特的工作機制和定價模式,讀者可以藉此瞭解這類新型模型在分類與檢索重排場景中的應用與侷限。

9月21日週一
9月18日週五
  1. openrouter blog65

    OpenRouter 比較 20 款影像生成模型:成本、編輯與品質評測

    OpenRouter 團隊透過統一 API 在相同條件下測試 20 款影像生成模型,實測並對比其計費方式、生成品質、編輯能力與多模態回覆表現。 - 成本差異:預設設定下單張圖片費用介於 $0.006 至 $0.134 之間,其中 openai/gpt-image-2 成本最低,但 OpenAI 模型的品質設定會將費用推高達 35 倍。

9月16日週三
  1. LMSYS Org Blog76

    SGLang、Qwen 和 NVIDIA 團隊評測 NVFP4 KV cache,提升長上下文推論速度

    對話越長,模型要保留的過往內容就越多,GPU 記憶體也更容易不夠用。SGLang、Qwen 和 NVIDIA 團隊把 KV cache 改用 NVFP4 儲存,讓每 16 個值連同區塊縮放資料約只佔 FP8 的 56%。在 Qwen3.8-27B 的測試中,長上下文解碼速度有所提升,但部分準確度測項略低;在 AgentX 高並行測試裡,NVFP4 的吞吐量也持續增加,而 FP8 表現下滑。這項支援仍屬實驗性,結果會隨模型和工作情境而變,部署前仍要按任務檢查準確度。

    推薦理由:NVFP4 把 KV cache 壓到約 FP8 的 56% 儲存量;文中比較了準確度、長上下文解碼速度與 AgentX 負載,呈現省記憶體和回答品質之間的取捨。

9月7日週一
  1. Dan Luu Blog70

    Dan Luu 實測 AI 助理怎麼用測試方法,發現光給指示常常不夠

    只告訴 AI 助理使用某種測試方法,寫出的程式就會更可靠嗎?Dan Luu 用 Rust 重做 Zstd,測試 26 種提示和 4 種技能,並比較每種做法在 80 次執行中的結果。多數 AI 助理只是把一般測試塞進指定工具,或只檢查簡單、不容易出錯的情況;直接使用預設設定的表現反而高於平均。作者也發現,要求 AI 助理找出高風險部分、再設計能區分正確與錯誤結果的測試,方向上較有幫助,但仍未穩定找出問題。這項實測提醒我們,測試工具的名稱本身不會讓測試變好,給出具體做法並檢視結果可能更重要。

    推薦理由:這項比較顯示,只告訴 AI 助理採用某種測試方法,往往不足以讓它找出容易出錯的程式;文中也分析了哪些做法較有幫助。

8月29日週六
  1. LMSYS Org Blog65

    SGLang 用 SSD Expert Pack 在消費級硬體上執行 DeepSeek-V4-Flash 和 Kimi-K3

    MoE 模型的專家權重太大,消費級顯示卡和記憶體通常放不下完整模型。SGLang 的 SSD Expert Pack 把專家權重放在 NVMe SSD,每次只讀取路由器選中的專家,並用 GPU 快取留住常用內容;它也能省去資料先經過系統快取、再複製到 GPU 傳輸用記憶體的步驟。團隊在配有 RTX 5090、32 GB 記憶體和 2 TB SSD 的電腦上測試 DeepSeek-V4-Flash 與 Kimi-K3,兩款模型在測試中的生成速度都高於各自的比較基準。這種做法能降低放置完整專家權重所需的 GPU 記憶體,但 SSD 讀取和快取命中情況仍會影響速度。

    推薦理由:這套方法把容量需求轉移到 NVMe SSD,再用 GPU 快取常用專家;文中也比較兩款模型在單張消費級顯示卡上的實測速度與 SSD 讀取量。

8月27日週四
  1. LMSYS Org Blog74

    SGLang Diffusion 如何加速 MiniMax-H3 影片生成,最快達 6.24 倍

    生成高畫質影片要反覆計算很多次,想加快速度,常得在畫面相似度上有所取捨。SGLang Diffusion 團隊在 8 張 NVIDIA H200 顯示卡上測試 MiniMax-H3,並和 Diffusers 比較;在不近似計算的設定下,速度快約 1.85 到 1.95 倍。加入重用前面計算結果的 Cache-DiT,以及略過部分注意力運算的 SubBlock 後,最快達 6.24 倍,但部分 T2VA 影片的 SSIM 降到 0.76 至 0.78。若更重視畫質,單用 Cache-DiT 可達 2.99 倍,SSIM 為 0.90 至 0.92。測試固定提示詞、種子和輸出設定,結果顯示加速幅度會隨影片型別和設定改變。

    推薦理由:這組實測在固定影片生成條件下比較速度與畫質,呈現不同加速設定的取捨,方便估算可接受的畫質變化。

8月21日週五
  1. LMSYS Org Blog71

    SGLang 團隊拆解 Ling-3.0-flash 如何在 Blackwell GPU 上加快推論

    一次只處理一個請求時,GPU 和主機之間的等待很難被其他工作抵銷,使用者也得等更久。SGLang 團隊在 4 張 Blackwell GPU 上調校 Ling-3.0-flash,先減少主機等待,再合併 GPU 工作,並比較兩種猜測解碼方法。單次請求測試中,NEXTN 的平均每個輸出 token 等待時間從 3.33 ms 降到 1.53 ms;相同條件下,DSpark 降到 0.78 ms,輸出速度為 1120 tok/s。測試使用固定的隨機輸入,這些數字反映該測試設定下的結果。

    推薦理由:這篇拆解單次請求推論的延遲來源,並比較 NEXTN 與 DSpark 在相同機器和測試條件下的表現,呈現各項調校如何縮短等待時間。

8月19日週三
  1. LMSYS Org Blog83

    LMSYS 團隊實測 DeepSeek-V4-Pro 如何在 H20 上提升服務效能

    DeepSeek-V4-Pro 很大,在 H20 上提供服務時,團隊得同時顧到回答速度、長文章處理和能接待多少人。LMSYS 團隊依照輸入長度和服務目標,安排不同的運算配置:短內容用較淺的流程,長內容改用較深的流程;回答時則分成低延遲和高流量配置。實測中,H20 單張節點在一次只處理一個請求時,每秒產生 271 個 token;長達 1M token 的輸入也能在 43.7 秒完成預先處理。這些結果顯示,依工作需求調整配置,能讓有限的硬體資源更有效地支援大型模型。

    推薦理由:這份實測比較不同上下文長度與服務目標下的部署配置,並說明如何在 H20 的運算與記憶體限制間取捨。

8月14日週五
8月6日週四
8月5日週三
  1. LMSYS Org Blog52

    Ascend Team 說明如何提升 GLM-Image 在 SGL-Diffusion 的執行效率

    GLM-Image 先用 AR 產生文字提示的語意資訊,再由 DiT 把它逐步轉成圖片;兩個階段需要的硬體配置不同,放在同一個工作流程裡會互相牽制。Ascend Team 把 AR 改由 SRT 獨立執行,並讓多筆請求一起處理;之後又把 AR 和 DiT 分開部署,讓一臺 AR 伺服器把工作分給多個各自處理單張圖片的 DiT。文中測試顯示,16 張 NPU 的設定下,分開部署後平均生成時間從 90 秒降到 37 秒,也能同時處理更多圖片。

7月29日週三
  1. LMSYS Org Blog70

    Miles 如何用 MXFP8 和 NVFP4 加速 Blackwell 上的強化學習

    強化學習要一邊讓模型作答、一邊更新模型;如果訓練和作答時使用的精度不同,兩邊就可能對不上。LMSYS 團隊在 Miles 加入兩種 Blackwell 低精度做法:MXFP8 用在更多訓練與推論步驟,NVFP4 則用在 MoE 專家層,並為每個 token 分別計算資料尺度,讓訓練和推論用同一套設定。在 Qwen3-30B-A3B、8 張 B200 的測試中,五種低精度設定的獎勵曲線都接近 BF16,MXFP8 和 NVFP4 也縮短了推論時間。這是配方消融測試,不能當成完整調校後的效能比較。

    推薦理由:這組消融比較顯示,在 Qwen3-30B-A3B 的 8 張 B200 設定中,低精度訓練的獎勵曲線接近 BF16,也能縮短推論時間。

7月14日週二
  1. LMSYS Org Blog60

    SGLang 如何讓 GLM-5.2 在 8 張 B300 上達到每秒 500 多個 token

    長對話會讓 AI 助理每次回覆都得處理大量舊內容,降低互動速度。SGLang 團隊調整 GLM-5.2 的推論流程,包括讓 GPU 工作彼此接上、重用索引結果,並合併部分運算步驟,減少等待和多餘工作。在 OpenHands 多輪程式開發測試中,GLM-5.2 每輪約有 80K token 的輸入;團隊表示,8 張 B300 上每秒可處理 500 多個輸出 token,單人互動速度比最初版本提升 18% 至 34%。這些數字來自文章設定的硬體與工作負載,其他使用情境的表現可能不同。

    推薦理由:文章拆解 SGLang 如何從排程、索引器到矩陣乘法逐步降低推論開銷,並以不同硬體與工作負載的實測呈現速度變化。

7月2日週四
6月17日週三
  1. LMSYS Org Blog59

    SGLang-JAX 加速 Ling-2.6-1T 在 TPU 上的運作,MoE 預填延遲減半

    大型 AI 模型在 TPU 上運作時,常要花不少時間搬移資料,讓晶片等不到運算所需的內容。LMSYS 團隊為 SGLang-JAX 製作新的 MoE 核心,把資料搬移和模型運算排在一起進行,讓 Ling-2.6-1T 的 MoE 預填延遲從 5.16 毫秒降到 2.42 毫秒;在相同測試中,16 張 TPU v7x 的輸出速度是 16 張 H200 的 1.29 到 1.77 倍。不過,整體預填速度只提升約 25%,因為 GLA 預填目前仍是主要瓶頸。

6月10日週三