#評測/基準
RSS 訂閱#評測/基準
RSSthehypedotnews twitter@thehypedotnews品質評分4242 LMSYS Org Blog精選品質評分6767 SGLang 如何在 DeepSeek-V4.1-Flash 基準中比肩 DeepInfer
部署 DeepSeek-V4.1-Flash 時,除了跑得快,也需要快取、請求分流和負載平衡等完整服務功能。SGLang 團隊用 DeepInfer 自家的基準,在相同硬體上比較兩套系統:預填測試中,SGLang 的吞吐量最高達 DeepInfer 的 1.04 倍;64 張 GB300 的解碼測試中,每一步最多短 7.4%,部分測試則表現相近。SGLang 也整合 DeepSeek 的多種核心運算方式,並提供快取重用、分開處理預填與解碼,以及在多個模型副本間分配請求等功能。這篇比較呈現了速度測試和完整推論服務的差異。
推薦理由:同一硬體與 DeepInfer 自家基準下的比較,呈現 SGLang 在預填與解碼的表現,也說明完整推論服務還包含哪些元件。
Browser Use品質評分4747 12 款最佳瀏覽器自動化工具:AI 助理、指令碼與雲端瀏覽器
本文比較 11 款瀏覽器自動化工具,涵蓋由 AI 助理解讀目標、由程式庫執行指令碼,以及由雲端服務代管瀏覽器等做法,並依不同用途提出建議。 Browser Use:支援自然語言指令操作網站,也可透過 CDP 代管既有 Playwright 或 Puppeteer 工作流程;瀏覽器託管費為 每小時 $0.02,流量另計,沒有強制訂閱。 Firecrawl:提供網站搜尋、擷取與爬取 API,可輸出 Markdown、HTML 或結構化 JSON;免費方案每月含 1,000 點數,Hobby 方案每月 $19,年繳摺合每月 $16。 Browserless:提供遠端瀏覽器與截圖、PDF 等 HTTP 端點,也支援既有 Playwright 或 Puppeteer 程式透過 WebSocket 連線,並提供雲端、自架授權與私有部署選項。
vLLM Official Blog品質評分4848 在 GB300 NVL72 上部署 DeepSeek‑V4.1‑Flash:vLLM 匹配 DeepInfer 並擴充套件至大規模
summary_zh: vLLM 在 NVIDIA GB300 NVL72 上以 954K tokens/s 的吞吐量為 DeepSeek‑V4.1‑Flash 服務,P90 196 tokens/s 每位使用者,並以每 GPU 小時 $38.96 的成本達到與 DeepInfer 相當的效能。
thehypedotnews twitter@thehypedotnews品質評分4646
The Decoder品質評分5050 OpenAI 表示 GPT‑6 在 COBOL、Fortran 等傳統程式語言上表現大幅提升
summary_zh: OpenAI 表示 GPT‑6 在 COBOL、Fortran 等傳統程式語言上表現大幅提升。 - 核心基準:在 MultiLangBench 上,GPT‑6 Astra 的平均通過率為 87.4 %(20 程式語言),遠高於 GPT‑5.6 Terra 的 ≈38 %。
Browser Use精選品質評分6464 Browser Use 比較 5 款供 Coding Agent 控制瀏覽器的 MCP 工具
Browser Use 比較 5 款可讓 Coding Agent 操作瀏覽器的工具,並以 100 項公開任務測試其中 4 款;各工具分數差異都落在統計誤差範圍內,輸入 token 數則有明顯差距。 測試結果:Browser Harness CLI 加 Skill 的中位數輸入量為 2.1M tokens、每項任務成本 $0.042;Playwright MCP 為 4.4M、$0.066;Chrome DevTools MCP 為 6.7M、$0.097;agent-browser CLI 加 Skill 為 3.3M、$0.056。分數介於 56.3 至 61.0,配對差異的 95% 區間都包含零。 工具選擇:Browser Harness 操作已登入的 Chrome;Playwright MCP 支援 Firefox 與 WebKit,也可使用乾淨工作階段;Chrome DevTools MCP 提供效能追蹤與網路、主控臺檢視;agent-browser 提供加密驗證資料庫、網域允許清單與操作政策;Browser MCP 限定操作使用者選定的單一分頁,未納入測試。 測試限制:每項任務只執行一次,使用單一 Agent 與模型,並採用全新雲端瀏覽器;Browser Harness 測試的是 CLI 與 Skill,agent-browser 也是以 CLI 與 Skill 執行,並非 MCP 伺服器。
推薦理由:同一組 100 項任務的比較顯示,各工具分數差異落在誤差範圍內,輸入 token 數與瀏覽器登入方式則呈現不同取捨。
Epoch AI Updates品質評分4343 開源權重模型在網路安全能力上落後封閉模型 6–7 個月
summary_zh: Epoch 的研究顯示,開源權重模型在網路安全能力上落後封閉模型 6–7 個月。 - Cyber ECI:基於 Epoch Capabilities Index (ECI) 的網路安全版,評估模型在網路安全基準上的表現。
Epoch AI Updates品質評分6767 AI 系統在 Slay the Spire 與其續作中展現快速進步的遊戲能力
Epoch AI 發布全新基準測試 SpireClimb,評估前沿 AI 模型在卡牌遊戲 Slay the Spire 與續作 Slay the Spire 2 中的表現,顯示模型在電腦使用能力與策略規劃上取得顯著進展。
The Decoder品質評分4747 AI 代理團隊浪費大量 tokens,卻僅帶來微弱品質提升,研究發現
summary_zh: Vals AI 研究顯示,將 GPT‑6 Sol 與 Claude Opus 5.5 以團隊方式部署於 Vibe Code Bench,雖成本提升至 1.8 倍至 5.1 倍,卻僅在中等推理層級 GPT‑6 Sol 取得 7.3 分的統計顯著提升。
Epoch AI Gradient Updates品質評分4040 AI 能否自動化 AI 研發?
summary_zh: AI 仍未能完全自動化 AI 研發,最新測試顯示前沿模型在 InnovationEval 任務中僅達到 SDPO 原始效能的 15%。
LMSYS Org Blog精選品質評分8282 SGLang 和 Miles 如何在 NVIDIA Vera Rubin 上加速模型推論與訓練
新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。
推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。
Elon Musk (@elonmusk)@elonmusk品質評分3434
Elon Musk (@elonmusk)@elonmusk品質評分3030
Browser Use精選品質評分6060 Browser Use 比較 7 家 AI 助理瀏覽器基礎設施服務
Browser Use 比較 7 家 AI 助理瀏覽器服務,涵蓋價格、並行數、反偵測表現、工作階段速度、部署方式與方案限制。 價格與速度:Browser Use 每瀏覽器小時 $0.02,是比較中價格最低的服務;Browser Use 與 KERNEL 的工作階段生命週期分別為 386 ms 和 366 ms,領先差距約 20 ms,且 BrowserArena 測試中的領先者會變動。 適用情境:Browserbase 提供即時檢視、重播與記錄;Steel 和 Browserless 可自行託管;Anchor 採每項任務計價;Hyperbrowser 以同一點數池支援瀏覽器、沙箱與網路 API。 測試限制:Stealth Bench V2 由 Browser Use 建置並執行,作者說明測試偏向 Browser Use;測試網站刻意挑選較難通過的網站,並非均衡的網路樣本。文章建議先用自己的網站測試候選服務。
推薦理由:文章比較七家瀏覽器服務的價格、連線速度與功能限制,也揭露自建測試偏向 Browser Use 的條件,便於讀者判斷資料適用範圍。
Hugging Face Blog品質評分5555 Hugging Face 推出 Open TTS Leaderboard 語音和聲音克隆評估榜單
Hugging Face 推出了 Open TTS Leaderboard,旨在通過可擴充套件的客觀指標(如 WER、CER、推理速度和說話人相似度)來評估多語言語音合成與聲音克隆模型。該排行榜提供多語言評測、支援聲音克隆對比、內建音訊試聽與投票功能,並針對 GPU 和 CPU 環境對流式效能(TTFA)進行了基準測試。
LMSYS Org Blog精選品質評分6161 SGLang 如何加速 AI 助理的選項評分
AI 助理要從多個動作中選一個時,系統可以先替每個選項打分,但重複處理相同背景會拖慢速度。這篇文章介紹 SGLang 的 Score API,讓程式明確要求 Yes 或 No 等標籤分數,也說明 MIS 如何在評估多個選項時共用相同背景。測試中,選項從 2 個增加到 16 個時,MIS 在部分模型上的延遲增加不多,但不同模型和負載下結果不一。文章也提醒,部署前要在預定流量下檢視實際處理量和較慢請求的延遲。
推薦理由:文章比較 SGLang 在不同評分方式下的延遲表現,並提醒負載升高時要同時檢視實際吞吐量與尾端延遲。
openrouter blog精選品質評分7373 2026 年最佳 Embedding 模型選型指南
OpenRouter 發布 2026 年最佳 Embedding 嵌入模型選型指南,針對英文 RAG、多語言檢索、程式碼搜尋、圖文檢索及低成本索引等不同應用場景進行實測與推薦。
推薦理由:文章梳理 2026 年多類嵌入模型的選型指南與效能差異,讀者可據此對照自身專案需求評估合適方案。
openrouter blog品質評分6363 Jev 與 Claude Opus 5 語意分類準確度與效能評測
OpenRouter 測試了專用決判模型 Jev 1.13 與前沿聊天模型 Claude Opus 5 在 Banking77 語意分類任務上的表現。
Hugging Face Blog品質評分5959 英國 AI 安全研究所與 EvalEval 如何讓評測結果可復現
英國 AI 安全研究所正使用 EvalEval 的 Evaluation Cards 基礎設施公開分享評估結果,以支援更具可復現性和可驗證性的評估科學。此次釋出包含了五項基準測試和兩項安全評測的驗證結果、上下文及配置資訊,涵蓋了 Claude Opus 系列與 GPT-5 系列等六款前沿模型,並配合其關於推理計算如何塑造前沿 LLM 評測的研究論文一同釋出。
Simon Willison精選品質評分8383 Simon Willison 評測 TypeSafe AI 推出的 Jev 決策模型
TypeSafe AI 近期推出了名為 Jev 的 System One 決策模型,它接收非結構化文本輸入並返回對應類別的浮點數置信度分數。Jev 僅對輸入收費且價格低至每百萬 token 0.042 美元,支援 Yes/No、多選和評分三類問題並在後臺並行評估。作者指出 Jev 的黑盒特性和偏差問題需要謹慎對待,但社群已圍繞其展開了豐富的創意應用和開源復現嘗試。
推薦理由:原文介紹了 TypeSafe AI 推出的決策模型 Jev 及其獨特的工作機制和定價模式,讀者可以藉此瞭解這類新型模型在分類與檢索重排場景中的應用與侷限。
openrouter blog品質評分6464 Jev 與 LLM-as-a-Judge 評估模型效能對比
OpenRouter 官方部落格對比了專門決策模型 Jev 與傳統生成式大語言模型在 AI 輸出評估(LLM-as-a-Judge)上的表現。測試涵蓋準確度、校準機率、延遲與成本,探討兩者在封閉式規則與開放式長文本檢驗中的適用場景。
Browser Use品質評分4545 **title_zh:** Browser Use vs Browserbase:定價、隱匿度與效能比較
summary_zh: Browser Use 與 Browserbase 兩大瀏覽器基礎設施提供商在定價、隱匿度與效能上展開較量,Browser Use 以 pay‑as‑you‑go 方案提供更低成本與無訂閱需求,Browserbase 則以階層月費方案配合 Selenium 支援與 Stagehand 工具。
openrouter blog品質評分6565 OpenRouter 比較 20 款影像生成模型:成本、編輯與品質評測
OpenRouter 團隊透過統一 API 在相同條件下測試 20 款影像生成模型,實測並對比其計費方式、生成品質、編輯能力與多模態回覆表現。 - 成本差異:預設設定下單張圖片費用介於 $0.006 至 $0.134 之間,其中 openai/gpt-image-2 成本最低,但 OpenAI 模型的品質設定會將費用推高達 35 倍。
NVIDIA Blog品質評分3131 NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中展現領先效能
NVIDIA 釋出的 Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中表現領先,在 Qwen3-VL 上實現了較 GB300 NVL72 最高 3.7 倍的吞吐量提升。
LMSYS Org Blog精選品質評分7676 SGLang、Qwen 和 NVIDIA 團隊評測 NVFP4 KV cache,提升長上下文推論速度
對話越長,模型要保留的過往內容就越多,GPU 記憶體也更容易不夠用。SGLang、Qwen 和 NVIDIA 團隊把 KV cache 改用 NVFP4 儲存,讓每 16 個值連同區塊縮放資料約只佔 FP8 的 56%。在 Qwen3.8-27B 的測試中,長上下文解碼速度有所提升,但部分準確度測項略低;在 AgentX 高並行測試裡,NVFP4 的吞吐量也持續增加,而 FP8 表現下滑。這項支援仍屬實驗性,結果會隨模型和工作情境而變,部署前仍要按任務檢查準確度。
推薦理由:NVFP4 把 KV cache 壓到約 FP8 的 56% 儲存量;文中比較了準確度、長上下文解碼速度與 AgentX 負載,呈現省記憶體和回答品質之間的取捨。
Dan Luu Blog精選品質評分7070 Dan Luu 實測 AI 助理怎麼用測試方法,發現光給指示常常不夠
只告訴 AI 助理使用某種測試方法,寫出的程式就會更可靠嗎?Dan Luu 用 Rust 重做 Zstd,測試 26 種提示和 4 種技能,並比較每種做法在 80 次執行中的結果。多數 AI 助理只是把一般測試塞進指定工具,或只檢查簡單、不容易出錯的情況;直接使用預設設定的表現反而高於平均。作者也發現,要求 AI 助理找出高風險部分、再設計能區分正確與錯誤結果的測試,方向上較有幫助,但仍未穩定找出問題。這項實測提醒我們,測試工具的名稱本身不會讓測試變好,給出具體做法並檢視結果可能更重要。
推薦理由:這項比較顯示,只告訴 AI 助理採用某種測試方法,往往不足以讓它找出容易出錯的程式;文中也分析了哪些做法較有幫助。
LMSYS Org Blog精選品質評分6565 SGLang 用 SSD Expert Pack 在消費級硬體上執行 DeepSeek-V4-Flash 和 Kimi-K3
MoE 模型的專家權重太大,消費級顯示卡和記憶體通常放不下完整模型。SGLang 的 SSD Expert Pack 把專家權重放在 NVMe SSD,每次只讀取路由器選中的專家,並用 GPU 快取留住常用內容;它也能省去資料先經過系統快取、再複製到 GPU 傳輸用記憶體的步驟。團隊在配有 RTX 5090、32 GB 記憶體和 2 TB SSD 的電腦上測試 DeepSeek-V4-Flash 與 Kimi-K3,兩款模型在測試中的生成速度都高於各自的比較基準。這種做法能降低放置完整專家權重所需的 GPU 記憶體,但 SSD 讀取和快取命中情況仍會影響速度。
推薦理由:這套方法把容量需求轉移到 NVMe SSD,再用 GPU 快取常用專家;文中也比較兩款模型在單張消費級顯示卡上的實測速度與 SSD 讀取量。
LMSYS Org Blog精選品質評分7474 SGLang Diffusion 如何加速 MiniMax-H3 影片生成,最快達 6.24 倍
生成高畫質影片要反覆計算很多次,想加快速度,常得在畫面相似度上有所取捨。SGLang Diffusion 團隊在 8 張 NVIDIA H200 顯示卡上測試 MiniMax-H3,並和 Diffusers 比較;在不近似計算的設定下,速度快約 1.85 到 1.95 倍。加入重用前面計算結果的 Cache-DiT,以及略過部分注意力運算的 SubBlock 後,最快達 6.24 倍,但部分 T2VA 影片的 SSIM 降到 0.76 至 0.78。若更重視畫質,單用 Cache-DiT 可達 2.99 倍,SSIM 為 0.90 至 0.92。測試固定提示詞、種子和輸出設定,結果顯示加速幅度會隨影片型別和設定改變。
推薦理由:這組實測在固定影片生成條件下比較速度與畫質,呈現不同加速設定的取捨,方便估算可接受的畫質變化。
Together AI Official Blog品質評分4949 GLM‑5.3 與 GPT‑5.6 Sol 在 DeepSWE 上的成本、編碼與路由比較
summary_zh: GLM‑5.3 與 GPT‑5.6 Sol 在 DeepSWE 基準上進行對比,顯示兩者在一次性成功率、成本、重試表現與路由策略上的差異。
LMSYS Org Blog精選品質評分7171 SGLang 團隊拆解 Ling-3.0-flash 如何在 Blackwell GPU 上加快推論
一次只處理一個請求時,GPU 和主機之間的等待很難被其他工作抵銷,使用者也得等更久。SGLang 團隊在 4 張 Blackwell GPU 上調校 Ling-3.0-flash,先減少主機等待,再合併 GPU 工作,並比較兩種猜測解碼方法。單次請求測試中,NEXTN 的平均每個輸出 token 等待時間從 3.33 ms 降到 1.53 ms;相同條件下,DSpark 降到 0.78 ms,輸出速度為 1120 tok/s。測試使用固定的隨機輸入,這些數字反映該測試設定下的結果。
推薦理由:這篇拆解單次請求推論的延遲來源,並比較 NEXTN 與 DSpark 在相同機器和測試條件下的表現,呈現各項調校如何縮短等待時間。
LMSYS Org Blog精選品質評分8383 LMSYS 團隊實測 DeepSeek-V4-Pro 如何在 H20 上提升服務效能
DeepSeek-V4-Pro 很大,在 H20 上提供服務時,團隊得同時顧到回答速度、長文章處理和能接待多少人。LMSYS 團隊依照輸入長度和服務目標,安排不同的運算配置:短內容用較淺的流程,長內容改用較深的流程;回答時則分成低延遲和高流量配置。實測中,H20 單張節點在一次只處理一個請求時,每秒產生 271 個 token;長達 1M token 的輸入也能在 43.7 秒完成預先處理。這些結果顯示,依工作需求調整配置,能讓有限的硬體資源更有效地支援大型模型。
推薦理由:這份實測比較不同上下文長度與服務目標下的部署配置,並說明如何在 H20 的運算與記憶體限制間取捨。
Epoch AI Updates品質評分4141 **title_zh:** Epoch 提出 9 大問題:基準測試能協助回答
summary_zh: Epoch 在最新文章中列出九大關鍵問題,並說明基準測試如何協助回答 AI 能力與經濟影響。 - **問題 1:AI 能否執行我的工作?
Together AI Official Blog品質評分4040 DeepSeek‑V4 Flash 0731 與 GPT‑5.6 Luna 在 DeepSWE 上的成本與編碼比較
summary_zh: DeepSeek‑V4 Flash 0731 成為 DeepSWE 競賽中最便宜的模型,每題僅 0.10 美元,雖然 GPT‑5.6 Luna 價格為 0.61 美元,但在單次嘗試的 Pass@1 上領先 14 點(67.2 % vs 53.3 %)。
LMSYS Org Blog品質評分5252 Ascend Team 說明如何提升 GLM-Image 在 SGL-Diffusion 的執行效率
GLM-Image 先用 AR 產生文字提示的語意資訊,再由 DiT 把它逐步轉成圖片;兩個階段需要的硬體配置不同,放在同一個工作流程裡會互相牽制。Ascend Team 把 AR 改由 SRT 獨立執行,並讓多筆請求一起處理;之後又把 AR 和 DiT 分開部署,讓一臺 AR 伺服器把工作分給多個各自處理單張圖片的 DiT。文中測試顯示,16 張 NPU 的設定下,分開部署後平均生成時間從 90 秒降到 37 秒,也能同時處理更多圖片。
LMSYS Org Blog精選品質評分7070 Miles 如何用 MXFP8 和 NVFP4 加速 Blackwell 上的強化學習
強化學習要一邊讓模型作答、一邊更新模型;如果訓練和作答時使用的精度不同,兩邊就可能對不上。LMSYS 團隊在 Miles 加入兩種 Blackwell 低精度做法:MXFP8 用在更多訓練與推論步驟,NVFP4 則用在 MoE 專家層,並為每個 token 分別計算資料尺度,讓訓練和推論用同一套設定。在 Qwen3-30B-A3B、8 張 B200 的測試中,五種低精度設定的獎勵曲線都接近 BF16,MXFP8 和 NVFP4 也縮短了推論時間。這是配方消融測試,不能當成完整調校後的效能比較。
推薦理由:這組消融比較顯示,在 Qwen3-30B-A3B 的 8 張 B200 設定中,低精度訓練的獎勵曲線接近 BF16,也能縮短推論時間。
LMSYS Org Blog精選品質評分6060 SGLang 如何讓 GLM-5.2 在 8 張 B300 上達到每秒 500 多個 token
長對話會讓 AI 助理每次回覆都得處理大量舊內容,降低互動速度。SGLang 團隊調整 GLM-5.2 的推論流程,包括讓 GPU 工作彼此接上、重用索引結果,並合併部分運算步驟,減少等待和多餘工作。在 OpenHands 多輪程式開發測試中,GLM-5.2 每輪約有 80K token 的輸入;團隊表示,8 張 B300 上每秒可處理 500 多個輸出 token,單人互動速度比最初版本提升 18% 至 34%。這些數字來自文章設定的硬體與工作負載,其他使用情境的表現可能不同。
推薦理由:文章拆解 SGLang 如何從排程、索引器到矩陣乘法逐步降低推論開銷,並以不同硬體與工作負載的實測呈現速度變化。
Epoch AI Updates品質評分4040 GPT-4 在 ECI 指標上領先時間遠長於其他模型
summary_zh: Epoch AI 的最新資料顯示, GPT-4 **在 Capabilities Index(ECI)指標上長時間保持領先,超過任何其他模型。
LMSYS Org Blog品質評分5959 SGLang-JAX 加速 Ling-2.6-1T 在 TPU 上的運作,MoE 預填延遲減半
大型 AI 模型在 TPU 上運作時,常要花不少時間搬移資料,讓晶片等不到運算所需的內容。LMSYS 團隊為 SGLang-JAX 製作新的 MoE 核心,把資料搬移和模型運算排在一起進行,讓 Ling-2.6-1T 的 MoE 預填延遲從 5.16 毫秒降到 2.42 毫秒;在相同測試中,16 張 TPU v7x 的輸出速度是 16 張 H200 的 1.29 到 1.77 倍。不過,整體預填速度只提升約 25%,因為 GLA 預填目前仍是主要瓶頸。
Browser Use品質評分6868 Claude Fable 在 BU Bench 上創下高分紀錄
Claude Fable 5 在結合開源 Browser Use 函式庫的 BU Bench V1 測試中拿下 80.0% 的高分,超越 GPT 5.5 共 12 個百分點。