#評測/基準
RSS 訂閱#評測/基準
RSS
Arena.ai@arena品質評分5151
Artificial Analysis@ArtificialAnlys品質評分3535
Artificial Analysis@ArtificialAnlys精選品質評分6464推薦理由:Artificial Analysis Intelligence Index v5 與多項基準呈現 Hy4 的推理、程式代理和知識表現,也揭示其幻覺率與成本差異。
Artificial Analysis@ArtificialAnlys品質評分5858
Arena.ai@arena品質評分3636
Arena.ai@arena精選品質評分6868Arena.ai 分享 Agent Arena 長時程任務的成本比較:近 14 天有近 30,000 項任務執行超過 1 小時,每小時平均呼叫工具 332 次。

推薦理由:近 30,000 項長時程任務的成本資料,呈現 Gemini 4 Carbon、Claude Opus 5.5 與 GPT-6 Astra 在每小時工作費用和評分上的取捨。
Arena.ai@arena品質評分4545
Arena.ai@arena品質評分5858Agent Arena 的比較顯示,任務成本愈高,Google DeepMind 與 Xiaomi MiMo 在排名中的位置愈突出。

Artificial Analysis@ArtificialAnlys精選品質評分6565Artificial Analysis 更新 API 效能基準,改以 Time per Task 比較模型完成任務所需時間,並將完整請求耗時與代理式工作負載納入評測。
推薦理由:新指標把首 token 等待與完整輸出時間納入任務耗時,並以多種工作負載比較模型,呈現 token 速度與完成任務所需時間的差異。
Arena.ai@arena精選品質評分6161Arena 公佈 Agent Arena 評測結果,Hy4 在整體排名第 14,於 8.5K 多場真實世界長時程AI 助理任務中帶來 4.7% 的淨改善。
推薦理由:這份評測以長時程AI 助理任務比較 Hy4 與 Kimi K3.1 Pro 的分數及每項成本,呈現兩者表現接近時的價格差異。
Artificial Analysis@ArtificialAnlys品質評分3939
Artificial Analysis@ArtificialAnlys品質評分3939Artificial Analysis 與 CritPt 作者完成 CritPt v2 評分伺服器,預計明天透過 Artificial Analysis 的 API 開放給社群。
Artificial Analysis@ArtificialAnlys品質評分4646OpenAI News品質評分4545 OpenAI 推出 LifeVal 評測日常生活任務中的 AI 助理表現
OpenAI 建立 LifeVal,評測 AI 模型協助處理日常生活任務的表現,並用這套評測追蹤、推動模型在相關任務上的進步。 - 評測範圍:任務涵蓋照護、健康、教育、家務管理、個人財務、購物及政府服務;設計參考美國與跨國時間使用調查,以及 3,995 名受訪者的代表性調查。
AWS Machine Learning Blog品質評分4040 使用知識蒸餾於 **Amazon SageMaker AI** 建構高效代理
summary_zh: 在 Amazon SageMaker AI 上,作者示範使用 SeqKD 將前沿模型行為蒸餾至小型學生模型,降低代理成本並維持品質。
Unsloth AI@UnslothAI品質評分4343LMSYS Org Blog精選品質評分7979 SGLang 如何用 HiCache 在多種部署配置中重用模型快取
長對話會反覆送出相同的前文,模型若每次重算或重新傳送資料,使用者就得等更久。這篇文章說明 HiCache 如何把可重用的模型快取放在 GPU、主機記憶體和外部儲存,並讓不同運算階段和多臺機器在同一個字首上做出一致決定。以 GLM-5.2-FP8 的多輪對話測試來看,解碼端也重用 GPU 與主機快取後,平均首次回應時間降低 25.4%,中位數降低 60.3%,輸出速度增加 2.9%。文章也說明,資料分散存放和非同步傳輸會增加協調難度,快取資料必須準備妥當才能省下計算與傳輸時間。
推薦理由:文章拆解 HiCache 在多種平行配置與分離式服務中的快取協調方式,並用實際服務資料呈現字首重用對回應等待時間的影響。
LMSYS Org Blog精選品質評分7777 GLM-5.3-Flash 如何在 H200 上提升長文本服務吞吐量
長文本請求會佔用大量記憶體,也可能讓模型忙著處理輸入,來不及持續產生答案。作者在 SGLang 上調整 GLM-5.3-Flash 的快取共用、推測解碼和資料傳送方式,並分開測試輸入與輸出速度。在 4 張 H200 上,輸入處理速度提高到每秒 48,064 個 token;有 99.9% 共用字首時,輸出速度提高到每秒 12,027 個 token。整體結果也顯示,共用字首較少時,輸入處理仍是瓶頸;共用較多時,解碼端的改善更能提高整體速度。
推薦理由:這組測試呈現共享字首比例如何改變服務瓶頸:字首重用少時,輸入處理仍限制整體吞吐量;重用高時,解碼端的調校更能轉成效能提升。
Hacker News (official RSS)品質評分5959 兩臺 RTX 5090 主機透過乙太網路共享 KV 快取
兩臺 RTX 5090 主機透過乙太網路共享 KV 快取,作者在不同網路連線下測試此功能,觀察會話熱度與延遲變化。 - KV cache 共享流程:儲存、傳送(僅傳送 delta,約 247 MiB)以及匯入,傳送時間在 1 GbE 為 3.24 s,10 GbE 0.81 s,直接 0.55 s。
Hacker News (official RSS)品質評分4141 Obsidian Canvas 與 Heptabase 的建築比較
summary_zh: Obsidian Canvas 與 Heptabase 架構截然不同:以 .canvas 檔案儲存與以卡片為核心、白板為非擁有檢視。 - 連結性: - Obsidian Canvas 內的箭頭僅存於 .canvas JSON,無 Markdown [[link]],不顯示於全域性 Graph。
Epoch AI Gradient Updates品質評分3737 我們嘗試自動化 Epoch:探討 AI 在真實工作任務中的表現與生產力悖論
Epoch AI 推出 Epoch Automation Reports 來評估 AI 處理真實日常工作任務的表現,結果顯示領先模型 Claude Fable 5.1 與 GPT-6 Astra 平均僅獲得 65% 的分數。
LMSYS Org Blog精選品質評分6767 SGLang 如何在 DeepSeek-V4.1-Flash 基準中比肩 DeepInfer
部署 DeepSeek-V4.1-Flash 時,除了跑得快,也需要快取、請求分流和負載平衡等完整服務功能。SGLang 團隊用 DeepInfer 自家的基準,在相同硬體上比較兩套系統:預填測試中,SGLang 的吞吐量最高達 DeepInfer 的 1.04 倍;64 張 GB300 的解碼測試中,每一步最多短 7.4%,部分測試則表現相近。SGLang 也整合 DeepSeek 的多種核心運算方式,並提供快取重用、分開處理預填與解碼,以及在多個模型副本間分配請求等功能。這篇比較呈現了速度測試和完整推論服務的差異。
推薦理由:同一硬體與 DeepInfer 自家基準下的比較,呈現 SGLang 在預填與解碼的表現,也說明完整推論服務還包含哪些元件。
vLLM Official Blog品質評分4848 在 GB300 NVL72 上部署 DeepSeek‑V4.1‑Flash:vLLM 匹配 DeepInfer 並擴充套件至大規模
summary_zh: vLLM 在 NVIDIA GB300 NVL72 上以 954K tokens/s 的吞吐量為 DeepSeek‑V4.1‑Flash 服務,P90 196 tokens/s 每位使用者,並以每 GPU 小時 $38.96 的成本達到與 DeepInfer 相當的效能。
Epoch AI Gradient Updates品質評分4040 AI 能否自動化 AI 研發?
summary_zh: AI 仍未能完全自動化 AI 研發,最新測試顯示前沿模型在 InnovationEval 任務中僅達到 SDPO 原始效能的 15%。
LMSYS Org Blog精選品質評分8282 SGLang 和 Miles 如何在 NVIDIA Vera Rubin 上加速模型推論與訓練
新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。
推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。
Hugging Face Blog品質評分5555 Hugging Face 推出 Open TTS Leaderboard 語音和聲音克隆評估榜單
Hugging Face 推出了 Open TTS Leaderboard,旨在通過可擴充套件的客觀指標(如 WER、CER、推理速度和說話人相似度)來評估多語言語音合成與聲音克隆模型。該排行榜提供多語言評測、支援聲音克隆對比、內建音訊試聽與投票功能,並針對 GPU 和 CPU 環境對流式效能(TTFA)進行了基準測試。
LMSYS Org Blog精選品質評分6161 SGLang 如何加速 AI 助理的選項評分
AI 助理要從多個動作中選一個時,系統可以先替每個選項打分,但重複處理相同背景會拖慢速度。這篇文章介紹 SGLang 的 Score API,讓程式明確要求 Yes 或 No 等標籤分數,也說明 MIS 如何在評估多個選項時共用相同背景。測試中,選項從 2 個增加到 16 個時,MIS 在部分模型上的延遲增加不多,但不同模型和負載下結果不一。文章也提醒,部署前要在預定流量下檢視實際處理量和較慢請求的延遲。
推薦理由:文章比較 SGLang 在不同評分方式下的延遲表現,並提醒負載升高時要同時檢視實際吞吐量與尾端延遲。
openrouter blog精選品質評分7373 2026 年最佳 Embedding 模型選型指南
OpenRouter 發布 2026 年最佳 Embedding 嵌入模型選型指南,針對英文 RAG、多語言檢索、程式碼搜尋、圖文檢索及低成本索引等不同應用場景進行實測與推薦。
推薦理由:文章梳理 2026 年多類嵌入模型的選型指南與效能差異,讀者可據此對照自身專案需求評估合適方案。
openrouter blog品質評分6363 Jev 與 Claude Opus 5 語意分類準確度與效能評測
OpenRouter 測試了專用決判模型 Jev 1.13 與前沿聊天模型 Claude Opus 5 在 Banking77 語意分類任務上的表現。
Hugging Face Blog品質評分5959 英國 AI 安全研究所與 EvalEval 如何讓評測結果可復現
英國 AI 安全研究所正使用 EvalEval 的 Evaluation Cards 基礎設施公開分享評估結果,以支援更具可復現性和可驗證性的評估科學。此次釋出包含了五項基準測試和兩項安全評測的驗證結果、上下文及配置資訊,涵蓋了 Claude Opus 系列與 GPT-5 系列等六款前沿模型,並配合其關於推理計算如何塑造前沿 LLM 評測的研究論文一同釋出。
openrouter blog品質評分6464 Jev 與 LLM-as-a-Judge 評估模型效能對比
OpenRouter 官方部落格對比了專門決策模型 Jev 與傳統生成式大語言模型在 AI 輸出評估(LLM-as-a-Judge)上的表現。測試涵蓋準確度、校準機率、延遲與成本,探討兩者在封閉式規則與開放式長文本檢驗中的適用場景。
openrouter blog品質評分6565 OpenRouter 比較 20 款影像生成模型:成本、編輯與品質評測
OpenRouter 團隊透過統一 API 在相同條件下測試 20 款影像生成模型,實測並對比其計費方式、生成品質、編輯能力與多模態回覆表現。 - 成本差異:預設設定下單張圖片費用介於 $0.006 至 $0.134 之間,其中 openai/gpt-image-2 成本最低,但 OpenAI 模型的品質設定會將費用推高達 35 倍。
NVIDIA Blog品質評分3131 NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中展現領先效能
NVIDIA 釋出的 Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中表現領先,在 Qwen3-VL 上實現了較 GB300 NVL72 最高 3.7 倍的吞吐量提升。
LMSYS Org Blog精選品質評分7676 SGLang、Qwen 和 NVIDIA 團隊評測 NVFP4 KV cache,提升長上下文推論速度
對話越長,模型要保留的過往內容就越多,GPU 記憶體也更容易不夠用。SGLang、Qwen 和 NVIDIA 團隊把 KV cache 改用 NVFP4 儲存,讓每 16 個值連同區塊縮放資料約只佔 FP8 的 56%。在 Qwen3.8-27B 的測試中,長上下文解碼速度有所提升,但部分準確度測項略低;在 AgentX 高並行測試裡,NVFP4 的吞吐量也持續增加,而 FP8 表現下滑。這項支援仍屬實驗性,結果會隨模型和工作情境而變,部署前仍要按任務檢查準確度。
推薦理由:NVFP4 把 KV cache 壓到約 FP8 的 56% 儲存量;文中比較了準確度、長上下文解碼速度與 AgentX 負載,呈現省記憶體和回答品質之間的取捨。
LMSYS Org Blog精選品質評分6565 SGLang 用 SSD Expert Pack 在消費級硬體上執行 DeepSeek-V4-Flash 和 Kimi-K3
MoE 模型的專家權重太大,消費級顯示卡和記憶體通常放不下完整模型。SGLang 的 SSD Expert Pack 把專家權重放在 NVMe SSD,每次只讀取路由器選中的專家,並用 GPU 快取留住常用內容;它也能省去資料先經過系統快取、再複製到 GPU 傳輸用記憶體的步驟。團隊在配有 RTX 5090、32 GB 記憶體和 2 TB SSD 的電腦上測試 DeepSeek-V4-Flash 與 Kimi-K3,兩款模型在測試中的生成速度都高於各自的比較基準。這種做法能降低放置完整專家權重所需的 GPU 記憶體,但 SSD 讀取和快取命中情況仍會影響速度。
推薦理由:這套方法把容量需求轉移到 NVMe SSD,再用 GPU 快取常用專家;文中也比較兩款模型在單張消費級顯示卡上的實測速度與 SSD 讀取量。
LMSYS Org Blog精選品質評分7474 SGLang Diffusion 如何加速 MiniMax-H3 影片生成,最快達 6.24 倍
生成高畫質影片要反覆計算很多次,想加快速度,常得在畫面相似度上有所取捨。SGLang Diffusion 團隊在 8 張 NVIDIA H200 顯示卡上測試 MiniMax-H3,並和 Diffusers 比較;在不近似計算的設定下,速度快約 1.85 到 1.95 倍。加入重用前面計算結果的 Cache-DiT,以及略過部分注意力運算的 SubBlock 後,最快達 6.24 倍,但部分 T2VA 影片的 SSIM 降到 0.76 至 0.78。若更重視畫質,單用 Cache-DiT 可達 2.99 倍,SSIM 為 0.90 至 0.92。測試固定提示詞、種子和輸出設定,結果顯示加速幅度會隨影片型別和設定改變。
推薦理由:這組實測在固定影片生成條件下比較速度與畫質,呈現不同加速設定的取捨,方便估算可接受的畫質變化。
Together AI Official Blog品質評分4949 GLM‑5.3 與 GPT‑5.6 Sol 在 DeepSWE 上的成本、編碼與路由比較
summary_zh: GLM‑5.3 與 GPT‑5.6 Sol 在 DeepSWE 基準上進行對比,顯示兩者在一次性成功率、成本、重試表現與路由策略上的差異。
LMSYS Org Blog精選品質評分7171 SGLang 團隊拆解 Ling-3.0-flash 如何在 Blackwell GPU 上加快推論
一次只處理一個請求時,GPU 和主機之間的等待很難被其他工作抵銷,使用者也得等更久。SGLang 團隊在 4 張 Blackwell GPU 上調校 Ling-3.0-flash,先減少主機等待,再合併 GPU 工作,並比較兩種猜測解碼方法。單次請求測試中,NEXTN 的平均每個輸出 token 等待時間從 3.33 ms 降到 1.53 ms;相同條件下,DSpark 降到 0.78 ms,輸出速度為 1120 tok/s。測試使用固定的隨機輸入,這些數字反映該測試設定下的結果。
推薦理由:這篇拆解單次請求推論的延遲來源,並比較 NEXTN 與 DSpark 在相同機器和測試條件下的表現,呈現各項調校如何縮短等待時間。
LMSYS Org Blog精選品質評分8383 LMSYS 團隊實測 DeepSeek-V4-Pro 如何在 H20 上提升服務效能
DeepSeek-V4-Pro 很大,在 H20 上提供服務時,團隊得同時顧到回答速度、長文章處理和能接待多少人。LMSYS 團隊依照輸入長度和服務目標,安排不同的運算配置:短內容用較淺的流程,長內容改用較深的流程;回答時則分成低延遲和高流量配置。實測中,H20 單張節點在一次只處理一個請求時,每秒產生 271 個 token;長達 1M token 的輸入也能在 43.7 秒完成預先處理。這些結果顯示,依工作需求調整配置,能讓有限的硬體資源更有效地支援大型模型。
推薦理由:這份實測比較不同上下文長度與服務目標下的部署配置,並說明如何在 H20 的運算與記憶體限制間取捨。
Together AI Official Blog品質評分4040 DeepSeek‑V4 Flash 0731 與 GPT‑5.6 Luna 在 DeepSWE 上的成本與編碼比較
summary_zh: DeepSeek‑V4 Flash 0731 成為 DeepSWE 競賽中最便宜的模型,每題僅 0.10 美元,雖然 GPT‑5.6 Luna 價格為 0.61 美元,但在單次嘗試的 Pass@1 上領先 14 點(67.2 % vs 53.3 %)。