#評測/基準
RSS 訂閱#評測/基準
RSS
Arena.ai@arena品質評分4848
vLLM@vllm_project品質評分5252
Artificial Analysis@ArtificialAnlys品質評分5959NVIDIA Newsroom Press Releases精選品質評分7676 NVIDIA Vera Rubin 在 MLPerf 訓練與 AI 助理推論測試中展現效能
NVIDIA 的 Vera Rubin 平臺首次參加 MLPerf 測試,在 MLPerf Training v6.1 的所有專案都有成績;和 NVIDIA GB300 NVL72 相比,Vera Rubin NVL72 每張 GPU 的效能最高達 2 倍。在 DeepSeek-V3 測試中,GPU 數量從 256 張增加到 1,024 張,訓練時間從 16 分鐘縮短到約 4 分鐘,擴充效率約 97%。AI 助理推論方面,Vera Rubin 在 Kimi K3 的一項暫定測試中,每瓦吞吐量超過 GB300 NVL72 的 10 倍;這項結果仍待 MLCommons Association 驗證。
推薦理由:Vera Rubin 首次參加 MLPerf,訓練與 AI 助理推論的結果可用來比較單卡效能、擴充效率和每瓦吞吐量。
Artificial Analysis@ArtificialAnlys精選品質評分6262推薦理由:Artificial Analysis 的測試顯示,d1.2-ultra 與 d1.2 都比前代得分更高,並列在能力與成本的帕累托前緣,可比較兩款模型的進步與花費。
Artificial Analysis@ArtificialAnlys品質評分4040
Qwen@Alibaba_Qwen品質評分4545Qwen4-Max 在 Code Arena: WebDev 排名第 6,較 Qwen3.8-Max 高 74 分。試試看!🙌 @arena
Arena.ai@arena品質評分5858
Arena.ai@arena精選品質評分6464推薦理由:這份榜單列出 Qwen4-Max 在網頁開發及相關專案的名次與分數,並與前代比較,可快速瞭解它在這些測試中的表現。
Arena.ai@arena品質評分4141
Artificial Analysis@ArtificialAnlys精選品質評分6161推薦理由:新版基準讓模型分數平均下降 5 分,並列出不同配置的單項任務成本,方便比較分數與花費之間的差異。
Artificial Analysis@ArtificialAnlys品質評分4949
Artificial Analysis@ArtificialAnlys品質評分4747
Artificial Analysis@ArtificialAnlys品質評分3939
Artificial Analysis@ArtificialAnlys品質評分5656
Arena.ai@arena品質評分4545
Arena.ai@arena品質評分5050Databricks Blog品質評分3939 Apache Spark 和 Apache Flink 怎麼選?多數團隊用 Spark 就能兼顧批次處理和即時資料
團隊要處理大量資料,又想快速看到新資料,常得在 Apache Spark 和 Apache Flink 之間做選擇,甚至同時維護兩套系統。Databricks 的文章認為,多數團隊用 Apache Spark 就夠了:它能處理批次工作、資料分析和串流資料;Real-Time Mode 也讓資料能在幾毫秒內一路處理完成,不必為了更快的串流另外架一套 Flink。文章的測試中,處理有狀態的資料整理時,Spark 的 p99 延遲是 14 ms,Flink 是 45 ms;不過測試由 Databricks 執行,實際表現仍要看自己的工作內容。若需要超大型狀態資料、複雜事件比對,或已經在使用 Flink,Flink 仍可能更適合。
Arena.ai@arena精選品質評分6767
推薦理由:從 Code Arena 的榜單與回答價格比較,可看出程式模型進步加快,也讓較低成本的選擇開始超越先前的頂尖模型。
Y Combinator@ycombinator精選品質評分6464
推薦理由:訪談說明 Design Arena 如何把人們實際創作和使用 AI 的過程整理成資料,協助模型團隊瞭解模型在哪些地方做得好或不好。
AMD@AMD品質評分4040
Artificial Analysis@ArtificialAnlys精選品質評分6464推薦理由:Hy4 在漏洞修補測試中的表現、每項任務成本與輸出 token 數,可一併用來比較不同模型的能力和花費。
Arena.ai@arena品質評分5858
Arena.ai@arena精選品質評分6868Inkling 2 Small 今日發布開放權重後,在 Agent Arena 排名美國開放模型第 1、所有開放模型第 2,整體排名第 22。
推薦理由:Agent Arena 以 11.5k 次真實AI 助理工作階段為依據,並列出操控性與每項任務成本,呈現 Inkling 2 Small 在開放模型中的排名表現。
vLLM Official Blog精選品質評分8585 vLLM 如何在 Vera Rubin NVL72 上提升 DeepSeek-V4.1-Flash 推論效能
vLLM 說明如何在 Vera Rubin NVL72 上部署 DeepSeek-V4.1-Flash,並透過核心最佳化與機架級記憶體池提升服務吞吐量與延遲表現。
推薦理由:文章拆解 Vera Rubin NVL72 上的核心最佳化,並以 AgentX 資料呈現吞吐量、延遲與快取命中率的變化,可供評估大規模模型服務的部署取捨。
Arena.ai@arena品質評分3838
Arena.ai@arena品質評分4444Gemini 4 Hydrogen (High) 首度登上 Code Arena: WebDev 第 10 名,得分 1703,價格為每百萬 tokens $1.50/$7.50。
Vercel Blog精選品質評分7676 Vercel 教你如何測試 Agent 與其使用的軟體
Vercel 說明如何用評測衡量 Agent 是否能正確完成使用者任務,並以咖啡訂單示範端到端評測的設計、執行與分析。 - 測試層級:依 LLM 呼叫次數分為確定性測試、單輪評測與端到端評測;若要檢查整個任務是否達成,端到端評測會在環境中執行完整流程,再驗證結果。
推薦理由:文章以咖啡訂單示範如何設計端到端 Agent 評測,並說明成功率與 Pass^k 回答不同可靠性問題,協助團隊選擇合適指標。
Arena.ai@arena精選品質評分7878Gemini 4 Hydrogen (High) 在 Agent Arena 登上第 5 名,於 6.5k 次真實代理任務中取得 +14.8% 淨改善。
推薦理由:Agent Arena 的排名與分項資料呈現 Gemini 4 Hydrogen (High) 在速度、成本和任務表現上的差異,可用來比較其代理任務效率。
Arena.ai@arena品質評分5757
AWS Machine Learning Blog精選品質評分6666 AWS 說明如何以 Agent DLC 將 AI 助理從原型推進至正式環境
AWS 介紹 Agent Development Lifecycle(Agent DLC),以明確的驗收標準串起 AI 助理的建置、評估、發布與上線監測,並透過參考實作說明如何診斷失敗。
推薦理由:文章以 HR 政策助理的實測說明,單看段落相關性可能漏掉檢索內容缺口,並整理出從定義標準到上線監測的評估流程。
LMSYS Org Blog品質評分5959 RadixArk Miles 如何用 NVIDIA Vera CPU 加快 AI 助理訓練沙盒
訓練 AI 助理時,模型會在沙盒裡反覆執行指令和測試;沙盒跑得慢,整個訓練也會跟著等。RadixArk 團隊用 Miles 在 NVIDIA Vera CPU 上執行所有沙盒,並和 AMD Turin 比較。在相同設定下,Turin 上的每個訓練回合平均多花 12% 時間;作者也觀察到,回合較短能讓訓練資料更新得更快,減少 GPU 記憶體閒置,以及整組回合等最慢一個完成的時間。文中的結果來自作者測試的任務與環境。
Artificial Analysis@ArtificialAnlys品質評分4141
Artificial Analysis@ArtificialAnlys品質評分5757
Arena.ai@arena品質評分5757
Artificial Analysis@ArtificialAnlys品質評分4646Anthropic 目前的 Claude 模型中,升級到更高模型級別,比把較小模型的 effort 調到最高,更能以較低成本取得高智慧表現。
OpenRouter Announcements精選品質評分7373 OpenRouter 教你如何評測 LLM,並比較 10 個模型的合成任務結果
OpenRouter 說明如何用符合應用輸入與輸出格式的任務評測 LLM,並比較正確率、費用與請求時間;文中也公佈 10 個模型在 60 項合成任務上的結果。
推薦理由:文章以可重現的合成任務示範如何同時檢查正確率、輸出格式、成本與回應時間,也揭示公開排名與特定工作負載結果可能不一致。
Artificial Analysis@ArtificialAnlys品質評分5353Artificial Analysis 比較模型在 VIALS-AA 使用工具與單次作答時的表現,工具使用下各模型平均分數約從 25% 提升至 47%。
vLLM@vllm_project品質評分3636