跳到正文

#評測/基準

RSS
今日 14 則
11月13日週五
  1. Dev.to Top Tech92

    GPT-6 Cyber 逆向解析:訓練方式、安全控管與評測結果

    GPT-6 Cyber 是 OpenAI 以 GPT-6 Astra 為基礎、經額外後訓練打造的資安專用模型;本文根據公開系統卡、公告、Linux 工作流程說明與獨立評測,整理其能力、安全控管與限制。

    推薦理由:文章整理 GPT-6 Cyber 的資安測試與部署限制,並比較其攻擊能力、範圍遵循和錯誤回報表現,呈現實際評估這類代理程式時需兼看的面向。

  2. vLLM Official Blog85

    vLLM 如何在 Vera Rubin NVL72 上提升 DeepSeek-V4.1-Flash 推論效能

    vLLM 說明如何在 Vera Rubin NVL72 上部署 DeepSeek-V4.1-Flash,並透過核心最佳化與機架級記憶體池提升服務吞吐量與延遲表現。

    推薦理由:文章拆解 Vera Rubin NVL72 上的核心最佳化,並以 AgentX 資料呈現吞吐量、延遲與快取命中率的變化,可供評估大規模模型服務的部署取捨。

  3. Arena.ai38

    Gemini 4 Hydrogen 擅長知識工作。 根據超過 6,000 場真實世界的 AI 助理工作階段,Hydrogen (High) 在 Agent Arena 總排名第 5。在知識工作任務中則升至第 4。 因此,它在這類任務上的排名超越了整體排名高於它的三款競爭模型:Claude Opus 5.5 (Max)、GPT-6 Astra (Max) 和 Claude Sonnet 5.5 (Max)。 這表示 @GoogleDeepMind 的 Hydrogen 不僅是 Agent Arena 前 5 名中速度最快的模型,也是適合真實世界工作的強大選擇。

  4. aihot82

    Artificial Analysis 評測 Gemini 4 Hydrogen:智慧指數 54,成本約為 Claude Sonnet 5.5 的 32%

    Artificial Analysis 評測 Gemini 4 Hydrogen,其 xhigh 推理的智慧指數為 54,較 Claude Sonnet 5.5(max)和 GPT-6.1 Sol(max)低 1 分,成本約為 Claude Sonnet 5.5(max)的 32%。

    推薦理由:評測同時比較不同推理級別的智慧指數、任務成本與基準表現,可用來瞭解 Gemini 4 Hydrogen 在能力和成本之間的取捨。

  5. Vercel Blog76

    Vercel 教你如何測試 Agent 與其使用的軟體

    Vercel 說明如何用評測衡量 Agent 是否能正確完成使用者任務,並以咖啡訂單示範端到端評測的設計、執行與分析。 - 測試層級:依 LLM 呼叫次數分為確定性測試、單輪評測與端到端評測;若要檢查整個任務是否達成,端到端評測會在環境中執行完整流程,再驗證結果。

    推薦理由:文章以咖啡訂單示範如何設計端到端 Agent 評測,並說明成功率與 Pass^k 回答不同可靠性問題,協助團隊選擇合適指標。

  6. SemiAnalysis45

    快訊🚨:GB300 NVL72 使用 TP24 搭配 TileRT MegaKernels,在 DeepSeek v4.1 Flash 上可達到 1725 tok/s/user,解碼速度是通用引擎的 2 倍! TileRT 團隊將帶來更多 GB300 NVL72 多併發測試結果。看到 TileRT 在 GB300 NVL72 上的表現後,不妨想像一下它在 Rubin NVL72、MI455X UALoE72 或 TPUv7 上能做到什麼! 感謝 TileRT 維護者的出色工作,也感謝 Ian Buck 為這個出色的 TileRT 專案提供 GB300 NVL72 使用權!

  7. AWS Machine Learning Blog66

    AWS 說明如何以 Agent DLC 將 AI 助理從原型推進至正式環境

    AWS 介紹 Agent Development Lifecycle(Agent DLC),以明確的驗收標準串起 AI 助理的建置、評估、發布與上線監測,並透過參考實作說明如何診斷失敗。

    推薦理由:文章以 HR 政策助理的實測說明,單看段落相關性可能漏掉檢索內容缺口,並整理出從定義標準到上線監測的評估流程。

  8. LMSYS Org Blog59

    RadixArk Miles 如何用 NVIDIA Vera CPU 加快 AI 助理訓練沙盒

    訓練 AI 助理時,模型會在沙盒裡反覆執行指令和測試;沙盒跑得慢,整個訓練也會跟著等。RadixArk 團隊用 Miles 在 NVIDIA Vera CPU 上執行所有沙盒,並和 AMD Turin 比較。在相同設定下,Turin 上的每個訓練回合平均多花 12% 時間;作者也觀察到,回合較短能讓訓練資料更新得更快,減少 GPU 記憶體閒置,以及整組回合等最慢一個完成的時間。文中的結果來自作者測試的任務與環境。

11月12日週四
  1. Dev.to Top Tech47

    LLM 評測標準為何持續變動:模型不變,人類判斷也會漂移

    LLM 評測的多項研究指出,即使模型本身沒有變化,人類評分與自動評測工具的判斷也可能漂移,且漂移幅度有時大於團隊想測量的品質訊號。 - 人類評分漂移:研究分析 126 萬筆 Chatbot Arena 盲測投票,發現「兩者都不好」的判定率每月上升約 1.7 至 1.9 個百分點;模型間的相對排名維持穩定,變動的是絕對評分標準。