跳到正文

評測基準

模型到底誰強:Benchmark 成績、評測方法論爭議與排行榜變化的持續記錄。

138條精選相關主題模型發布論文研究推理能力

最新精選

第 61–80 條 · 共 138 條
11月13日週五
  1. Dev.to Top Tech92

    GPT-6 Cyber 逆向解析:訓練方式、安全控管與評測結果

    GPT-6 Cyber 是 OpenAI 以 GPT-6 Astra 為基礎、經額外後訓練打造的資安專用模型;本文根據公開系統卡、公告、Linux 工作流程說明與獨立評測,整理其能力、安全控管與限制。

    推薦理由:文章整理 GPT-6 Cyber 的資安測試與部署限制,並比較其攻擊能力、範圍遵循和錯誤回報表現,呈現實際評估這類代理程式時需兼看的面向。

  2. vLLM Official Blog85

    vLLM 如何在 Vera Rubin NVL72 上提升 DeepSeek-V4.1-Flash 推論效能

    vLLM 說明如何在 Vera Rubin NVL72 上部署 DeepSeek-V4.1-Flash,並透過核心最佳化與機架級記憶體池提升服務吞吐量與延遲表現。

    推薦理由:文章拆解 Vera Rubin NVL72 上的核心最佳化,並以 AgentX 資料呈現吞吐量、延遲與快取命中率的變化,可供評估大規模模型服務的部署取捨。

  3. aihot82

    Artificial Analysis 評測 Gemini 4 Hydrogen:智慧指數 54,成本約為 Claude Sonnet 5.5 的 32%

    Artificial Analysis 評測 Gemini 4 Hydrogen,其 xhigh 推理的智慧指數為 54,較 Claude Sonnet 5.5(max)和 GPT-6.1 Sol(max)低 1 分,成本約為 Claude Sonnet 5.5(max)的 32%。

    推薦理由:評測同時比較不同推理級別的智慧指數、任務成本與基準表現,可用來瞭解 Gemini 4 Hydrogen 在能力和成本之間的取捨。

  4. Vercel Blog76

    Vercel 教你如何測試 Agent 與其使用的軟體

    Vercel 說明如何用評測衡量 Agent 是否能正確完成使用者任務,並以咖啡訂單示範端到端評測的設計、執行與分析。 - 測試層級:依 LLM 呼叫次數分為確定性測試、單輪評測與端到端評測;若要檢查整個任務是否達成,端到端評測會在環境中執行完整流程,再驗證結果。

    推薦理由:文章以咖啡訂單示範如何設計端到端 Agent 評測,並說明成功率與 Pass^k 回答不同可靠性問題,協助團隊選擇合適指標。

  5. AWS Machine Learning Blog66

    AWS 說明如何以 Agent DLC 將 AI 助理從原型推進至正式環境

    AWS 介紹 Agent Development Lifecycle(Agent DLC),以明確的驗收標準串起 AI 助理的建置、評估、發布與上線監測,並透過參考實作說明如何診斷失敗。

    推薦理由:文章以 HR 政策助理的實測說明,單看段落相關性可能漏掉檢索內容缺口,並整理出從定義標準到上線監測的評估流程。

11月12日週四
  1. Dev.to Top Tech84

    AWS 官方模擬器與 LocalStack 比較:160 個 Rust crates、逐版保真度分數與預設遙測

    AWS Emulator 是 AWS 推出的本機 AWS API 模擬器;文章比較它與 LocalStack 的架構、保真度揭露、成本與治理方式,並整理團隊評估匯入時可參考的條件。

    推薦理由:文章比較 AWS Emulator 與 LocalStack 的執行方式、保真度揭露和治理差異,並整理依服務缺口與遙測政策評估匯入的線索。

  2. OpenRouter Announcements73

    OpenRouter 教你如何評測 LLM,並比較 10 個模型的合成任務結果

    OpenRouter 說明如何用符合應用輸入與輸出格式的任務評測 LLM,並比較正確率、費用與請求時間;文中也公佈 10 個模型在 60 項合成任務上的結果。

    推薦理由:文章以可重現的合成任務示範如何同時檢查正確率、輸出格式、成本與回應時間,也揭示公開排名與特定工作負載結果可能不一致。

  3. The New Stack78

    Anthropic Claude Fable 5.2 用一次提示詞打造射擊遊戲,耗時 8 小時、估計花費 $550

    Anthropic 工程師 Felix Rieseberg 讓 Claude Fable 5.2 根據一次提示詞連續執行 8 小時,打造出可在瀏覽器遊玩的第一人稱射擊遊戲 Saltline,估計 API 成本為 $550。

    推薦理由:Saltline 的單次提示詞實驗與其他專案案例,呈現長時間執行代理程式的 token 用量、API 成本及人工介入情況,便於衡量實作投入。

  4. Dev.to Top Tech76

    Nod 評測:n8n Labs 的瀏覽器AI 助理首日體驗與實際限制

    Nod 是 n8n Labs 推出的桌面瀏覽器AI 助理,作者從首次設定與實際使用經驗,檢視它執行網頁任務的能力和限制。 - 基準表現:在模擬帳號與網站中,Nod 完成 226 項任務、各執行三次,任務完成率為 98%;678 次執行中未出現不安全操作,LongMemEval 記憶回憶率為 93.2%。

    推薦理由:文章將模擬環境中的任務完成率,與首次設定、長時間執行及資料傳輸等實際限制並列,呈現評估個人瀏覽器AI 助理的落差。

  5. Epoch AI Gradient Updates80

    Epoch AI 11 月 11 日簡報整理模型能力、資安研究與全球 AI 算力

    Epoch AI 的 11 月 11 日簡報彙整模型能力、資安、全球算力與生物學研究等多項新分析。 - 資安測試:研究者在離線沙盒中測試 GLM 5.3,模型無需人工輸入,便為 Firefox 最近的六個版本建立可讀取訪客電腦檔案並傳送給攻擊者的網頁;每個版本約花費 $1,000。

    推薦理由:受控沙盒測試呈現開放權重模型利用修補時差攻擊 Firefox 的方式與成本,並指出此類風險可能擴及其他軟體。

11月11日週三
  1. Databricks Blog63

    Databricks Genie Ontology 基準測試:準確率達 91%,Token 用量不到競品一半

    Databricks 在與 Turing 合作建立的企業資料代理基準測試中,評估 Genie、Genie Ontology 與兩個前沿代理在即時 Databricks 工作區回答商業問題的表現。

    推薦理由:這項評測把筆記本、儀錶板與儲存的 SQL 查詢納入企業資料脈絡,呈現這些工作區知識如何影響資料代理的答題準確度與資源用量。

  2. Lobste.rs (Engineering Discussion)64

    Linux 路由查詢效能演進:IPv4、IPv6 基準測試與回歸原因

    Linux 路由查詢效能更新至 Linux 7.3;文章比較 IPv4 與 IPv6 在不同路由表規模下的基準測試,並分析效能回歸原因。 - IPv6:Linux 6.5 的 SRSO 緩解措施帶來約 200 ns 的效能回歸;作者指出,這項緩解措施會在每次函式返回時增加約 20 個週期。

    推薦理由:文章以多種路由表規模比較 Linux IPv4 與 IPv6 查詢效能,並追查核心版本變化與 SRSO 緩解措施對結果的影響。

  3. Dev.to Top Tech76

    GLM-5.3-SLIM-GGUF 標頭分析:裁減 64 個專家後檔案縮小 24.6%,推論讀取量近乎不變

    GLM-5.3-SLIM-GGUF 將 Unsloth 的 256 專家 GGUF 裁減為 192 專家版本;作者比對兩組 GGUF 標頭後指出,檔案縮小 24.6%,但每 token 讀取的權重量幾乎不變。

    推薦理由:作者比對兩組 GGUF 標頭,拆解檔案縮小的來源與每 token 權重讀取量,呈現裁減專家對硬體容量和推論速度的不同影響。

  4. Dev.to Top Tech91

    作者盤點 DeepMind 的 Signal 證明專案:Lean 程式碼共 7,528,293 行

    作者盤點 DeepMind 的 Signal 證明專案,統計 11,323 個 Lean 檔案共 7,528,293 行,並檢查證明中的逃生機制;這是對公開專案的稽核,並未重新執行 Lean 核心驗證。

    推薦理由:作者逐檔盤點 Lean 專案並比對論文數字,呈現規格與證明程式碼的規模差異,也清楚界定這次檢查未重新執行核心驗證。