跳到正文

#評測/基準

RSS
今日 0 則
11月12日週四
  1. Epoch AI Gradient Updates80

    Epoch AI 11 月 11 日簡報整理模型能力、資安研究與全球 AI 算力

    Epoch AI 的 11 月 11 日簡報彙整模型能力、資安、全球算力與生物學研究等多項新分析。 - 資安測試:研究者在離線沙盒中測試 GLM 5.3,模型無需人工輸入,便為 Firefox 最近的六個版本建立可讀取訪客電腦檔案並傳送給攻擊者的網頁;每個版本約花費 $1,000。

    推薦理由:受控沙盒測試呈現開放權重模型利用修補時差攻擊 Firefox 的方式與成本,並指出此類風險可能擴及其他軟體。

11月11日週三
  1. Databricks Blog63

    Databricks Genie Ontology 基準測試:準確率達 91%,Token 用量不到競品一半

    Databricks 在與 Turing 合作建立的企業資料代理基準測試中,評估 Genie、Genie Ontology 與兩個前沿代理在即時 Databricks 工作區回答商業問題的表現。

    推薦理由:這項評測把筆記本、儀錶板與儲存的 SQL 查詢納入企業資料脈絡,呈現這些工作區知識如何影響資料代理的答題準確度與資源用量。

  2. Perplexity76

    Perplexity 開放 Gemini 4 Carbon 供 Pro 和 Max 訂閱者在 Perplexity Computer 使用,Max 訂閱者也可在 Search 使用。 WANDR 基準:得分 0.857,每項任務成本 $5.86。 成本比較:Perplexity 表示,Gemini 4 Carbon 的分數與 Claude Fable 5.2 相同,成本為其 40%。

    推薦理由:Perplexity 提供 WANDR 分數與單次任務成本,並和 Claude Fable 5.2 比較,呈現 Gemini 4 Carbon 的效能與成本資訊。

  3. LMSYS Org Blog83

    SGLang 團隊用 megakernel 讓 Muse Spark Open 在 Blackwell GPU 上達到每秒 1,109 個 token

    GPU 執行模型時,工作被拆成許多小步驟,步驟之間的等待會讓部分晶片閒著。LMSYS 團隊為 Muse Spark Open 寫了一種叫 megakernel 的大型 GPU 程式,把每一層的多項工作合在一起,讓不同部分能趁空檔先處理下一件事。在 Blackwell GPU 上,單次請求的解碼速度從每秒 517 個 token 提升到 1,109 個 token;團隊也把草稿模型的執行步驟從 175 次減到 8 次。這種做法目前只支援搭配猜測解碼的單一請求,團隊接下來打算擴充到多個請求。

    推薦理由:文章拆解 megakernel 如何合併 GPU 工作、減少等待,並以 Muse Spark Open 的實測展示效能變化,能看出低延遲推論的工程取捨。

11月10日週二
  1. LMSYS Org Blog69

    DeepSeek-V4.1-Flash 如何在 H200 上加快分離式 Prefill 與 Decode

    處理長提示詞時,DeepSeek-V4.1-Flash 的 Prefill 會排隊,等待時間也拉長。Ant International AI Infra Team 在 8 張 H200 上用 SGLang 分開處理提示詞和逐字生成,並調整索引器計分、Prefill 分塊與 MoE 資料傳送,也讓有限重播能搭配 CP 和 DSpark。合併設定的 8 個測試案例中,E2E 延遲降低約 15%–64%,但每個輸出 token 的時間增加 3%–52%;GSM8K 準確率則從 96.74% 降到 95.38%。文章提醒,整體結果包含多項改動,不能把改善歸功於單一調整;有限重播也會省略部分區域性運算,可能影響答案品質。

    推薦理由:文中把各項加速分開測量,也列出合併設定的延遲與 GSM8K 變化,呈現輸入處理變快和逐字生成變慢之間的取捨。

11月9日週一
11月7日週六
11月6日週五
  1. Artificial Analysis71

    Thinking Machines 發布 Inkling 2 Small,在 Artificial Analysis Intelligence Index v5.0.1 得分 31,目前以專有模型形式透過 Tinker 與 Tinker Playground 提供,權重預計日後以 Apache 2.0 釋出,日期尚未確認。

    推薦理由:Inkling 2 Small 在 AA Intelligence Index 得分提升的同時,輸出 token 數與單次任務成本也增加;各項基準差異可用來比較其代理任務、程式編寫與研究能力。