跳到正文

#推理

RSS
今日 9 則
10月20日週二
10月19日週一
10月18日週日
  1. vLLM Releases86

    vLLM v0.32.0 正式發布:多項推理最佳化與多模態功能升級

    vLLM v0.32.0 正式發布,包含 814 次提交與 363 位貢獻者的新功能。 - 新增 /v1/systemone 端點,可處理結構化決策與分數查詢,並支援 Cloudflare/clef-omni、LiquidAI/d1-3B、DiffusionGemma 等模型。

    推薦理由:vLLM v0.32.0 引入多項高效推理最佳化與多模態支援,使用者可直接提升模型部署效能與功能擴充。

10月17日週六
  1. Hacker News (official RSS)67

    Claude 設計更高效量子電路的研究

    本文報告 Claude 能透過自動迴圈最佳化,設計出比現有最佳量子電路更少門數與量子位數的方案,實驗證明可降低數十倍資源需求。 - Claude Mythos 5 在 53 小時內完成 8 種量子電路的自動設計,並在每個任務中均優於已發表的最佳設計。

10月16日週五
  1. Hugging Face Blog82

    Meta 發布 Muse Spark Open:開源權重多模態混合專家模型

    Meta 推出 Muse Spark Open,816B 引數的多模態混合專家模型,支援文字、影像、音訊與影片輸入,並具備程式設計與工具呼叫能力。 - 模型規模:總引數 816B,每個 token 活躍 42B,可使用 1M token 上下文視窗。

    推薦理由:Meta公佈的 Muse Spark Open 816B 引數模型,支援多模態程式設計與長上下文,對開發者可直接整合,並提供多種推理與工具呼叫介面。

  2. LMSYS Org Blog74

    SGLang 支援 Beam,公開部署方式與服務效能測試

    大型模型要用在長時間的程式開發任務,伺服器得處理很長的對話,也要讓 AI 助理快速接續工作。SGLang Team 說明 SGLang 如何支援 Reflection 的 Beam,並分享快取對話內容、加速生成和調整模型運算的做法。測試使用 4 張 NVIDIA GB300 顯示卡重播多輪程式開發對話;在 32 個對話同時進行時,每張顯示卡每秒處理 127.6K 個 token,每位使用者的中位速度為每秒 185.87 個 token。這些數字來自特定測試設定,可用來瞭解 SGLang 如何服務 Beam。

    推薦理由:文章整理 SGLang 支援 Beam 的部署與效能測試,並交代測試使用的硬體、工作負載和快取情況,方便評估結果適用的服務情境。

10月15日週四
  1. LMSYS Org Blog76

    SGLang 和 Miles 加入 Muse Spark Open 支援,並公佈多平臺效能測試

    大型多模態模型要在不同硬體上執行,常得處理長提示詞、圖片影片輸入和模型運算量大的問題。SGLang 和 Miles 加入 Muse Spark Open 支援,涵蓋推論、微調與多輪強化學習訓練;模型可讀取文字、圖片、影片和音訊,並支援 1M token 的上下文視窗。文章也列出 NVIDIA、AMD、Intel 和 TPU 平臺的支援進度,以及多組程式開發工作負載測試。在 8 張 B300 GPU 的 OpenHands 測試中,單一對話每位使用者每秒產生 543 個 token;128 個對話同時執行時,則為每位使用者每秒 61 個 token。這些數字來自特定硬體與測試設定,可用來瞭解不同工作量下的速度變化。

    推薦理由:文章整理 Muse Spark Open 在多種硬體上的支援方式與實測結果,並說明長提示詞和多輪程式開發工作如何影響推論速度。

10月14日週三
  1. Google DeepMind78

    Gemini 4 Argon:面向複雜任務的多模態推理模型發布

    Gemini 4 Argon 已正式發布,提供 1M token 限制的多模態推理能力,助力工程、金融、法律等領域解決複雜任務。 - 核心特性:多模態推理、深度編碼、長期推理 1M token,支援多步驟任務。

    推薦理由:Gemini 4 Argon 以多模態推理為核心,突破工程、金融、法律等領域複雜任務,並在多項基準上領先同類模型,為企業與研究者提供可落地的效能提升,並開放 API 供開發者快速整合,實現 1M token 限制,支援長期推理。

10月13日週二
  1. The Decoder55

    Anthropic 推出新防禦,Claude 推理 token 盜取率降低 90%–99%

    Anthropic 宣佈其最新防禦機制已將 Claude 推理 token 盜取率降低 90%–99%。 - 防禦措施:限制內部推理步驟存取、使用分類器偵測盜取企圖、即時封鎖可疑帳號。 - 成效:成功蒸餾案例大幅下降,已封鎖數萬假帳號。 - 影響:防止被盜能力落入軍事與監控系統,並呼籲業界採用類似保護。