跳到正文

#產品更新

RSS
今日 1 則
8月4日週二
  1. Python Official Blog84

    Python 3.15.0rc1 先行候選版正式發布

    Python 3.15.0rc1 已正式發布,為 3.15 系列的首個候選版。 - 主要新功能:PEP 810 明確延遲載入、PEP 814 新增 frozendict、PEP 799 Tachyon 高頻統計抽樣分析器、PEP 686 UTF‑8 預設編碼等。

    推薦理由:Python 3.15 先行預覽帶來 8-9% 效能提升與多項新功能,開發者可提前測試並為正式版做準備。

  2. Microsoft Research86

    Microsoft Research 釋出開源AI 助理框架 Orchard

    Microsoft Research 推出了開源的可擴充套件AI 助理框架 Orchard,其核心是提供可重用環境服務的 Kubernetes 架構 Orchard Env,支援在真實部署 harnesses 中直接訓練AI 助理。專案同步開源了三個領域的訓練方案與資料,其中 Orchard-SWE 在 SWE-bench Verified 上取得了 69.7% 的表現。

    推薦理由:微軟研究院開源了可擴充套件AI 助理框架 Orchard,並提供覆蓋軟體工程、網頁瀏覽和個人助理的完整訓練方案,降低了AI 助理研究的基建門檻。

  3. LMSYS Org Blog78

    SpecForge v0.3.0 拆開推論與訓練流程,支援更多推測解碼方法

    訓練推測解碼模型時,目標模型推論和草稿模型訓練會搶資源,也不容易分開調整。SpecForge v0.3.0 把兩種工作拆成可各自擴充的流程,並用同一套訓練工具支援 EAGLE3、DFlash、Domino 等多種方法;團隊也發布了涵蓋不同模型與方法的草稿模型。在 8×H20 測試中,3 臺 SGLang 伺服器搭配 5 個訓練工作者,訓練吞吐量比舊的集中式做法約高 10%。這讓團隊能依工作需求調整推論和訓練資源。

    推薦理由:SpecForge 把目標模型推論和草稿模型訓練拆開,並以 8×H20 測試呈現調整兩邊資源配置後的訓練吞吐量變化。

8月3日週一
  1. openrouter blog72

    Ori Eval:協助你為專案選擇最佳模型

    Ori Eval 是 OpenRouter 推出的自動化模型評估工具,能在你自己的程式碼與提示上跑測試,快速找出最適合專案的模型。 - 工作流程:由 Ori 代理掃描程式碼,詢問你重視的指標(成本、速度、準確度等),自動產生 .eval.ts 測試檔並在 CI 或 GitHub Actions 執行。

    推薦理由:Ori Eval 提供自動化模型評估,幫助團隊快速定位最佳模型並持續跟蹤更新,降低手工評測成本;其簡易整合方式讓開發者可即時驗證模型變化,提升開發效率與產品品質。

7月31日週五
7月30日週四
  1. Google DeepMind86

    Gemini Robotics ER 2:通過影片理解、任務編排與多機器人協作驅動機器人

    DeepMind 釋出 Gemini Robotics ER 2,作為其最新的“具身推理”模型,支援持續影片理解、任務編排和多機器人協作。該模型可與任何低層 VLA 模型配合,即時呼叫工具(如 Google Search),並在執行過程中保持推理,顯著提升任務完成率和安全性。

    推薦理由:Gemini Robotics ER 2 通過影片理解和多機器人協作提升機器人任務完成率,展示了高效即時推理與安全控制的結合。

  2. LMSYS Org Blog72

    RadixArk 與 Google 合作,讓 SGLang 支援 TPU

    團隊想在 GPU 和 TPU 之間更換硬體時,常得改用不同工具或重做部署。RadixArk 和 Google Cloud 合作,讓開源推論框架 SGLang 能在 Google TPU 上執行:目前可透過 SGL-JAX 使用,支援多種大型語言模型、多模態模型和影像及影片生成模型;RadixArk 也預計在今年稍晚推出以 PyTorch 為基礎的 SGL-torchtpu。團隊可以沿用同一套 SGLang API,依工作需求和價格效能選擇 GPU 或 TPU。

    推薦理由:SGLang 已可透過 SGL-JAX 在 TPU 上執行,後續還會加入 PyTorch 原生後端,讓團隊沿用相同 API 跨硬體部署。

7月29日週三
7月28日週二
  1. Google DeepMind86

    Gemini Robotics 2 為機器人帶來全身智慧

    DeepMind 在部落格中釋出 Gemini Robotics 2,推出三款模型:Gemini Robotics 2(全身視覺‑語言‑動作模型)、Gemini Robotics ER 2(具身推理模型)和 Gemini Robotics On‑Device 2(高效本地化模型)。

    推薦理由:Gemini Robotics 2 通過全身控制、精細操作和多機器人協作,展示了在複雜任務中的智慧執行能力,並能在數小時內適配新機器人身體。

  2. vLLM Official Blog79

    vLLM 釋出 Speculators 平行草稿,突破單令牌生成限制

    vLLM 於官方部落格公佈 Speculators 平行草稿技術,將單令牌生成提升至多令牌一次性並行,顯著加速推理。 - 核心特性:三種平行草稿演算法 P-EAGLE、DFlash、DSpark,支援完整開源並可直接在 vLLM 中配置。

    推薦理由:此篇介紹 vLLM 透過平行草稿提升推理速度,讀者可參考其開源實作與配置,評估對現有工作流程的效益。

7月27日週一
  1. Modal Engineering Blog77

    Moonshot 釋出 Kimi K3,Modal 平臺即時可用

    Kimi K3 是 Moonshot 推出的 2.8T 引數多模態模型,擁有 1M token 上下文視窗與原生視覺功能,Modal 於發布當日即以 460 tokens/秒的速度執行。

    推薦理由:Kimi K3 以 3T 引數與 1M token 上下文,結合高效推理與自動化推測,讓使用者能在 Modal 以 token 基本定價即時部署前沿多模態模型。

  2. LMSYS Org Blog82

    SGLang 和 Miles 在 Kimi K3 發布當天提供推論與強化學習訓練支援

    Kimi K3 的混合架構讓伺服器得同時管理兩種記憶,一種會隨文字增加,另一種則固定大小並持續更新,原有做法不容易直接套用。SGLang 團隊與 Moonshot AI、NVIDIA 合作,讓 SGLang 支援 Kimi K3 推論,Miles 支援強化學習訓練。SGLang 加入共用記憶體池,讓兩種記憶按需求共用空間,也用重播輸入資料的方式減少暫存記憶體。文章也提供平行處理設定與訓練成績:AIME-2024 的答題率在 12 小時內從 43.3% 升到 76.7%。

    推薦理由:Kimi K3 同時採用兩種注意力方式,讓伺服器得分別管理固定狀態與逐字增加的記憶;文章說明 SGLang 如何處理這項難題。

7月25日週六
7月24日週五
7月23日週四
7月22日週三
7月21日週二
  1. Hugging Face Blog65

    Hugging Face 釋出開源機器人運算元據採集系統 Grabette

    Hugging Face 推出開源、低成本的機器人運算元據採集系統 Grabette,允許使用者通過手持夾爪和相機快速錄製任務並自動生成機器人就緒的資料集。該系統包含手持錄製裝置 Grabette 與配套的機器人夾爪端側執行器 Gripette,採用模組化標準感測器構建,並已接入 Hugging Face Hub 與 LeRobot 訓練生態。

7月18日週六
  1. LMSYS Org Blog65

    Miles 加入 OPD 訓練,讓學生模型學會更短的推理

    學生模型可以學會教師模型的回答方式,但訓練時如果只靠任務獎勵,不一定能教會它用更短的推理完成工作。LMSYS Org 為 Miles 加入 OPD,讓學生模型能只跟著教師模型學,也能把教師指引和任務獎勵一起用;新的稀疏評分流程只請教師模型評分各位置需要的候選 token,減少多餘資料的傳送與解析。在千問 Qwen3.5-35B-A3B 的自我蒸餾實驗中,任務獎勵設為零,學生模型的回答長度從約 18.6k tokens 降至多數約 5.5k–6.7k tokens,保留的 DAPO 表現也從 0.8457 升至 0.8945。這是初步驗證,其他模型和任務仍待測試。

    推薦理由:Miles 的稀疏評分流程減少教師模型不必要的資料傳送與解析,實驗也呈現縮短推理與維持任務表現的結果。

7月17日週五
7月16日週四
  1. Rust Compiler Releases50

    Rust 1.97.1 發布:修正 LLVM 最佳化誤編譯

    Rust 1.97.1 版修正 LLVM 最佳化誤編譯,回滾 rustc 變更並升級 LLVM 子模組。 - 核心修正:回滾 rustc 觸發誤編譯的變更,並回滾 LLVM 子模組以包含修正。 - 安全性:rustc 變更回滾雖非必須,但作為預防措施已執行。 - 版本影響:此更新針對 Rust 1.97.1 版,提升編譯穩定性。

  2. Modal Engineering Blog77

    Modal 以秒級實現百萬並發沙盒

    Modal 重新設計沙盒平臺,突破傳統容器限制,實現每秒建立數萬沙盒,百萬並發沙盒僅需不到 1 分鐘。 架構亮點:去中心化排程器、每個工作節點即為資料來源,所有排程邏輯在 Redis 快取上完成,消除單點瓶頸。 效能指標:平均沙盒啟動時間 < 0.5 秒,無明顯擴容上限,已在 Beta 版本上提供。

    推薦理由:Modal 的新沙盒平臺突破傳統容器限制,允許每秒建立數萬沙盒,對需要大規模 RL 或代理運算的開發者極具價值。

  3. openrouter blog64

    OpenRouter 推出支援文字、影像、語音與嵌入向量的統一 API

    OpenRouter 宣佈支援透過單一 OpenAI 相容的基礎網址與金鑰,呼叫文字、影像生成、影片生成、語音、嵌入向量與語音轉文字等 5 種模態。 - 端點架構:多數輸入模態透過 /chat/completions 搭配不同內容型態處理,而影像生成、影片生成、文字轉語音、語音轉文字與嵌入向量則使用各自的專屬端點。

7月15日週三
  1. Deno Releases36

    Deno v2.9.3 釋出

    summary_zh: Deno 釋出了 v2.9.3 版本,新增多項功能並修復多個核心與網路模組錯誤。 - CLI:新增 deno add --no-save、--save-optional 以及 --min-dep-age 別名,方便依賴管理。

  2. Hugging Face Blog75

    推出 Real World VoiceEQ:衡量語音 AI 的人類質量

    Hugging Face 釋出了 Real World VoiceEQ,一個評估語音 AI 人類質量的基準,涵蓋 60 多項指標,覆蓋 40 多個模型。該基準基於 100 萬條人類評分,評估 15+ 維度的 ASR、TTS、S2S 和 Speech Understanding,幫助開發者識別情感、背景噪聲等細粒度缺陷。

    推薦理由:Real World VoiceEQ 提供了超過 60 項指標的真實人類評估,幫助開發者識別模型在情感、背景噪聲等方面的細粒度缺陷。

  3. LMSYS Org Blog78

    SGLang 和 Miles 加入 Inkling 多模態模型首日支援

    新模型架構常讓推論和訓練工具得花時間才能跟上。SGLang 和 Miles 在 Inkling 推出時就加入支援,並為它的短卷積、相對位置注意力和共享專家設計調整執行方式。Inkling 最長可處理 1M 個 token;在 NVIDIA Blackwell GPU 上,SGLang 的輸入處理速度最高達每秒 71.7k 個 token,單一使用者生成速度最高為每秒 171.0 個 token。Miles 也支援文字與影像任務的強化學習訓練,並用路由重播等方法讓訓練和推論的計算保持一致。

    推薦理由:文章對照 Inkling 的注意力與 MoE 設計,說明 SGLang 如何調整推論流程,也呈現 Miles 如何讓訓練和推論使用一致的模型行為。

最多提供 50 頁,更早的內容請使用搜尋或主題頁。