發布 vllm-metal:在 Apple Silicon 上實現高併發服務
vllm-metal v0.28.0 釋出,提供在 Apple Silicon 上的高併發 LLM 服務,相容 OpenAI API 並支援 MTP、GGUF、混合模型與 NAX 預填。
推薦理由:本篇說明 vllm-metal 如何在 Apple Silicon 上實現高併發推理,為 Mac 上部署 LLM 的工程師提供可直接套用的效能最佳化與配置指引。
vllm-metal v0.28.0 釋出,提供在 Apple Silicon 上的高併發 LLM 服務,相容 OpenAI API 並支援 MTP、GGUF、混合模型與 NAX 預填。
推薦理由:本篇說明 vllm-metal 如何在 Apple Silicon 上實現高併發推理,為 Mac 上部署 LLM 的工程師提供可直接套用的效能最佳化與配置指引。
透過在 Docker 建構階段設定 UV_COMPILE_BYTECODE=1,vLLM 可在 H100 上節省約 18 秒啟動時間,Qwen3-8B 與 Qwen3-32B 亦分別節省 17.6 秒與 17.8 秒。
vLLM 在 GB300 NVL72 叢集上針對 Qwen3.8‑2.4T 進行 PD 服務,實現每 GPU 5,000 個總 token 吞吐量以及每使用者 180 個生成 token 的低延遲表現。
推薦理由:本篇詳盡說明如何在 vLLM 上針對 Qwen3.8-2.4T 進行 PD 服務調優,並提供可執行的 srt-slurm 配方,讓讀者能直接套用於其他模型。
費城兒童醫院利用基於 MONAI 等開源 NVIDIA AI 工具的心臟建模服務,在幾秒鐘內將 CT 掃描和 MRI 等影像轉化為精確的心臟模型,使原本需要四小時的手術準備時間縮短至可用於臨床。目前全美有超過 20 家兒童醫院執行此類心臟建模程式,其中波士頓兒童醫院每年支援約 500 例手術。
Chord 是 Novita AI 開源的高效 W4A16 MoE CUDA 運運算元,針對 Kimi K2.x 服務形狀進行最佳化。 - 效能提升:在 H200 EP8 前填充階段提升 1.11–1.20 倍,TP8 單實例服務 1.17–1.33 倍;B300 EP8 解碼階段可達 2.15 倍。
LangChain 透過 Deep Agents 建立了 GTM Agent,能自動化處理 Salesforce 產生的新線索,並在 Slack 產生可審計的郵件草稿。
vime 與 RL-Kernel 團隊合作,在 AMD Instinct MI300X 平臺上成功實現 Qwen3-8B 模型在強化學習後訓練中的逐位元(Bitwise)訓練與推論一致性。
本文說明瞭在 vLLM 中對 Kimi K3 進行的多項效能最佳化,最終吞吐量提升至 2.8 倍。 - 最終吞吐量:2.8× - 主要最佳化:自適應 speculative token。
推薦理由:本文詳細說明瞭多項效能最佳化技術,對於需要高吞吐量 Kimi K3 部署的工程師具有實務參考價值,可直接落地。
Together Fine‑Tuning 於 2026 年 9 月 11 日推出新版,支援更多開放權重模型、即時實驗追蹤、專家 LoRA 及早停功能,並降價 30–70%。
推薦理由:此更新提供更完整的實驗追蹤與成本最佳化,讓使用者能即時調整訓練策略,並以更低成本部署多模型,同時支援專家 LoRA 及早停功能。
Axolotl v0.19.0 釋出宣告式模型支援與多新模型家族,提供更簡易的微調流程並提升推理效能。 - 宣告式模型支援:模型只需宣告差異,省去多處配置。
Hugging Face Transformers v5.17.0 正式發布,本次更新擴充多項全新模型架構與重大功能改進,涵蓋多模態、語音識別及混合專家模型支援: - 新模型與架構新增: - HYV4:780B 引數的混合專家(MoE)模型,每 Token 啟動 49B 引數,具備 1M tokens 上下文視窗。
推薦理由:此版本擴充多項新模型架構與語音多模態支援,開發者可藉此評估最新開源模型的整合與升級選項。
導語:本集探討蘋果首款折疊機 iPhone Duo 的硬體取捨與定價,Shopify 收購 Tailwind Labs 對前端生態的衝擊,以及多項 AI 代理開源技術與社群安全議題。
Supabase 透過 Gemini Enterprise 內建連接器,使用者可在 Gemini 內以自然語言查詢 Supabase 資料,無需離開工作環境。
vLLM 在 AgentX 基準上實現高效能與成本優勢,提供可驗證的全棧最佳化方法。 - 總吞吐量:在 DeepSeek V4 Pro 上達到 130 000 tokens / GPU‑sec,MiniMax M3 互動率 376 tokens / sec。
推薦理由:本文展示 vLLM 在 AgentX 基準上實現高效能與成本優勢,並提供可驗證的全棧最佳化方法,對於需要高吞吐量與低成本的代理服務部署具有實務參考價值。
Tenstorrent Team 發布 vLLM TT Plugin,透過標準的平臺外掛機制將 Tenstorrent 硬體引入 vLLM 生態系統,維持與 OpenAI 相容的 API 介面並支援多款主流開源模型。
SGLang 正式發布 v0.5.19 版本,此次更新匯集來自 214 位貢獻者的 786 個 PR,全面提升大模型與擴散模型的推論效能、硬體相容性與快取機制。
推薦理由:原文詳細列出各項核心效能改進與硬體支援,開發者可據此評估升級至新版本對模型推論吞吐量與延遲的實質助益。
Verus 是一個自動化程式驗證器,能在 Rust 程式碼中直接撰寫規範與證明,並在秒內完成檢查。 - 快速反饋:證明檢查平均在秒內完成,支援 VS Code 內即時提示。
Supabase MCP 伺服器 現已正式推出企業管理式授權,讓 IT 管理員可在 Okta 身份提供者中一次授權,整個組織即可在 Claude 內使用 Supabase。
Bun v1.4 正式發布,帶來全新的安裝指令與升級方式,並向所有社群貢獻者致謝。 安裝與升級:支援透過 curl、npm 或 PowerShell 快速安裝,並可使用 bun upgrade 升級至 v1.4.0。 開源與授權:維持自由開源並採用 MIT 授權條款,感謝來自社群的多方貢獻與修復。
訓練 AI 助理使用工具時,每個任務花的時間不同,等待最慢的任務會讓 GPU 閒著。Miles v0.1 把模型生成、訓練和更新權重接成可同時進行的流程;每個任務在自己的隔離環境中執行,完成後就能接著訓練。文章也示範用 64 張 NVIDIA GB300 訓練 GLM-5.2,模型能在終端操作任務中持續學習。這套系統也支援低精度訓練、不同訓練後端和 AMD GPU,讓研究人員與開發者能依裝置和訓練方式調整流程。
推薦理由:Miles 把生成、訓練與權重更新接成非同步流程,文中以 64 張 GB300 訓練 GLM-5.2 的實例,展示這套做法如何支援大型模型的終端操作訓練。
vLLM 於 2026 年 8 月 14 日正式推出 DSpark 自適應驗證功能,讓 Speculative Decoding 在高併發(至 256)下仍能保持效能。
推薦理由:DSpark adaptive verification 讓 vLLM 在高併發下保持效能,降低使用者手動調參需求,並自動調整驗證長度以最佳化吞吐量。在多種併發設定下,保持在 Pareto 前沿。
vLLM 官方部落格宣佈推出對 NVIDIA Nemotron 3.5 Lightning 的 Day-0 支援,這是一款專為全天候AI 助理(Agent)設計的可自訂開源混合式 MoE 模型,並透過多種推論加速技術提升吞吐量。
推薦理由:vLLM 宣佈首發支援 NVIDIA Nemotron 3.5 Lightning 模型,讀者可透過內文提供的配置指令與架構最佳化方案評估高吞吐量部署。
Google DeepMind 推出了 WeatherNext AI 模型,在氣旋的路徑、強度和風力結構預測上達到了 SOTA 精度,平均可提供額外一天的預警時間。該研究成果已在 Nature 發表,團隊宣佈開源 WeatherNext 2 與 WeatherNext Cyclones 模型程式碼及權重。
Postgres Changes 現已支援多欄位 AND 過濾、擴充運算子與欄位選擇,提升訂閱精度與成本效益。 - 多欄位 AND 過濾:可一次匹配多個欄位,取代原先單欄位限制。
Mistral AI 釋出了 Shieldstral,這是一款 3B 引數的開源多模態安全分類模型,採用 Apache 2.0 協議開源。該模型將內容稽核轉換為策略自適應的問答任務,允許在推理時通過自然語言指定策略,從而無需重新訓練即可統一處理文本和影像安全評估。
Microsoft Research 推出了開源的可擴充套件AI 助理框架 Orchard,其核心是提供可重用環境服務的 Kubernetes 架構 Orchard Env,支援在真實部署 harnesses 中直接訓練AI 助理。專案同步開源了三個領域的訓練方案與資料,其中 Orchard-SWE 在 SWE-bench Verified 上取得了 69.7% 的表現。
推薦理由:微軟研究院開源了可擴充套件AI 助理框架 Orchard,並提供覆蓋軟體工程、網頁瀏覽和個人助理的完整訓練方案,降低了AI 助理研究的基建門檻。
Kimi K3 是 Moonshot AI 旗艦的 2.8‑trillion‑parameter 開源模型,支援 1M 上下文長度與多模態輸入,並提供完整的 API 與工具使用範例。
推薦理由:Kimi K3 以 2.8T 引數、1M 上下文長度與開源權重,為開發者提供前沿長程編碼與推理能力。
微軟研究團隊推出了 Echoverse,這是一個包含 10 個深度領域世界和 2 個能力世界的訓練環境集合,旨在為計算機操作AI 助理提供高保真、狀態相干且具備可信資料庫驗證的合成訓練世界。
推薦理由:微軟開源了用於訓練計算機操作AI 助理的深度演化環境 Echoverse,通過提供高保真和可複用的訓練世界,為提升模型在複雜閉環工作流中的泛化能力提供了新途徑。
Kimi K3 的混合架構讓伺服器得同時管理兩種記憶,一種會隨文字增加,另一種則固定大小並持續更新,原有做法不容易直接套用。SGLang 團隊與 Moonshot AI、NVIDIA 合作,讓 SGLang 支援 Kimi K3 推論,Miles 支援強化學習訓練。SGLang 加入共用記憶體池,讓兩種記憶按需求共用空間,也用重播輸入資料的方式減少暫存記憶體。文章也提供平行處理設定與訓練成績:AIME-2024 的答題率在 12 小時內從 43.3% 升到 76.7%。
推薦理由:Kimi K3 同時採用兩種注意力方式,讓伺服器得分別管理固定狀態與逐字增加的記憶;文章說明 SGLang 如何處理這項難題。
本文記錄 DaoCloud 團隊使用 vLLM 在 24 張 NVIDIA B300 伺服器上部署 GLM-5.2-NVFP4 的完整實務調校過程,透過預先拆分(Prefill/Decode disaggregation)與多項最佳化將 16K 輸入的平均 TPOT 從接近 40 ms 降至 17 ms。
推薦理由:文章詳述在 24 張 NVIDIA B300 叢集上部署 GLM-5.2 的完整調校歷程與可重現指令,工程團隊可藉此評估生產環境的延遲最佳化策略。
Devin Outposts 於 Modal Sandbox 上啟動,允許開發者在自訂環境中執行 AI 軟體工程師 Devin。 - 功能:自動啟動 GPU 供應,支援自訂映像、快冷啟、快照與彈性擴縮。
Axolotl 正式發布 v0.18.0 版本,聚焦於降低超大型稀疏 MoE 模型的微調成本並強化底層核心效能。 - 核心更新:新增 NVFP4 與 SonicMoE 4-bit 專家 LoRA 支援,大幅降低長上下文下的 VRAM 消耗;支援 GLM-5.2 與 Gemma 4 等新模型微調。
Together AI 發布 GPU 叢集全新功能,提升可靠性與操作控制。 - 平臺健康:新增被動健康檢查、節點自動修復與 Slinky 1.0,能即時偵測 GPU 斷線、Xid 錯誤、熱節流等失效模式,並自動建議修復動作。
長對話會讓 AI 助理每次回覆都得處理大量舊內容,降低互動速度。SGLang 團隊調整 GLM-5.2 的推論流程,包括讓 GPU 工作彼此接上、重用索引結果,並合併部分運算步驟,減少等待和多餘工作。在 OpenHands 多輪程式開發測試中,GLM-5.2 每輪約有 80K token 的輸入;團隊表示,8 張 B300 上每秒可處理 500 多個輸出 token,單人互動速度比最初版本提升 18% 至 34%。這些數字來自文章設定的硬體與工作負載,其他使用情境的表現可能不同。
推薦理由:文章拆解 SGLang 如何從排程、索引器到矩陣乘法逐步降低推論開銷,並以不同硬體與工作負載的實測呈現速度變化。
SGLang v0.5.15 釋出,將 GLM‑5.2 NVFP4 在 Blackwell 上的吞吐量提升至 500+ tok/s/使用者。 - 效能提升:透過 CUDA‑graphable DSA、IndexShare MTP、TopK V2 等最佳化,整體 TPS 增加 11%。
推薦理由:本次更新提升 GLM‑5.2 在 Blackwell 上的吞吐量,並加入多模型支援,對需高效推理的工程師提供可直接落地的最佳化方案。
在代理互動中捕捉 Token ID 以提升強化學習 - Turnstile:用 Rust 實作的代理,位於 Agent harness 與後端之間,即時記錄精確 token ID、log 機率與 loss mask。
推薦理由:本文提出在代理互動中精確捕捉 token ID 的方法,提升 RL 訓練的準確性,為多模態與 MoE 模型的強化學習提供可複用的工具。
Deno v2.9.2 釋出多項桌面與開發者工具改進,包含 Vite/Nuxt HMR 支援、V8 堆疊快照、網路與檔案系統 API 最佳化。 - 桌面功能:自動偵測 React Router、視窗透明度 API、視窗 ID 連結等。
Mewt 是 Trail of Bits 推出的開源變異測試引擎,現已支援 DAML,能量化測試套件缺口。\n\n- 支援 DAML:Mewt 於 2024 年 4 月發布,現在可解析 DAML 程式碼並執行測試。
Mistral AI 釋出 Leanstral 1.5,這是一款採用 Apache-2.0 許可證、擁有 119B 總引數和 6B 啟用引數的開源形式化驗證模型。該模型經過中訓練、監督微調與 CISPO 強化學習,在 miniF2F、PutnamBench 以及 FATE-H 和 FATE-X 等基準測試中取得顯著效能提升,並支援通過 Hugging Face 和免費 API 獲取。
GPT-5.5-Cyber 在一天內完成了 zlib fuzzing lab,證明高階模型能即時自動化安全測試 • 模型與目標 使用 OpenAI 的 GPT-5.5-Cyber 透過 /goal 指令。
推薦理由:此研究顯示 GPT-5.5-Cyber 在一天內完成 zlib fuzzing lab,證明高階模型可自動化安全測試,對開源維護者與攻擊者皆具啟示。