vLLM 如何使用 GB300 NVL72 為 Kimi-K3 訓練高速 DSpark
vLLM Project 擴充 Speculators 與 Mooncake 隱藏狀態傳輸流程,為 Kimi K3 訓練 DSpark 草稿模型,並將其整合至 vLLM 推論服務。
推薦理由:文章拆解 MooncakeHiddenStatesConnector 如何支援跨節點傳送隱藏狀態,並以 Kimi K3 的訓練與推論資料呈現 DSpark 的效能變化。
vLLM Project 擴充 Speculators 與 Mooncake 隱藏狀態傳輸流程,為 Kimi K3 訓練 DSpark 草稿模型,並將其整合至 vLLM 推論服務。
推薦理由:文章拆解 MooncakeHiddenStatesConnector 如何支援跨節點傳送隱藏狀態,並以 Kimi K3 的訓練與推論資料呈現 DSpark 的效能變化。
summary_zh: - **Featured 的使用者每月透過 Vercel 傳送超過 100,000 筆媒體投遞,並在一年內傳送超過 1 億封 Help A Reporter Out (HARO) 電子郵件。
Microsoft 正式發布 ONNX Runtime v1.30.0,大幅擴充套件生成式 AI 推理能力、提升 CPU 與 GPU 效能,並新增 Go 語言繫結與強化執行期可靠性。
MiniMax M3 在 AMD Instinct MI355X 上完成一系列最佳化,吞吐量從 109.1 到 342.4 tokens/s/GPU(32 輸入併發)提升 3.14 倍,TTFT 下降 54%。
vLLM 於 2026 年 9 月 10 日發布的 Tiered KV Cache Offloading 方案,將長上下文模型的 KV 快取分層到主機記憶體、檔案系統、物件儲存與遠端節點,避免重複預填。
推薦理由:vLLM 透過多層 KV 快取分層,降低 GPU 記憶體壓力,提升多使用者會話吞吐,並支援跨節點共享與自動熱啟動,讀者可直接應用於大模型部署。
Graidio 團隊釋出了 Workflow1111,這是一個基於 Gradio Workflow 重構 AUTOMATIC1111 功能集的單工作流畫布,包含由 73 個節點和 11 條媒體管線組成的圖表。
Mistral AI 近日完成 30 億歐元 Series D 融資,後市估值逾 210 億歐元,創歐洲科技公司最大融資紀錄。融資由三星電子領投,Scaleup Europe Fund、PSG Equity 等跟投,資金將用於擴充套件前沿研究、提升訓練算力、加速商業化與國際佈局。Mistral 目前已在 20 個國家運營,支援 125 家全球企業的關鍵 AI 轉型。
推薦理由:Mistral 通過 30 億歐元融資,進一步加速其全棧開放權重 AI 的研發與商業化,凸顯企業對自主 AI 解決方案的需求增長。
GrapheneOS 正在改造預設應用並計畫自研開源 RCS 客戶端,面臨 Google 生態與授權壁壘。 - GrapheneOS:重新設計預設 App,推出安全剪貼簿功能,計畫開發自研 RCS 客戶端。
Go 1.24 以 Swiss Tables 取代傳統 map,提升記憶體使用效率;同時開發者對 AI 產出的粗製文本表現出強烈不滿。 - Swiss Tables:Go 1.24 內建 map 使用 Swiss Tables,改善查詢效能與記憶體佔用。
Hugging Face 團隊推出了 NeoMME,這是一個包含 260M 和 800M 引數的多語言多模態基礎編碼器系列。該模型不使用單獨的視覺塔或因果語言模型,而是通過單個雙向 Transformer 同時處理文本 token 和原始影像塊。
作者基於開源方案復現了讓大語言模型通過編寫 JavaScript 程式碼繪製水彩畫的強化學習流程,並公開了參考影像池、強化學習環境、訓練指令碼及訓練好的模型。文章對比了不同美學獎勵權重配置下的多項實驗結果,詳細記錄了基礎設施搭建及訓練調優過程中的發現。
GitHub Copilot 透過四項最佳化,降低 AI 編碼成本而不影響品質,讓開發者可直接應用於工作流程。 - 核心變更:保留關鍵上下文、移除無效格式、縮短指令、直接交付背景工作,避免額外工具呼叫。
推薦理由:本文說明 Copilot 透過四項最佳化,降低 AI 編碼成本而不影響品質,對開發者可直接應用於工作流程,並可減少模型呼叫,提升開發效率。
Google Research 聯合 NASA JPL 推出了 MAPL-EMIT 深度學習框架,利用 Swin-S transformer 架構處理高光譜輻射測量資料,實現了甲烷羽流的自動檢測、定量增強預測和源頭定位。
MiniMax H3 在 vLLM-Omni 上的全系統最佳化與 FastVideo 的 FastH3 低延遲即時服務。文章詳細說明從全系統最佳化到 FastH3 的四步驟,並提供實際測試結果。
Python 3.15.0 RC2 正式發布,帶來多項新功能與效能提升,開發者可即時測試並為最終版做準備。 - 核心發布:Python 3.15.0 RC2 是最終候選版,包含約 144 個錯誤修正與 76 位貢獻者的改進。
推薦理由:Python 3.15 RC2 帶來多項新功能與效能提升,開發者可即時測試並為最終版做準備。
Google Research 推出 TimesFM-3,這是一個擁有 3.3 億引數、原生支援多變數預測的零樣本時間序列基座模型。該模型採用解碼器架構與交替注意力機制,支援單次前向傳遞生成整個預測區間,在 Gift-Eval、FEV-Bench 和 Time 等基準測試中表現優於其他預訓練基座模型,目前已在 GitHub 和 Hugging Face 上線。
Microsoft Research 釋出了 GigaPath-Flash 與 GigaTIME-Flash 兩款高效病理基礎模型。GigaPath-Flash 採用 22M 引數 ViT‑S tile encoder 與 21M 引數 LongNet slide encoder,推理成本比原版低 50 倍,效能僅落後 3%。
OpenAI Triton 釋出了 gfx950 教程 v2.1,修正了 warp-pipeline barrier 相容性問題,並加入了對 out-of-tree LLIR‑scheduler 與 amdgcnas 外掛的原生支援。
Ollama 推出透明 per‑token 定價與每月使用額度,讓使用者可精準掌握成本。 - 新方案:Pro $20/月含 $60 使用額度;Max $100/月含 $300;Team $500/月含 $1,000 共享額度;免費方案提供少量使用額度。
生成高畫質影片要反覆計算很多次,想加快速度,常得在畫面相似度上有所取捨。SGLang Diffusion 團隊在 8 張 NVIDIA H200 顯示卡上測試 MiniMax-H3,並和 Diffusers 比較;在不近似計算的設定下,速度快約 1.85 到 1.95 倍。加入重用前面計算結果的 Cache-DiT,以及略過部分注意力運算的 SubBlock 後,最快達 6.24 倍,但部分 T2VA 影片的 SSIM 降到 0.76 至 0.78。若更重視畫質,單用 Cache-DiT 可達 2.99 倍,SSIM 為 0.90 至 0.92。測試固定提示詞、種子和輸出設定,結果顯示加速幅度會隨影片型別和設定改變。
推薦理由:這組實測在固定影片生成條件下比較速度與畫質,呈現不同加速設定的取捨,方便估算可接受的畫質變化。
Sentence Transformers v6.0 版本引入了多向量檢索模型和完整的訓練方法。作者以醫療檢索領域為例,展示瞭如何在一塊消費級 GPU 上微調出一個超越各大通用檢索模型的領域專用模型。微調方法涵蓋了模型選擇、資料集格式、損失函式、訓練引數以及評估器等核心元件。
推薦理由:文章給出了多向量嵌入模型的完整訓練與微調步驟,讀者可以據此在特定領域獲得超越通用檢索模型的效果。
長文本會增加模型處理內容和讀取記憶體的負擔。千問團隊推出 Qwen3.8-Flash-Next,SGLang 團隊也在發布當天加入支援。這個多模態模型使用混合注意力,只讓部分層仔細檢視長上下文,並用稀疏注意力挑出重要片段;另一種嵌入資料則放在主機記憶體,需要時再讀取,以減少 GPU 記憶體用量。文章也介紹 SGLang 對推論和記憶體管理所做的調整,並回報特定硬體設定下的速度與記憶體測試結果。
推薦理由:文章整理 SGLang 如何在模型發布當天支援 Qwen3.8-Flash-Next,並說明長文本注意力、GPU 記憶體使用與推論速度的取捨。
Hugging Face 推出的 Quantization-Aware Healing(QAH)方法,讓經結構壓縮與量化的 4-bit 模型在 9 項 benchmark 中的 7 項超越了全精度原版。
SGLang v0.5.18 正式發布,包含來自 212 位貢獻者的 710 個 Pull Request,針對多模態、擴散模型、推論效能及硬體相容性進行全面升級。
導語:CPython 於 2026 年 8 月正式將 RISC‑V 加入 tier 3 平臺支援,開啟 Python 在開源硬體上的全新可能。 - 支援狀況:RISC‑V 現已成為 CPython 官方 tier 3 平臺,意味可在 RISC‑V 硬體上直接編譯與執行。
核心概述:vLLM 官方深入探討並實測了在 AMD Instinct MI300X 與 MI355X GPU(透過 ROCm 平臺)上,透過推測解碼(Speculative Decoding)機制來提升大型語言模型(LLM)推論吞吐量的表現與調校方式。
summary_zh: SOP‑Bench 是一套公開的基準,測試 AI 代理在真實商業程式(SOP)上的執行能力,並以工具呼叫與真實答案做評分。 - 範圍:涵蓋 12 個行業(醫療、危險品分類、客服、內容審核、金融合規、倉庫檢查等),共 2,000+ 任務。
summary_zh: GLM‑5.3 與 GPT‑5.6 Sol 在 DeepSWE 基準上進行對比,顯示兩者在一次性成功率、成本、重試表現與路由策略上的差異。
Hugging Face 宣佈重構 Papers with Code 搜尋引擎,採用混合檢索系統結合 PostgreSQL、pgvector 與 reciprocal rank fusion(RRF)演算法,提升論文檢索效果。
Liquid AI 針對 LFM2.5 模型家族釋出了 DSpark 草稿模型檢查點,通過引入推測解碼路徑,在不改變輸出質量的情況下實現了最高 3.2 倍的吞吐量提升。
大型模型服務重新啟動時,光是從硬碟載入權重就可能要等好幾分鐘。SGLang 的 Weight Cache Daemon 會把處理好的模型權重留在 GPU 記憶體裡;引擎重啟時,可直接共用這些資料,省去重新讀取和處理權重的時間。以 Ling-2.6-1T FP8 為例,權過載入時間從約 495 秒降到約 0.63 秒,完整啟動時間則從 8.8 分鐘降到 0.528 分鐘。這項功能目前已驗證未量化與區塊式 FP8,其他量化方式仍需加入支援並完成驗證。
推薦理由:原文以 Ling-2.6-1T FP8 的實測比較,說明共享 GPU 權重如何縮短 SGLang 重啟時間,也交代目前支援的量化方式有限。
Diffusers 0.40.0 釋出多項新管線、張量並行支援與 CLI 改進,為開發者帶來更高效的多模態推論與操作體驗。 - 新管線:MiniMax‑H3、MiniMax Music 3、Wan Animate 2、LTX‑2.5 等,支援影像、音訊、影片同步生成。
VeRL-Omni v0.2.0:更快的擴散 RL 與穩定的 Omni 訓練 summary_zh: VeRL-Omni v0.2.0 釋出更快的擴散 RL 與穩定的 Omni 訓練功能。
Sentence Transformers 釋出 v6.0 版本,首次引入第四種模型型別 MultiVectorEncoder,用於支援 ColBERT 風格的後期互動檢索。該版本允許開發者通過熟悉的 API 直接載入各類 PyLate、ColBERT 以及 ColPali 視覺文件檢索模型的檢查點,無需經過複雜的格式轉換。
vLLM-Omni 0.27.0 版加入分散式層級解除安裝 (DLO) 與 AllGather,可讓 200B+ DiT 模型跨多個 NPU 或 GPU 以最小主機記憶體執行。
推薦理由:此文詳細說明如何利用 vLLM-Omni 的分散式層級解除安裝,讀者可快速部署 200B+ DiT 模型並評估效能。
大型語言模型推論會連續啟動許多 GPU 操作,反覆由 CPU 發出指令可能拖慢速度。SGLang 團隊整理了 CUDA Graph 的做法,並把執行流程和捕捉方式拆開,讓預填充、解碼等工作能選用不同策略。文中重點介紹 BCG:遇到不適合錄進圖形的操作時,先讓它照常執行,再接著捕捉後面的工作,因此不必先用編譯器分析整個流程。團隊測得,單看預填充速度,BCG 比直接執行快 1.70 倍;完整捕捉快 1.93 倍,但目前仍屬實驗功能,主要支援 FlashAttention(fa4)和 FlashInfer。
推薦理由:文章比較三種 CUDA Graph 預填充捕捉方式,說明 BCG 如何減少編譯等待與重複記憶體佔用,並交代完整捕捉目前的適用限制。
Hugging Face 釋出了 2026 年夏季開源模型現狀報告,梳理了從 1 月到 8 月期間平臺上的模型規模、下載與點贊分化、開源協議、衍生生態以及AI 助理流量變化。報告指出中國實驗室在前端模型規模上領先,Qwen 成為社群衍生基石,同時端側量化和AI 助理呼叫正在重塑平臺生態。
本文介紹了 Strands Robots 中的流式資料閉環方案,展示瞭如何通過自然語言指令錄製機器人示範資料、將其同步至 Hugging Face Storage Buckets 並進行基於 Xet 的位元組級去重。隨後,開發者可以直接從 Hub 流式讀取資料集來訓練策略,並將訓練好的檢查點重新部署到硬體上。
Hugging Face 舉辦了一場使用編碼AI 助理逐條復現 ICML 2026 論文的駭客松,1,221 名參與者在 19 天內釋出了 6,816 份日誌並嘗試復現了 2,226 篇論文。
推薦理由:文章公佈了大規模AI 助理復現學術論文的成果與發現,讀者可以從中瞭解自動化復現對檢驗科研質量的實際效果與侷限。
OlmoEarth Studio 推出自定義嵌入向量匯出功能,支援使用者從其開源地球觀測基礎模型計算並匯出緊湊的數值表示。該功能允許通過介面或 API 按需生成輕量級 Cloud-Optimized GeoTIFFs,適用於相似性檢索、少樣本分割、變化檢測和無監督探索等下游任務。