跳到正文

#開源專案

RSS
今日 0 則
9月22日週二
9月21日週一
  1. vLLM Official Blog78

    vLLM 上 Qwen3.8‑2.4T 的 PD 服務最佳化

    vLLM 在 GB300 NVL72 叢集上針對 Qwen3.8‑2.4T 進行 PD 服務,實現每 GPU 5,000 個總 token 吞吐量以及每使用者 180 個生成 token 的低延遲表現。

    推薦理由:本篇詳盡說明如何在 vLLM 上針對 Qwen3.8-2.4T 進行 PD 服務調優,並提供可執行的 srt-slurm 配方,讓讀者能直接套用於其他模型。

9月15日週二
  1. NVIDIA Blog31

    費城兒童醫院如何利用開源 NVIDIA AI 改善心臟護理

    費城兒童醫院利用基於 MONAI 等開源 NVIDIA AI 工具的心臟建模服務,在幾秒鐘內將 CT 掃描和 MRI 等影像轉化為精確的心臟模型,使原本需要四小時的手術準備時間縮短至可用於臨床。目前全美有超過 20 家兒童醫院執行此類心臟建模程式,其中波士頓兒童醫院每年支援約 500 例手術。

9月14日週一
9月13日週日
9月11日週五
  1. Together AI Official Blog81

    Together AI 擴充 Fine‑Tuning 服務:新增多款模型、即時指標與更精細控制

    Together Fine‑Tuning 於 2026 年 9 月 11 日推出新版,支援更多開放權重模型、即時實驗追蹤、專家 LoRA 及早停功能,並降價 30–70%。

    推薦理由:此更新提供更完整的實驗追蹤與成本最佳化,讓使用者能即時調整訓練策略,並以更低成本部署多模型,同時支援專家 LoRA 及早停功能。

9月10日週四
  1. Hugging Face Transformers Releases80

    Hugging Face Transformers v5.17.0 發布:新增多款前沿開源模型與架構支援

    Hugging Face Transformers v5.17.0 正式發布,本次更新擴充多項全新模型架構與重大功能改進,涵蓋多模態、語音識別及混合專家模型支援: - 新模型與架構新增: - HYV4:780B 引數的混合專家(MoE)模型,每 Token 啟動 49B 引數,具備 1M tokens 上下文視窗。

    推薦理由:此版本擴充多項新模型架構與語音多模態支援,開發者可藉此評估最新開源模型的整合與升級選項。

9月9日週三
9月8日週二
  1. vLLM Official Blog76

    vLLM x AgentX:針對實務代理服務的最佳化

    vLLM 在 AgentX 基準上實現高效能與成本優勢,提供可驗證的全棧最佳化方法。 - 總吞吐量:在 DeepSeek V4 Pro 上達到 130 000 tokens / GPU‑sec,MiniMax M3 互動率 376 tokens / sec。

    推薦理由:本文展示 vLLM 在 AgentX 基準上實現高效能與成本優勢,並提供可驗證的全棧最佳化方法,對於需要高吞吐量與低成本的代理服務部署具有實務參考價值。

9月7日週一
9月5日週六
  1. SGLang Releases83

    SGLang v0.5.19 發布:帶來 Beam 搜尋、DeepEP v2 與全方位效能最佳化

    SGLang 正式發布 v0.5.19 版本,此次更新匯集來自 214 位貢獻者的 786 個 PR,全面提升大模型與擴散模型的推論效能、硬體相容性與快取機制。

    推薦理由:原文詳細列出各項核心效能改進與硬體支援,開發者可據此評估升級至新版本對模型推論吞吐量與延遲的實質助益。

8月31日週一
8月24日週一
8月20日週四
  1. Bun Releases64

    Bun v1.4 發布

    Bun v1.4 正式發布,帶來全新的安裝指令與升級方式,並向所有社群貢獻者致謝。 安裝與升級:支援透過 curl、npm 或 PowerShell 快速安裝,並可使用 bun upgrade 升級至 v1.4.0。 開源與授權:維持自由開源並採用 MIT 授權條款,感謝來自社群的多方貢獻與修復。

8月18日週二
  1. LMSYS Org Blog79

    Miles v0.1 推出完整的前沿模型後訓練系統

    訓練 AI 助理使用工具時,每個任務花的時間不同,等待最慢的任務會讓 GPU 閒著。Miles v0.1 把模型生成、訓練和更新權重接成可同時進行的流程;每個任務在自己的隔離環境中執行,完成後就能接著訓練。文章也示範用 64 張 NVIDIA GB300 訓練 GLM-5.2,模型能在終端操作任務中持續學習。這套系統也支援低精度訓練、不同訓練後端和 AMD GPU,讓研究人員與開發者能依裝置和訓練方式調整流程。

    推薦理由:Miles 把生成、訓練與權重更新接成非同步流程,文中以 64 張 GB300 訓練 GLM-5.2 的實例,展示這套做法如何支援大型模型的終端操作訓練。

8月14日週五
  1. vLLM Official Blog74

    vLLM 推出 DSpark 自適應驗證功能

    vLLM 於 2026 年 8 月 14 日正式推出 DSpark 自適應驗證功能,讓 Speculative Decoding 在高併發(至 256)下仍能保持效能。

    推薦理由:DSpark adaptive verification 讓 vLLM 在高併發下保持效能,降低使用者手動調參需求,並自動調整驗證長度以最佳化吞吐量。在多種併發設定下,保持在 Pareto 前沿。

8月10日週一
  1. vLLM Official Blog81

    vLLM 宣佈首發支援 NVIDIA Nemotron 3.5 Lightning 模型

    vLLM 官方部落格宣佈推出對 NVIDIA Nemotron 3.5 Lightning 的 Day-0 支援,這是一款專為全天候AI 助理(Agent)設計的可自訂開源混合式 MoE 模型,並透過多種推論加速技術提升吞吐量。

    推薦理由:vLLM 宣佈首發支援 NVIDIA Nemotron 3.5 Lightning 模型,讀者可透過內文提供的配置指令與架構最佳化方案評估高吞吐量部署。

8月6日週四
8月5日週三
8月4日週二
  1. Microsoft Research86

    Microsoft Research 釋出開源AI 助理框架 Orchard

    Microsoft Research 推出了開源的可擴充套件AI 助理框架 Orchard,其核心是提供可重用環境服務的 Kubernetes 架構 Orchard Env,支援在真實部署 harnesses 中直接訓練AI 助理。專案同步開源了三個領域的訓練方案與資料,其中 Orchard-SWE 在 SWE-bench Verified 上取得了 69.7% 的表現。

    推薦理由:微軟研究院開源了可擴充套件AI 助理框架 Orchard,並提供覆蓋軟體工程、網頁瀏覽和個人助理的完整訓練方案,降低了AI 助理研究的基建門檻。

8月1日週六
  1. Together AI Official Blog83

    Kimi K3:完整開發者指南

    Kimi K3 是 Moonshot AI 旗艦的 2.8‑trillion‑parameter 開源模型,支援 1M 上下文長度與多模態輸入,並提供完整的 API 與工具使用範例。

    推薦理由:Kimi K3 以 2.8T 引數、1M 上下文長度與開源權重,為開發者提供前沿長程編碼與推理能力。

7月31日週五
  1. Microsoft Research84

    微軟釋出 Echoverse:用於計算機操作AI 助理的深度演化環境

    微軟研究團隊推出了 Echoverse,這是一個包含 10 個深度領域世界和 2 個能力世界的訓練環境集合,旨在為計算機操作AI 助理提供高保真、狀態相干且具備可信資料庫驗證的合成訓練世界。

    推薦理由:微軟開源了用於訓練計算機操作AI 助理的深度演化環境 Echoverse,通過提供高保真和可複用的訓練世界,為提升模型在複雜閉環工作流中的泛化能力提供了新途徑。

7月27日週一
  1. LMSYS Org Blog82

    SGLang 和 Miles 在 Kimi K3 發布當天提供推論與強化學習訓練支援

    Kimi K3 的混合架構讓伺服器得同時管理兩種記憶,一種會隨文字增加,另一種則固定大小並持續更新,原有做法不容易直接套用。SGLang 團隊與 Moonshot AI、NVIDIA 合作,讓 SGLang 支援 Kimi K3 推論,Miles 支援強化學習訓練。SGLang 加入共用記憶體池,讓兩種記憶按需求共用空間,也用重播輸入資料的方式減少暫存記憶體。文章也提供平行處理設定與訓練成績:AIME-2024 的答題率在 12 小時內從 43.3% 升到 76.7%。

    推薦理由:Kimi K3 同時採用兩種注意力方式,讓伺服器得分別管理固定狀態與逐字增加的記憶;文章說明 SGLang 如何處理這項難題。

7月23日週四
  1. vLLM Official Blog86

    如何使用 vLLM 在 24 張 NVIDIA B300 部署 GLM-5.2 達到生產級 SLA

    本文記錄 DaoCloud 團隊使用 vLLM 在 24 張 NVIDIA B300 伺服器上部署 GLM-5.2-NVFP4 的完整實務調校過程,透過預先拆分(Prefill/Decode disaggregation)與多項最佳化將 16K 輸入的平均 TPOT 從接近 40 ms 降至 17 ms。

    推薦理由:文章詳述在 24 張 NVIDIA B300 叢集上部署 GLM-5.2 的完整調校歷程與可重現指令,工程團隊可藉此評估生產環境的延遲最佳化策略。

7月21日週二
7月17日週五
7月15日週三
7月14日週二
  1. LMSYS Org Blog60

    SGLang 如何讓 GLM-5.2 在 8 張 B300 上達到每秒 500 多個 token

    長對話會讓 AI 助理每次回覆都得處理大量舊內容,降低互動速度。SGLang 團隊調整 GLM-5.2 的推論流程,包括讓 GPU 工作彼此接上、重用索引結果,並合併部分運算步驟,減少等待和多餘工作。在 OpenHands 多輪程式開發測試中,GLM-5.2 每輪約有 80K token 的輸入;團隊表示,8 張 B300 上每秒可處理 500 多個輸出 token,單人互動速度比最初版本提升 18% 至 34%。這些數字來自文章設定的硬體與工作負載,其他使用情境的表現可能不同。

    推薦理由:文章拆解 SGLang 如何從排程、索引器到矩陣乘法逐步降低推論開銷,並以不同硬體與工作負載的實測呈現速度變化。

7月11日週六
  1. SGLang Releases79

    SGLang v0.5.15 發布,提升 GLM‑5.2 推理效能與多模型支援

    SGLang v0.5.15 釋出,將 GLM‑5.2 NVFP4 在 Blackwell 上的吞吐量提升至 500+ tok/s/使用者。 - 效能提升:透過 CUDA‑graphable DSA、IndexShare MTP、TopK V2 等最佳化,整體 TPS 增加 11%。

    推薦理由:本次更新提升 GLM‑5.2 在 Blackwell 上的吞吐量,並加入多模型支援,對需高效推理的工程師提供可直接落地的最佳化方案。

7月9日週四
  1. Amazon Science80

    在代理互動中捕捉 Token ID 以提升強化學習

    在代理互動中捕捉 Token ID 以提升強化學習 - Turnstile:用 Rust 實作的代理,位於 Agent harness 與後端之間,即時記錄精確 token ID、log 機率與 loss mask。

    推薦理由:本文提出在代理互動中精確捕捉 token ID 的方法,提升 RL 訓練的準確性,為多模態與 MoE 模型的強化學習提供可複用的工具。

7月8日週三
7月2日週四
  1. Mistral AI64

    Mistral AI 釋出 Leanstral 1.5 形式化推理模型

    Mistral AI 釋出 Leanstral 1.5,這是一款採用 Apache-2.0 許可證、擁有 119B 總引數和 6B 啟用引數的開源形式化驗證模型。該模型經過中訓練、監督微調與 CISPO 強化學習,在 miniF2F、PutnamBench 以及 FATE-H 和 FATE-X 等基準測試中取得顯著效能提升,並支援通過 Hugging Face 和免費 API 獲取。

  2. Trail of Bits Blog75

    GPT-5.5-Cyber 在一天內構建 zlib fuzzing lab

    GPT-5.5-Cyber 在一天內完成了 zlib fuzzing lab,證明高階模型能即時自動化安全測試 • 模型與目標 使用 OpenAI 的 GPT-5.5-Cyber 透過 /goal 指令。

    推薦理由:此研究顯示 GPT-5.5-Cyber 在一天內完成 zlib fuzzing lab,證明高階模型可自動化安全測試,對開源維護者與攻擊者皆具啟示。