跳到正文

#開源專案

RSS
今日 0 則
10月12日週一
  1. NVIDIA Blog79

    OCP 全球峰會:在生態系統採用之際,NVIDIA 開放 Vera Rubin 架構協助全球擴充套件 AI 工廠

    NVIDIA 在 OCP 全球峰會上公佈了開放式 Vera Rubin 架構與多項開源標準,為 AI 工廠提供可擴充、節能的基礎設計。 - Vera Rubin MGX 1.2 版擴充了盲接液冷、5,000A 電源槽與 19 吋裝置支援,支援最高 250kW 的機架部署。

    推薦理由:NVIDIA 透過開放 Vera Rubin 架構與標準,為 AI 工廠提供可擴充、節能的基礎,讀者可瞭解如何整合此開源設計於自家部署。

  2. vLLM Official Blog74

    vLLM 推出雙向 KV 傳輸以改善多輪代理工作負載的 TTFT

    vLLM 官方部落格介紹了一項雙向 KV 快取傳輸機制,旨在解決多輪對話與代理工作負載中,預填(prefill)節點因重複計算上下文而導致首字延遲(TTFT)升高的問題。

    推薦理由:文章詳細說明如何在 vLLM 中配置雙向 KV 傳輸以降低多輪對話延遲,讀者可藉此瞭解如何減少重複的 prefill 計算並最佳化推理效能。

10月11日週日
10月10日週六
10月9日週五
  1. vLLM Official Blog80

    vLLM 在 NVIDIA Vera Rubin NVL72 上實現 7.8 倍吞吐提升

    vLLM 現已支援 NVIDIA Vera Rubin NVL72,透過 Rubin‑tuned kernels 與 locality‑domain 技術,單張 GPU 的推理吞吐率比 GB200 NVL72 高達 7.8 倍,在 AgentX 端點與 MLPerf VLM 測試中分別提升 5.18 倍 與 3.7 倍。

    推薦理由:本篇展示 vLLM 在新一代 NVIDIA Vera Rubin NVL72 上的 7.8 倍吞吐提升,並說明如何利用 Rubin‑tuned kernel 與 locality‑domain 技術達成高效代理推理,為部署高效代理模型提供實際效能參考。

10月8日週四
  1. Microsoft Research76

    Agent Lightning v1.0:3,500 行輕量化 Agentic RL 框架,支援實際 Harness 訓練

    Agent Lightning v1.0 是 Microsoft Research Asia 發布的一個 3,500 行的輕量化 Agentic RL 框架,允許在實際 Harness 上直接進行強化學習。

    推薦理由:本框架以 3,500 行程式碼實現實際 harness 的 RL 訓練,並在 SWE-bench Verified 上以 6,000 個樣本提升 14.6% Pass@1,展示了高效、可擴充套件的訓練方法。

10月7日週三
  1. vLLM Official Blog86

    DeepSeek‑V4.1‑Flash 在 vLLM 上自發布日起實現 5 倍 Agentic 推理吞吐量

    DeepSeek‑V4.1‑Flash 與 vLLM 結合後,三週內在 AgentX benchmark 上達到 5.3 倍 的吞吐量提升,低併發下 1.9 倍速度。

    推薦理由:本文說明結合 DeepSeek‑V4.1‑Flash 與 vLLM 的 SWA bounded replay、CUDA graphs 等最佳化技巧,並展示實際 TTFT 減少 30–40% 的效果,幫助讀者提升推理效能。

10月6日週二
10月5日週一
  1. DuckDB Official Blog72

    使用 Java 表函式匯入資料至 DuckDB

    DuckDB 使用 Java 表函式匯入資料,可將 48 萬筆複雜檔案在 1 分 27 秒內完成匯入,並支援 1 秒內執行分析查詢。 - 匯入方式:三種實驗—JDBC executeBatch、Appender、Table Function;Table Function 最快 1 分 27 秒。

    推薦理由:示範三種 Java 匯入方式,最終表格函式達 1 分 27 秒,適用於大規模資料管線。

10月4日週日
10月3日週六
10月1日週四
  1. Hugging Face Blog75

    推出 Olmo-core 3:面向大規模 MoE 的開放式可擴充套件訓練基礎設施

    Olmo-core 3 是 Allen AI 與 Hugging Face 合作發布的一套開放式混合專家(MoE)訓練框架,支援超過 1 萬億引數規模,並在八張 NVIDIA B300 GPU 上實現 52,000 tokens/s 的吞吐量,較舊版提升約 2.7 倍。

    推薦理由:Olmo-core 3 通過多種並行與低精度最佳化,使 MoE 訓練吞吐量提升 2.7 倍,支援 1 萬億引數規模,為學術與小型實驗室提供可行的高效訓練方案。

9月30日週三
  1. Python Official Blog44

    Python 語言峰會 2026 Lightning Talks

    summary_zh: Mark Shannon 提議破壞 Python 穩定 ABI,以利用 32 個空餘位改進垃圾回收與分配速度,提升效能。 - ABI 變更:Python 3.12 以後,ob_refcnt 被視為 32 位整數,仍有 32 個可用位。

9月29日週二
  1. vLLM Official Blog86

    vLLM 分離式提供實務指南:拆分預填與解碼

    本文詳述如何在 vLLM v0.31.0 或更新版本中實作分離式推論架構,將提示詞預填(prefill)、權杖生成(decode)與 CPU 端文書處理拆分執行以提升系統 goodput。

    推薦理由:本文介紹 vLLM 拆分預填與解碼的實務架構與配置方式,讀者可評估是否透過此架構改善高併發下的長提示詞延遲。

9月28日週一
  1. Hugging Face Blog83

    Hcompany 釋出 Holo4 系列AI 助理模型與 Holotron4 Nano

    Hcompany 釋出全新AI 助理模型系列 Holo4,包含 27B dense 與 35B-A3B Mixture of Experts 兩個尺寸,並同步推出更新版 Holotron4 Nano。該系列模型支援 GUI、程式碼、MCP 與 API 等多種互動介面,在 OSWorld 2.0 等基準測試中表現優異,相關權重與軌跡資料已在 Hugging Face 開源。

    推薦理由:文章公佈了新模型的大小、介面和基準測試表現,讀者可以據此瞭解其在複雜工作流中的表現。

9月23日週三