跳到正文

#開源生態

RSS
今日 0 則
9月15日週二
9月11日週五
9月10日週四
  1. vLLM Official Blog79

    vLLM 推出多層 KV 快取分層,提升 GPU 記憶體利用率與多使用者吞吐量

    vLLM 於 2026 年 9 月 10 日發布的 Tiered KV Cache Offloading 方案,將長上下文模型的 KV 快取分層到主機記憶體、檔案系統、物件儲存與遠端節點,避免重複預填。

    推薦理由:vLLM 透過多層 KV 快取分層,降低 GPU 記憶體壓力,提升多使用者會話吞吐,並支援跨節點共享與自動熱啟動,讀者可直接應用於大模型部署。

9月8日週二
  1. Mistral AI78

    Mistral 以30億歐元融資,推動主權開放權重 AI 成為技術前沿

    Mistral AI 近日完成 30 億歐元 Series D 融資,後市估值逾 210 億歐元,創歐洲科技公司最大融資紀錄。融資由三星電子領投,Scaleup Europe Fund、PSG Equity 等跟投,資金將用於擴充套件前沿研究、提升訓練算力、加速商業化與國際佈局。Mistral 目前已在 20 個國家運營,支援 125 家全球企業的關鍵 AI 轉型。

    推薦理由:Mistral 通過 30 億歐元融資,進一步加速其全棧開放權重 AI 的研發與商業化,凸顯企業對自主 AI 解決方案的需求增長。

9月7日週一
9月6日週日
9月3日週四
  1. GitHub Engineering77

    GitHub Copilot:如何在不犧牲任務品質的前提下提升 AI 編碼成本效益

    GitHub Copilot 透過四項最佳化,降低 AI 編碼成本而不影響品質,讓開發者可直接應用於工作流程。 - 核心變更:保留關鍵上下文、移除無效格式、縮短指令、直接交付背景工作,避免額外工具呼叫。

    推薦理由:本文說明 Copilot 透過四項最佳化,降低 AI 編碼成本而不影響品質,對開發者可直接應用於工作流程,並可減少模型呼叫,提升開發效率。

9月2日週三
9月1日週二
  1. Python Official Blog81

    Python 3.15.0 RC2 正式發布

    Python 3.15.0 RC2 正式發布,帶來多項新功能與效能提升,開發者可即時測試並為最終版做準備。 - 核心發布:Python 3.15.0 RC2 是最終候選版,包含約 144 個錯誤修正與 76 位貢獻者的改進。

    推薦理由:Python 3.15 RC2 帶來多項新功能與效能提升,開發者可即時測試並為最終版做準備。

  2. Google Research63

    Google Research 釋出 TimesFM-3:支援多變數預測的零樣本時間序列基座模型

    Google Research 推出 TimesFM-3,這是一個擁有 3.3 億引數、原生支援多變數預測的零樣本時間序列基座模型。該模型採用解碼器架構與交替注意力機制,支援單次前向傳遞生成整個預測區間,在 Gift-Eval、FEV-Bench 和 Time 等基準測試中表現優於其他預訓練基座模型,目前已在 GitHub 和 Hugging Face 上線。

8月31日週一
8月27日週四
  1. LMSYS Org Blog74

    SGLang Diffusion 如何加速 MiniMax-H3 影片生成,最快達 6.24 倍

    生成高畫質影片要反覆計算很多次,想加快速度,常得在畫面相似度上有所取捨。SGLang Diffusion 團隊在 8 張 NVIDIA H200 顯示卡上測試 MiniMax-H3,並和 Diffusers 比較;在不近似計算的設定下,速度快約 1.85 到 1.95 倍。加入重用前面計算結果的 Cache-DiT,以及略過部分注意力運算的 SubBlock 後,最快達 6.24 倍,但部分 T2VA 影片的 SSIM 降到 0.76 至 0.78。若更重視畫質,單用 Cache-DiT 可達 2.99 倍,SSIM 為 0.90 至 0.92。測試固定提示詞、種子和輸出設定,結果顯示加速幅度會隨影片型別和設定改變。

    推薦理由:這組實測在固定影片生成條件下比較速度與畫質,呈現不同加速設定的取捨,方便估算可接受的畫質變化。

8月26日週三
  1. Hugging Face Blog77

    使用 Sentence Transformers 訓練和微調多向量嵌入模型

    Sentence Transformers v6.0 版本引入了多向量檢索模型和完整的訓練方法。作者以醫療檢索領域為例,展示瞭如何在一塊消費級 GPU 上微調出一個超越各大通用檢索模型的領域專用模型。微調方法涵蓋了模型選擇、資料集格式、損失函式、訓練引數以及評估器等核心元件。

    推薦理由:文章給出了多向量嵌入模型的完整訓練與微調步驟,讀者可以據此在特定領域獲得超越通用檢索模型的效果。

  2. LMSYS Org Blog78

    SGLang 在發布當天支援千問 Qwen3.8-Flash-Next

    長文本會增加模型處理內容和讀取記憶體的負擔。千問團隊推出 Qwen3.8-Flash-Next,SGLang 團隊也在發布當天加入支援。這個多模態模型使用混合注意力,只讓部分層仔細檢視長上下文,並用稀疏注意力挑出重要片段;另一種嵌入資料則放在主機記憶體,需要時再讀取,以減少 GPU 記憶體用量。文章也介紹 SGLang 對推論和記憶體管理所做的調整,並回報特定硬體設定下的速度與記憶體測試結果。

    推薦理由:文章整理 SGLang 如何在模型發布當天支援 Qwen3.8-Flash-Next,並說明長文本注意力、GPU 記憶體使用與推論速度的取捨。

8月25日週二
8月24日週一
8月23日週日
8月21日週五
  1. LMSYS Org Blog83

    SGLang 推出 Weight Cache Daemon,讓模型服務更快重新啟動

    大型模型服務重新啟動時,光是從硬碟載入權重就可能要等好幾分鐘。SGLang 的 Weight Cache Daemon 會把處理好的模型權重留在 GPU 記憶體裡;引擎重啟時,可直接共用這些資料,省去重新讀取和處理權重的時間。以 Ling-2.6-1T FP8 為例,權過載入時間從約 495 秒降到約 0.63 秒,完整啟動時間則從 8.8 分鐘降到 0.528 分鐘。這項功能目前已驗證未量化與區塊式 FP8,其他量化方式仍需加入支援並完成驗證。

    推薦理由:原文以 Ling-2.6-1T FP8 的實測比較,說明共享 GPU 權重如何縮短 SGLang 重啟時間,也交代目前支援的量化方式有限。

8月20日週四
8月18日週二
8月17日週一
  1. LMSYS Org Blog78

    SGLang 如何用 CUDA Graph 降低推論啟動開銷

    大型語言模型推論會連續啟動許多 GPU 操作,反覆由 CPU 發出指令可能拖慢速度。SGLang 團隊整理了 CUDA Graph 的做法,並把執行流程和捕捉方式拆開,讓預填充、解碼等工作能選用不同策略。文中重點介紹 BCG:遇到不適合錄進圖形的操作時,先讓它照常執行,再接著捕捉後面的工作,因此不必先用編譯器分析整個流程。團隊測得,單看預填充速度,BCG 比直接執行快 1.70 倍;完整捕捉快 1.93 倍,但目前仍屬實驗功能,主要支援 FlashAttention(fa4)和 FlashInfer。

    推薦理由:文章比較三種 CUDA Graph 預填充捕捉方式,說明 BCG 如何減少編譯等待與重複記憶體佔用,並交代完整捕捉目前的適用限制。

8月14日週五
  1. Hugging Face Blog65

    使用 Strands Agents、LeRobot 與 Hugging Face Storage Buckets 實現錄製、訓練與部署一體化

    本文介紹了 Strands Robots 中的流式資料閉環方案,展示瞭如何通過自然語言指令錄製機器人示範資料、將其同步至 Hugging Face Storage Buckets 並進行基於 Xet 的位元組級去重。隨後,開發者可以直接從 Hub 流式讀取資料集來訓練策略,並將訓練好的檢查點重新部署到硬體上。

8月13日週四
  1. Hugging Face Blog74

    Hugging Face 部落格:復現 2,200 篇 ICML 論文的經驗與發現

    Hugging Face 舉辦了一場使用編碼AI 助理逐條復現 ICML 2026 論文的駭客松,1,221 名參與者在 19 天內釋出了 6,816 份日誌並嘗試復現了 2,226 篇論文。

    推薦理由:文章公佈了大規模AI 助理復現學術論文的成果與發現,讀者可以從中瞭解自動化復現對檢驗科研質量的實際效果與侷限。