跳到正文

#開源生態

RSS
今日 0 則
10月21日週三
  1. Hugging Face Blog82

    Hugging Face 推出 TorchTPU:PyTorch 原生支援 TPU

    TorchTPU 讓 PyTorch 直接在 TPU 上執行,省去 torch_xla 與 JAX 的中介層。 - 核心功能:新增 TPU 作為 PyTorch 後端,支援 eager 與 torch.compile,提供 Pallas kernels、分散式訓練。

    推薦理由:TorchTPU 讓 PyTorch 直接在 TPU 上執行,省去 torch_xla 與 JAX 的中介層,提升開發效率與推理速度。

  2. LMSYS Org Blog82

    SGLang 如何在服務不中斷時,替 MoE 模型加入 GPU

    大型 MoE 模型流量增加時,常見做法是多開一份完整服務,或停機重啟來增加 GPU;兩種方式都會帶來額外成本或等待時間。這篇文章說明 SGLang 如何讓運作中的服務逐步加入 GPU,例如把 20 張 GPU 擴到 24 張,準備新 GPU 時原本的服務仍可工作。擴充前要先設定可達到的 GPU 上限,預留的通訊記憶體越多,留給 KV cache 的空間就越少。文中在 8 張 H100 上比較,擴充後首次完成請求的時間比重啟快 5.3 到 8.2 倍;轉換期間則會暫停傳送 token。

    推薦理由:文章說明 SGLang 如何在服務持續運作時分批加入 GPU,並比較轉換時間與輸出速度,可用來評估大型 MoE 部署的擴充方式。

10月20日週二
  1. Hugging Face Blog73

    AnyLanguageModel 1.0:一年後於 Apple 平臺推出本地模型功能

    AnyLanguageModel 1.0 於 Apple 平臺推出,提供單一 API 同時支援本地與雲端模型,降低實作複雜度。 - API 相容性:將 import FoundationModels 換成 import AnyLanguageModel,即可使用系統模型、llama.cpp、MLX、Core ML 等。

    推薦理由:AnyLanguageModel 1.0 讓開發者可在 Apple 平臺以單一 API 同時使用本地與雲端模型,降低實作複雜度。

  2. Hacker News (official RSS)47

    **title_zh:**

    Abliterated Models 如何讓你被攻擊 summary_zh: Abliterated Models 讓你被攻擊。 - 背後機制:通過「abliteration」將模型中拒絕回答的權重減去,讓模型在安全調校時會回答本應拒絕的請求。

  3. vLLM Official Blog73

    vLLM 推出 TorchTPU 後端,讓既有模型可部署於 Google Cloud TPU

    vLLM 推出 TorchTPU 後端,讓多數既有 vLLM 模型可在 Google Cloud TPU 上執行,無須修改模型程式碼。 - 服務介面:沿用 vLLM 的 CLI、OpenAI 相容伺服器、排程器與 KV cache 管理器,並支援六種平行化維度。

    推薦理由:vLLM TorchTPU 延用既有模型程式碼與服務介面,呈現 TPU 後端如何減少模型移植工作並保留原有部署流程。

  4. AWS Machine Learning Blog77

    vLLM 中雙向 KV 轉移提升多輪 Agentic 工作負載的 TTFT

    vLLM 在 1P1D 部署下,透過雙向 KV 轉移將 Qwen3‑32B 的 TTFT 降至 1.6 倍、GLM‑5‑FP8 降至 3.3 倍。 - TTFT:Qwen3‑32B 由 158 ms → 460 ms(長 prompt 24k),GLM‑5‑FP8 由 500 ms → 702 ms(20k)。

    推薦理由:此研究證明雙向 KV 轉移能將多輪對話的 TTFT 降低 1.6x–3.3x,對需要高效推理的 agentic 應用具有實際效益。

10月19日週一
  1. SGLang Releases78

    SGLang v0.5.22 釋出多模型支援與效能提升

    SGLang v0.5.22 釋出,新增多模型支援、效能最佳化與跨平臺功能。 - 新模型:DeepSeek‑V4.1、Qwen3.8‑Flash‑Next、GLM‑5.3‑Flash、MiMo‑V2.6‑Pro、EmbeddingGemma 2、LLaDA2.2、HunyuanImage‑3.0‑Instruct 等。

    推薦理由:本次更新大幅提升多平臺推理吞吐量並加入多模型支援,開發者可直接使用新功能加速多模態應用,並在多種硬體上獲得顯著效能提升。

10月18日週日
10月17日週六
10月16日週五
  1. AWS Machine Learning Blog74

    Reflection Beam:AWS 推出可開源權重的 Agentic Coding 模型

    Reflection Beam 是一款 501B 引數、23B 活躍引數的開源權重模型,針對 Agentic Coding 與多步驟工作流程設計。 - 核心規格:501B 總引數、23B 活躍引數,效能可達 1M token 上下文長度;提供 BF16、FP8、NVFP4 三種檢查點格式。

    推薦理由:Reflection Beam 提供 501B 引數、23B 活躍引數的開源權重模型,開發者可在 SageMaker JumpStart 或 HyperPod 直接部署,支援多步驟程式編寫、工具呼叫與中間結果處理,為 agentic coding 提供完整堆疊,並可透過 SGLang 或 vLLM 進行自訂執行時引數調整,滿足不同硬體與效能需求。

  2. Hugging Face Blog74

    2.8 兆 token 印度語言預訓練與開放資料生成管線

    本研究釋出一份 2.8 兆 token 的 Indic 語料庫與可重複使用的 GPU 加速資料生成管線,並說明其在 Nemotron 3.5 Super VL 上的效能提升。

    推薦理由:提供了可複製的 2.8 兆 token 語料與 GPU 加速生成流程,可幫助研究者構建更強的印度語言模型,並展示其在多項 Indic 評測中的顯著提升。

  3. Hugging Face Blog72

    Granite Switch 4.1:一端點整合聊天、決策與語音功能

    Granite Switch 4.1 透過整合決策、語音與聊天功能,提供單一端點多工能力。 - Granite‑Switch‑4.1‑8B / 30B:內建 Decision aLoRA、Guardian aLoRA 及 Granite‑Speech‑5.0‑Turbo‑CTC(OpenASR 榜首 ASR),可即時切換對話、決策與轉錄。

    推薦理由:Granite Switch 4.1 透過整合決策、語音與聊天功能,提供單一端點多工能力,讀者可評估其在實務流程中的效益。

  4. LMSYS Org Blog74

    SGLang 支援 Beam,公開部署方式與服務效能測試

    大型模型要用在長時間的程式開發任務,伺服器得處理很長的對話,也要讓 AI 助理快速接續工作。SGLang Team 說明 SGLang 如何支援 Reflection 的 Beam,並分享快取對話內容、加速生成和調整模型運算的做法。測試使用 4 張 NVIDIA GB300 顯示卡重播多輪程式開發對話;在 32 個對話同時進行時,每張顯示卡每秒處理 127.6K 個 token,每位使用者的中位速度為每秒 185.87 個 token。這些數字來自特定測試設定,可用來瞭解 SGLang 如何服務 Beam。

    推薦理由:文章整理 SGLang 支援 Beam 的部署與效能測試,並交代測試使用的硬體、工作負載和快取情況,方便評估結果適用的服務情境。

10月15日週四
  1. cloudflare blog73

    VoidZero 推出 Void Platform、SDK 與 CLI,整合 Vite 工作流

    VoidZero 在 Cloudflare 部落格上宣佈推出三款開源工具: - Void Platform:共享部署平臺,可在 Cloudflare Workers for Platforms 上託管 Void 應用,支援自訂部署工作流程、資源限制與使用者管理。

    推薦理由:VoidZero推出的Void Platform、SDK和CLI整合Vite工作流,降低全棧開發與部署成本,適合團隊快速原型與內部應用。