跳到正文

#產品更新

RSS
今日 1 則
10月20日週二
  1. LMSYS Org Blog88

    SGLang 推出 SGLang-TorchTPU,讓 PyTorch 推論服務也能跑在 TPU 上

    想把 AI 模型放到 TPU 上跑,開發者往往得另外處理硬體支援。RadixArk 的 SGLang 團隊與 Google、Meta 合作推出 SGLang-TorchTPU,讓 SGLang 能用 PyTorch 在 Google Cloud TPU 上提供模型服務,也支援多種開源模型和服務功能。文章列出已支援模型與功能,並說明有些專案仍在測試;Meta 已在正式環境使用這套服務。團隊也展示用 TPU 進行強化學習訓練的流程,但目前仍是預覽版,接下來會擴大型模型與訓練規模。

    推薦理由:SGLang-TorchTPU 把同一套 PyTorch 推論服務帶到 TPU,並列出實際支援的模型與功能,可瞭解它目前能處理哪些部署需求。

10月19日週一
  1. SGLang Releases78

    SGLang v0.5.22 釋出多模型支援與效能提升

    SGLang v0.5.22 釋出,新增多模型支援、效能最佳化與跨平臺功能。 - 新模型:DeepSeek‑V4.1、Qwen3.8‑Flash‑Next、GLM‑5.3‑Flash、MiMo‑V2.6‑Pro、EmbeddingGemma 2、LLaDA2.2、HunyuanImage‑3.0‑Instruct 等。

    推薦理由:本次更新大幅提升多平臺推理吞吐量並加入多模型支援,開發者可直接使用新功能加速多模態應用,並在多種硬體上獲得顯著效能提升。

  2. OpenAI twitter74

    GPT‑6 與 Intelligent UI 現已在 ChatGPT 上線,為所有使用者提供即時互動式回答。 核心特性:GPT‑6 的強大語言能力結合 Intelligent UI,提升回答速度與互動性。 視覺化與複雜主題:透過視覺化呈現,使用者可更輕鬆掌握複雜議題。 即時工具:在對話中即時提供相關工具,協助完成任務。

    推薦理由:GPT-6 與 Intelligent UI 的推出,展示了 OpenAI 在即時互動與視覺化回答方面的進一步突破,對使用者提升日常問題解決效率具有實際價值。

  3. Vercel Blog67

    Vercel Drop 推出免帳號部署靜態網站功能

    Vercel Drop 推出全新免帳號部署功能,允許使用者透過拖放檔案、資料夾或 ZIP 壓縮檔快速取得線上 URL。 使用限制:未登入帳號的部署專案將在 1 小時後過期。 保留專案:若需持續保留網站,使用者可登入或建立帳號並認領該專案。

10月18日週日
  1. vLLM Releases86

    vLLM v0.32.0 正式發布:多項推理最佳化與多模態功能升級

    vLLM v0.32.0 正式發布,包含 814 次提交與 363 位貢獻者的新功能。 - 新增 /v1/systemone 端點,可處理結構化決策與分數查詢,並支援 Cloudflare/clef-omni、LiquidAI/d1-3B、DiffusionGemma 等模型。

    推薦理由:vLLM v0.32.0 引入多項高效推理最佳化與多模態支援,使用者可直接提升模型部署效能與功能擴充。

  2. NVIDIA Blog72

    RTX Spark 為新款 Windows PC 引燃全球慶典

    RTX Spark 為新款 Windows PC 引燃全球慶典。 - GPU/CPU:搭載 NVIDIA Blackwell RTX GPU 與 Grace CPU,提供高達 1 petaflop AI 計算。

    推薦理由:RTX Spark 搭載 Blackwell GPU 與 Grace CPU,提供 1 petaflop AI 計算與 128GB 統一記憶體,適合本地 AI 與創作,對於需要高效能移動工作站的使用者具有重要參考價值。

  3. LMSYS Org Blog84

    SGLang 推出低延遲模式,讓 NVIDIA 與 AMD GPU 更快生成 token

    低延遲推論常需要為不同模型和 GPU 寫專用程式碼,難維護,也會拖慢回應。SGLang 推出低延遲模式,透過外掛接上 NVIDIA 與 AMD 的專用核心,並讓一般執行流程繼續處理外掛不支援的情況。在 AgentX 測試中,四張 NVIDIA GB300 GPU 的單一連線速度從每秒 671.2 個 token 提升到 928.4 個;四張 AMD MI355X GPU 在四個連線時,則從 331.6 提升到 516.0。兩組結果都是和相同硬體上的 SGLang 基準比較。

    推薦理由:文章比較 NVIDIA 與 AMD GPU 上的實測結果,也說明外掛如何讓專用核心接上 SGLang,呈現低延遲最佳化的效能與維護取捨。

10月17日週六
  1. Vercel Blog64

    Vercel Shop 推出代理友善購物體驗

    Vercel Shop 是一個開源 Next.js 店面範本,讓商家能快速建立可供代理使用的購物體驗。 - 技術基礎:基於 Shopify 的 Hydrogen SDK,提供商品目錄、購物車、結帳與付款 API;同時支援 UCP 與 MCP,讓代理能直接查詢商品資訊並建立購物車。

10月16日週五
  1. Axolotl Releases79

    Axolotl v0.21.0 發布:單機 QLoRA 微調 5B MoE 及多項訓練最佳化

    Axolotl v0.21.0 釋出多項訓練與效能最佳化,讓單機 QLoRA 微調 5B MoE 變得可行。 - Reflection Beam:501B 引數 MoE,23B 活躍引數,可在單機 8xH200 上使用 QLoRA 微調。

    推薦理由:Axolotl v0.21.0 釋出單機 QLoRA 微調 5B MoE、擴散 LM 訓練與效能最佳化,開發者可直接提升訓練效率與模型靈活度。