跳到正文

#部署/工程

RSS
今日 0 則
10月18日週日
  1. LMSYS Org Blog84

    SGLang 推出低延遲模式,讓 NVIDIA 與 AMD GPU 更快生成 token

    低延遲推論常需要為不同模型和 GPU 寫專用程式碼,難維護,也會拖慢回應。SGLang 推出低延遲模式,透過外掛接上 NVIDIA 與 AMD 的專用核心,並讓一般執行流程繼續處理外掛不支援的情況。在 AgentX 測試中,四張 NVIDIA GB300 GPU 的單一連線速度從每秒 671.2 個 token 提升到 928.4 個;四張 AMD MI355X GPU 在四個連線時,則從 331.6 提升到 516.0。兩組結果都是和相同硬體上的 SGLang 基準比較。

    推薦理由:文章比較 NVIDIA 與 AMD GPU 上的實測結果,也說明外掛如何讓專用核心接上 SGLang,呈現低延遲最佳化的效能與維護取捨。

10月17日週六
10月16日週五
  1. AWS Machine Learning Blog74

    Reflection Beam:AWS 推出可開源權重的 Agentic Coding 模型

    Reflection Beam 是一款 501B 引數、23B 活躍引數的開源權重模型,針對 Agentic Coding 與多步驟工作流程設計。 - 核心規格:501B 總引數、23B 活躍引數,效能可達 1M token 上下文長度;提供 BF16、FP8、NVFP4 三種檢查點格式。

    推薦理由:Reflection Beam 提供 501B 引數、23B 活躍引數的開源權重模型,開發者可在 SageMaker JumpStart 或 HyperPod 直接部署,支援多步驟程式編寫、工具呼叫與中間結果處理,為 agentic coding 提供完整堆疊,並可透過 SGLang 或 vLLM 進行自訂執行時引數調整,滿足不同硬體與效能需求。

  2. vLLM Official Blog72

    vLLM 中 Kimi K3 高效最佳化:快速且負責任的推進

    vLLM 團隊利用代理協助開發,為 NVIDIA GB300 上的 Kimi K3 建構統一的 CuTe DSL 解碼路徑,實現 842 tokens/s 的解碼速率(比原版快 1.73 倍)並提升 P90 互動性至 403.2 tokens/s。

    推薦理由:本文說明如何利用代理開發加速 Kimi K3,並提供可複製的驗證流程,對想提升 GPU 端推理效能的工程師具有實務參考價值。

  3. cloudflare blog82

    Cloudflare Gateway 全程可程式設計安全網路閘道

    Cloudflare 釋出全新可程式設計安全閘道器功能,將 Workers 內嵌於 Gateway 政策評估,允許客製化程式直接執行於邊緣。 - Forward:新政策動作,將符合條件的 HTTP 請求轉發至 Cloudflare Worker,支援請求/回應變更與後端處理。

    推薦理由:Cloudflare 透過 Workers 讓安全閘道可執行客製化程式,提升防護彈性與效率

  4. LMSYS Org Blog74

    SGLang 支援 Beam,公開部署方式與服務效能測試

    大型模型要用在長時間的程式開發任務,伺服器得處理很長的對話,也要讓 AI 助理快速接續工作。SGLang Team 說明 SGLang 如何支援 Reflection 的 Beam,並分享快取對話內容、加速生成和調整模型運算的做法。測試使用 4 張 NVIDIA GB300 顯示卡重播多輪程式開發對話;在 32 個對話同時進行時,每張顯示卡每秒處理 127.6K 個 token,每位使用者的中位速度為每秒 185.87 個 token。這些數字來自特定測試設定,可用來瞭解 SGLang 如何服務 Beam。

    推薦理由:文章整理 SGLang 支援 Beam 的部署與效能測試,並交代測試使用的硬體、工作負載和快取情況,方便評估結果適用的服務情境。

10月15日週四
  1. cloudflare blog73

    VoidZero 推出 Void Platform、SDK 與 CLI,整合 Vite 工作流

    VoidZero 在 Cloudflare 部落格上宣佈推出三款開源工具: - Void Platform:共享部署平臺,可在 Cloudflare Workers for Platforms 上託管 Void 應用,支援自訂部署工作流程、資源限制與使用者管理。

    推薦理由:VoidZero推出的Void Platform、SDK和CLI整合Vite工作流,降低全棧開發與部署成本,適合團隊快速原型與內部應用。

  2. LMSYS Org Blog51

    SGLang 加入 NVIDIA Nemotron 3.5 Super VL 的首日支援與部署教學

    多模態模型要投入工作流程,除了理解文字、圖片、檔案和影片,也需要能透過工具接續任務。這篇文章示範如何用 SGLang 部署 NVIDIA Nemotron 3.5 Super VL,並介紹它提供的連續批次處理、字首快取和推測解碼等服務功能。文中提到,模型在單張 RTX 6000 PRO 上搭配 MTP 達到 243.9 tok/s;其他比較資料則是作者依文中圖表所述。這份快速入門指南也列出啟動模型伺服器的指令,方便讀者開始部署。

10月14日週三
10月13日週二
10月12日週一