跳到正文

部署工程

把模型跑起來的工程實踐:推理最佳化、視訊記憶體與成本、Serving 架構與基礎設施選型。

最新精選

第 301–320 條 · 共 378 條
10月21日週三
  1. LMSYS Org Blog82

    SGLang 如何在服務不中斷時,替 MoE 模型加入 GPU

    大型 MoE 模型流量增加時,常見做法是多開一份完整服務,或停機重啟來增加 GPU;兩種方式都會帶來額外成本或等待時間。這篇文章說明 SGLang 如何讓運作中的服務逐步加入 GPU,例如把 20 張 GPU 擴到 24 張,準備新 GPU 時原本的服務仍可工作。擴充前要先設定可達到的 GPU 上限,預留的通訊記憶體越多,留給 KV cache 的空間就越少。文中在 8 張 H100 上比較,擴充後首次完成請求的時間比重啟快 5.3 到 8.2 倍;轉換期間則會暫停傳送 token。

    推薦理由:文章說明 SGLang 如何在服務持續運作時分批加入 GPU,並比較轉換時間與輸出速度,可用來評估大型 MoE 部署的擴充方式。

10月20日週二
  1. vLLM Official Blog73

    vLLM 推出 TorchTPU 後端,讓既有模型可部署於 Google Cloud TPU

    vLLM 推出 TorchTPU 後端,讓多數既有 vLLM 模型可在 Google Cloud TPU 上執行,無須修改模型程式碼。 - 服務介面:沿用 vLLM 的 CLI、OpenAI 相容伺服器、排程器與 KV cache 管理器,並支援六種平行化維度。

    推薦理由:vLLM TorchTPU 延用既有模型程式碼與服務介面,呈現 TPU 後端如何減少模型移植工作並保留原有部署流程。

  2. AWS Machine Learning Blog77

    vLLM 中雙向 KV 轉移提升多輪 Agentic 工作負載的 TTFT

    vLLM 在 1P1D 部署下,透過雙向 KV 轉移將 Qwen3‑32B 的 TTFT 降至 1.6 倍、GLM‑5‑FP8 降至 3.3 倍。 - TTFT:Qwen3‑32B 由 158 ms → 460 ms(長 prompt 24k),GLM‑5‑FP8 由 500 ms → 702 ms(20k)。

    推薦理由:此研究證明雙向 KV 轉移能將多輪對話的 TTFT 降低 1.6x–3.3x,對需要高效推理的 agentic 應用具有實際效益。

  3. LMSYS Org Blog88

    SGLang 推出 SGLang-TorchTPU,讓 PyTorch 推論服務也能跑在 TPU 上

    想把 AI 模型放到 TPU 上跑,開發者往往得另外處理硬體支援。RadixArk 的 SGLang 團隊與 Google、Meta 合作推出 SGLang-TorchTPU,讓 SGLang 能用 PyTorch 在 Google Cloud TPU 上提供模型服務,也支援多種開源模型和服務功能。文章列出已支援模型與功能,並說明有些專案仍在測試;Meta 已在正式環境使用這套服務。團隊也展示用 TPU 進行強化學習訓練的流程,但目前仍是預覽版,接下來會擴大型模型與訓練規模。

    推薦理由:SGLang-TorchTPU 把同一套 PyTorch 推論服務帶到 TPU,並列出實際支援的模型與功能,可瞭解它目前能處理哪些部署需求。

10月18日週日
  1. LMSYS Org Blog84

    SGLang 推出低延遲模式,讓 NVIDIA 與 AMD GPU 更快生成 token

    低延遲推論常需要為不同模型和 GPU 寫專用程式碼,難維護,也會拖慢回應。SGLang 推出低延遲模式,透過外掛接上 NVIDIA 與 AMD 的專用核心,並讓一般執行流程繼續處理外掛不支援的情況。在 AgentX 測試中,四張 NVIDIA GB300 GPU 的單一連線速度從每秒 671.2 個 token 提升到 928.4 個;四張 AMD MI355X GPU 在四個連線時,則從 331.6 提升到 516.0。兩組結果都是和相同硬體上的 SGLang 基準比較。

    推薦理由:文章比較 NVIDIA 與 AMD GPU 上的實測結果,也說明外掛如何讓專用核心接上 SGLang,呈現低延遲最佳化的效能與維護取捨。

10月16日週五
  1. AWS Machine Learning Blog74

    Reflection Beam:AWS 推出可開源權重的 Agentic Coding 模型

    Reflection Beam 是一款 501B 引數、23B 活躍引數的開源權重模型,針對 Agentic Coding 與多步驟工作流程設計。 - 核心規格:501B 總引數、23B 活躍引數,效能可達 1M token 上下文長度;提供 BF16、FP8、NVFP4 三種檢查點格式。

    推薦理由:Reflection Beam 提供 501B 引數、23B 活躍引數的開源權重模型,開發者可在 SageMaker JumpStart 或 HyperPod 直接部署,支援多步驟程式編寫、工具呼叫與中間結果處理,為 agentic coding 提供完整堆疊,並可透過 SGLang 或 vLLM 進行自訂執行時引數調整,滿足不同硬體與效能需求。

  2. vLLM Official Blog72

    vLLM 中 Kimi K3 高效最佳化:快速且負責任的推進

    vLLM 團隊利用代理協助開發,為 NVIDIA GB300 上的 Kimi K3 建構統一的 CuTe DSL 解碼路徑,實現 842 tokens/s 的解碼速率(比原版快 1.73 倍)並提升 P90 互動性至 403.2 tokens/s。

    推薦理由:本文說明如何利用代理開發加速 Kimi K3,並提供可複製的驗證流程,對想提升 GPU 端推理效能的工程師具有實務參考價值。

  3. cloudflare blog82

    Cloudflare Gateway 全程可程式設計安全網路閘道

    Cloudflare 釋出全新可程式設計安全閘道器功能,將 Workers 內嵌於 Gateway 政策評估,允許客製化程式直接執行於邊緣。 - Forward:新政策動作,將符合條件的 HTTP 請求轉發至 Cloudflare Worker,支援請求/回應變更與後端處理。

    推薦理由:Cloudflare 透過 Workers 讓安全閘道可執行客製化程式,提升防護彈性與效率

  4. LMSYS Org Blog74

    SGLang 支援 Beam,公開部署方式與服務效能測試

    大型模型要用在長時間的程式開發任務,伺服器得處理很長的對話,也要讓 AI 助理快速接續工作。SGLang Team 說明 SGLang 如何支援 Reflection 的 Beam,並分享快取對話內容、加速生成和調整模型運算的做法。測試使用 4 張 NVIDIA GB300 顯示卡重播多輪程式開發對話;在 32 個對話同時進行時,每張顯示卡每秒處理 127.6K 個 token,每位使用者的中位速度為每秒 185.87 個 token。這些數字來自特定測試設定,可用來瞭解 SGLang 如何服務 Beam。

    推薦理由:文章整理 SGLang 支援 Beam 的部署與效能測試,並交代測試使用的硬體、工作負載和快取情況,方便評估結果適用的服務情境。

10月15日週四
  1. cloudflare blog73

    VoidZero 推出 Void Platform、SDK 與 CLI,整合 Vite 工作流

    VoidZero 在 Cloudflare 部落格上宣佈推出三款開源工具: - Void Platform:共享部署平臺,可在 Cloudflare Workers for Platforms 上託管 Void 應用,支援自訂部署工作流程、資源限制與使用者管理。

    推薦理由:VoidZero推出的Void Platform、SDK和CLI整合Vite工作流,降低全棧開發與部署成本,適合團隊快速原型與內部應用。

10月13日週二
10月12日週一
10月9日週五
  1. LMSYS Org Blog82

    SGLang 和 Miles 如何在 NVIDIA Vera Rubin 上加速模型推論與訓練

    新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。

    推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。

10月8日週四
  1. Epoch AI Updates86

    AI 能否自動化 Epoch?

    導語:本報告以 Epoch 內部任務測試前沿模型,揭示其在實務場景中仍缺乏自動化能力,對 AI 產品化提供洞見。- 主要發現:Claude Fable 5.1 與 GPT‑6 Astra 在結構化任務上表現穩定,但在開放式設計、研究判斷與實驗設計等方面仍有明顯缺口。

    推薦理由:本報告以 Epoch 任務測試前沿模型,揭示其仍缺乏自動化能力,對 AI 產品化提供洞見。

  2. AWS Machine Learning Blog81

    使用 Lambda Durable Functions 與 Bedrock 自動化處理 DevOps Agent 事件,縮短 MTTR

    AWS DevOps Agent 事件調查完成後,系統利用 Lambda Durable Functions、EventBridge 與 Amazon Bedrock 建立自動化修復工作流,將調查摘要轉成可執行的修復方案,並在必要時透過人工批准完成變更。

    推薦理由:如何結合 Lambda Durable Functions 與 Bedrock,處理 DevOps Agent 事件,縮短 MTTR。

10月7日週三
  1. AWS Machine Learning Blog73

    在 AgentCore 與 OpenClaw 上構建具備上下文感知的 AI 助手

    AgentCore 與 OpenClaw 的結合,讓開發者能以單一 CloudFormation 模板在 AWS 上快速部署具備長期記憶的 AI 助手。

    推薦理由:本文示範如何利用 AgentCore 與 OpenClaw 建構可持續記憶的 AI 助手,並說明成本與部署方式,對想在 AWS 上快速落地個人化助手的開發者具有參考價值。

10月3日週六
  1. AWS Machine Learning Blog73

    Amazon Quick 與 Adjudicated Query 模式掃描數千份租約以符合合規要求

    Amazon Quick 與 Adjudicated Query 模式可讓合規團隊在數千份租約中進行可驗證且可防禦的掃描。 - 核心概念:Adjudicated Query 將自然語言查詢對映到固定操作,確保決策由 deterministic rules engine 做出。

    推薦理由:此文章示範如何使用 Amazon Quick 搭配規則引擎,實現可驗證的租約合規掃描,對於需要完整性與可防禦性的合規團隊具有參考價值。

10月2日週五
  1. cloudflare blog83

    Cloudflare 企業級功能全面開放:向所有客戶擴充套件可用性

    Cloudflare 近日將先前僅限企業方案的功能擴充套件至所有方案,並提升多項使用上限。 - Logpush & Transformers:從 Enterprise 方案擴至免費、Pro、Business,支援更廣泛的資料來源與 SQL 過濾。

    推薦理由:Cloudflare 讓企業級功能普及至所有方案,顯著提升小型客戶的使用效能與可擴充套件性

  2. AWS Machine Learning Blog72

    利用 AWS 上的情境多臂賽局提升獲客漏斗轉換率

    本文說明如何在 AWS 上使用情境多臂賽局,提升獲客漏斗轉換率,並提供完整程式碼與架構示例。 - 核心成效:在七週 A/B 測試中,部分客群最終漏斗轉換率提升高單位數字,另一客群無提升。

    推薦理由:本文說明如何在 AWS 上運用情境多臂賽局提升轉換率,並提供完整程式碼與架構示例,適合想落實個性化推廣的工程師。