跳到正文

#部署/工程

RSS
今日 0 則
8月12日週三
  1. LMSYS Org Blog75

    SGLang 和 Miles 加入對 Qwen3.8 的首日支援

    大型模型有不同的運算狀態,讓伺服器難以安排工作,也可能拖慢速度。SGLang 和 Miles 宣佈在 Qwen3.8 推出當天就支援這個模型,並加入快取、資料傳送與推測解碼等處理方式,讓不同階段能採用各自適合的配置。文章列出多種測試結果,其中一種 NVFP4 配置在 8K 輸入、1K 輸出的測試中,每張 GPU 每秒處理 5,126 個 token;這些數字反映特定硬體與配置下的表現。

    推薦理由:文章拆解 SGLang 如何處理 Qwen3.8 的多種運算狀態,並比較不同部署配置的吞吐量與單人速度,呈現服務大型模型的工程取捨。

8月11日週二
  1. Mistral AI73

    Mistral 推出區域推理、開放模型與歐洲主權 AI 基礎設施

    Mistral AI 宣佈推出區域推理端點和優先服務層,支援在歐洲或美國執行推理,並提供 1 GW 計算容量目標。公司還將平臺開放給第三方模型,首批支援 Z.ai 的 GLM‑5.2,所有模型均在同一基礎設施下滿足區域控制與 SLA。為保障歐洲長期 AI 計算需求,Mistral 正與企業組建聯盟,形成歐洲計算單元(ECU)以鎖定多年容量。

    推薦理由:Mistral 推出區域推理端點和開放模型支援,幫助企業實現 AI 主權與合規。

  2. LMSYS Org Blog59

    SGLang 提出 Unified Radix Cache,讓混合模型共用一棵快取樹

    混合模型會用不同規則重用對話資料,硬塞進同一種快取邊界,可能浪費可重用資料,也可能用到不該重用的內容。SGLang 的 Unified Radix Cache 用一棵樹記錄共同的文字字首,再由不同元件各自判斷哪些資料可以重用,也能讓快取資料放在 GPU、主機記憶體或外部記憶體層。多輪對話測試中,外部記憶體層讓 DeepSeek-V4-Flash 的快取命中率接近 98%,Inkling-Small 達到 96.8%;另一組程式修復測試中,新的快取設定比一般 LRU 設定少了 2.9% 到 16.6% 的首字延遲。不過,這些比較同時改了快取實作與淘汰方式,不能單獨歸因於工作階段管理。

8月10日週一
  1. LMSYS Org Blog62

    SGLang 首日支援 Muse Glimmer,讓多模態模型能在本機硬體執行

    想在自己的電腦上執行多模態 AI 助理,速度和硬體需求常是難題。SGLang 宣佈從 Muse Glimmer 推出的第一天就提供支援,讓開發者能在多種 NVIDIA 顯示卡、DGX Spark 和 Apple Silicon 裝置上執行這個 30B 模型。文章列出不同硬體與設定下的速度:在 RTX 5090 上使用 NVFP4 和 DFlash 時,每位使用者每秒可生成 236 個 token,批次輸出速度最高為每秒 1,452 個 token。DFlash 能加快多數測試設定的互動速度,但 Apple Silicon 的 MLX 後端目前不支援這項功能。

    推薦理由:Muse Glimmer 加入 SGLang 首日支援後,可在多種本機硬體上執行;文中資料也比較了不同平臺與解碼方式的速度差異。

8月7日週五
  1. openrouter blog46

    如何在 OpenRouter 上設定團隊 AI 花費控制

    OpenRouter 發布了團隊 AI 花費控制指南,透過組織、預設、金鑰限制、護欄與活動儀錶板等 5 項控制機制來管理 API 支出。 - 組織與共用點數池:支援預設最多 10 位成員,提供共用點數池集中管理,並設有管理員與成員的角色許可權區隔。

  2. LMSYS Org Blog77

    Tencent Hunyuan 的 HPC-Ops 整合進 SGLang,加快 LLM 推論

    AI 模型在伺服器上回答問題時,注意力運算、專家選擇和資料搬動都可能拖慢速度。Tencent Hunyuan 團隊把 HPC-Ops 的三種運算元整合進 SGLang,分別調整長短請求混在一起時的注意力運算、保留專家選擇所需的計算精度,以及減少小型專家運算前後的資料搬動。在 8 張 H20 顯示卡上,Hy3-FP8 同時使用注意力與 MoE 運算元後,部分批次的每個輸出詞元延遲降低 15.1–48.8%;LongCat-Flash-Lite-FP8 使用 Router GEMM 時,輸入處理速度提升 5.5–6.1%。這些結果來自文中列出的特定模型與測試設定。

    推薦理由:HPC-Ops 三種運算元已整合進 SGLang,文中用 H20 與 H200 測試說明它們在不同模型和工作量下的速度變化。

8月6日週四
  1. vLLM Official Blog77

    vLLM 在 Qwen3.5 上達成每 GPU 25K 總 TPS

    vLLM 透過社群貢獻的最佳化核心與異構快取設計,讓 Qwen3.5 在 GB200 NVL72 系統上每 GPU 總 TPS 超過 25,000。

    推薦理由:本文提供可實踐的最佳實踐與配置,藉助 vLLM 社群貢獻的最佳化核心與異構快取設計,幫助開發者在 Qwen3.5 上達成 25K TPS/GPU 的高效推理,並可快速複製至自家環境。

8月5日週三
  1. GitHub Engineering80

    GitHub 透過堆疊 Pull Request 讓 AI 產生的巨型 PR 變成可審核的分層流程

    本文示範如何將 AI 產生的大型 Pull Request 轉為可審核的分層流程。 - Stacked Pull Requests:將功能拆解成多層 Pull Request,每層以前一層為基底。

    推薦理由:本文示範如何利用堆疊 PR 讓 AI 產生的巨型 PR 變成可審核的分層流程,對提升團隊審核效率與衝突管理尤為重要。

  2. LMSYS Org Blog52

    Ascend Team 說明如何提升 GLM-Image 在 SGL-Diffusion 的執行效率

    GLM-Image 先用 AR 產生文字提示的語意資訊,再由 DiT 把它逐步轉成圖片;兩個階段需要的硬體配置不同,放在同一個工作流程裡會互相牽制。Ascend Team 把 AR 改由 SRT 獨立執行,並讓多筆請求一起處理;之後又把 AR 和 DiT 分開部署,讓一臺 AR 伺服器把工作分給多個各自處理單張圖片的 DiT。文中測試顯示,16 張 NPU 的設定下,分開部署後平均生成時間從 90 秒降到 37 秒,也能同時處理更多圖片。

8月4日週二
  1. LMSYS Org Blog78

    SpecForge v0.3.0 拆開推論與訓練流程,支援更多推測解碼方法

    訓練推測解碼模型時,目標模型推論和草稿模型訓練會搶資源,也不容易分開調整。SpecForge v0.3.0 把兩種工作拆成可各自擴充的流程,並用同一套訓練工具支援 EAGLE3、DFlash、Domino 等多種方法;團隊也發布了涵蓋不同模型與方法的草稿模型。在 8×H20 測試中,3 臺 SGLang 伺服器搭配 5 個訓練工作者,訓練吞吐量比舊的集中式做法約高 10%。這讓團隊能依工作需求調整推論和訓練資源。

    推薦理由:SpecForge 把目標模型推論和草稿模型訓練拆開,並以 8×H20 測試呈現調整兩邊資源配置後的訓練吞吐量變化。

7月31日週五
7月30日週四
  1. Hugging Face Blog18

    GPU 管理:為什麼閒置的 GPU 就像停飛的飛機

    企業 AI 領域的下一個真正限制是硬體利用率而非模型智慧,正如航空業的生存取決於飛機在空中的時間。GPU 的成本按日曆小時累積,擁有更多 GPU 並不能保證業務成功,企業經濟效益正日益取決於硬體在任意時刻的利用率。從模型質量競爭轉向算力基礎設施部署後,如何保持硬體持續運轉已成為決定投入成敗的關鍵。

  2. LMSYS Org Blog72

    RadixArk 與 Google 合作,讓 SGLang 支援 TPU

    團隊想在 GPU 和 TPU 之間更換硬體時,常得改用不同工具或重做部署。RadixArk 和 Google Cloud 合作,讓開源推論框架 SGLang 能在 Google TPU 上執行:目前可透過 SGL-JAX 使用,支援多種大型語言模型、多模態模型和影像及影片生成模型;RadixArk 也預計在今年稍晚推出以 PyTorch 為基礎的 SGL-torchtpu。團隊可以沿用同一套 SGLang API,依工作需求和價格效能選擇 GPU 或 TPU。

    推薦理由:SGLang 已可透過 SGL-JAX 在 TPU 上執行,後續還會加入 PyTorch 原生後端,讓團隊沿用相同 API 跨硬體部署。

7月29日週三
  1. Berkeley AI Research77

    從 CUDA 到 MLX:K-Search 如何將數十年 GPU 核心最佳化知識帶到 Apple Silicon

    K-Search 透過結合 CUDA 核心最佳化知識與 MLX 翻譯層,成功將 NVIDIA GPU 的高效實作自動轉換至 Apple Silicon,達到接近專家水平的效能。

    推薦理由:本研究展示如何將 CUDA 核心最佳化知識自動轉移至 Apple Silicon,為跨平臺 GPU 核心開發提供可落地方法。

  2. LMSYS Org Blog70

    Miles 如何用 MXFP8 和 NVFP4 加速 Blackwell 上的強化學習

    強化學習要一邊讓模型作答、一邊更新模型;如果訓練和作答時使用的精度不同,兩邊就可能對不上。LMSYS 團隊在 Miles 加入兩種 Blackwell 低精度做法:MXFP8 用在更多訓練與推論步驟,NVFP4 則用在 MoE 專家層,並為每個 token 分別計算資料尺度,讓訓練和推論用同一套設定。在 Qwen3-30B-A3B、8 張 B200 的測試中,五種低精度設定的獎勵曲線都接近 BF16,MXFP8 和 NVFP4 也縮短了推論時間。這是配方消融測試,不能當成完整調校後的效能比較。

    推薦理由:這組消融比較顯示,在 Qwen3-30B-A3B 的 8 張 B200 設定中,低精度訓練的獎勵曲線接近 BF16,也能縮短推論時間。

7月28日週二
  1. LMSYS Org Blog61

    SGLang 如何整理量化架構,讓模型格式與硬體後端各自擴充

    支援越來越多模型格式和硬體後,SGLang 的量化程式變得難維護,新增一種格式或硬體也可能牽動其他部分。這篇文章說明 SGLang 正把工作拆成幾層:一層讀懂模型檔案的格式,一層負責把權重放進模型,另一層處理特定硬體上的轉換與執行。這樣不同格式可以共用同一套硬體程式,格式和硬體也能分開測試與更新。文章也列出 Qwen3-30B-A3B 在不同量化方式下的速度、準確度和權重大小比較;架構仍在逐步調整中,後續計畫還包括擴大格式與硬體支援。

    推薦理由:文章拆解 SGLang 量化架構如何把格式處理與硬體執行分開,說明這樣的設計如何減少重複工作,讓新格式與後端更容易各自擴充。

7月27日週一
  1. LMSYS Org Blog82

    SGLang 和 Miles 在 Kimi K3 發布當天提供推論與強化學習訓練支援

    Kimi K3 的混合架構讓伺服器得同時管理兩種記憶,一種會隨文字增加,另一種則固定大小並持續更新,原有做法不容易直接套用。SGLang 團隊與 Moonshot AI、NVIDIA 合作,讓 SGLang 支援 Kimi K3 推論,Miles 支援強化學習訓練。SGLang 加入共用記憶體池,讓兩種記憶按需求共用空間,也用重播輸入資料的方式減少暫存記憶體。文章也提供平行處理設定與訓練成績:AIME-2024 的答題率在 12 小時內從 43.3% 升到 76.7%。

    推薦理由:Kimi K3 同時採用兩種注意力方式,讓伺服器得分別管理固定狀態與逐字增加的記憶;文章說明 SGLang 如何處理這項難題。

7月23日週四
7月20日週一
7月18日週六
  1. LMSYS Org Blog65

    Miles 加入 OPD 訓練,讓學生模型學會更短的推理

    學生模型可以學會教師模型的回答方式,但訓練時如果只靠任務獎勵,不一定能教會它用更短的推理完成工作。LMSYS Org 為 Miles 加入 OPD,讓學生模型能只跟著教師模型學,也能把教師指引和任務獎勵一起用;新的稀疏評分流程只請教師模型評分各位置需要的候選 token,減少多餘資料的傳送與解析。在千問 Qwen3.5-35B-A3B 的自我蒸餾實驗中,任務獎勵設為零,學生模型的回答長度從約 18.6k tokens 降至多數約 5.5k–6.7k tokens,保留的 DAPO 表現也從 0.8457 升至 0.8945。這是初步驗證,其他模型和任務仍待測試。

    推薦理由:Miles 的稀疏評分流程減少教師模型不必要的資料傳送與解析,實驗也呈現縮短推理與維持任務表現的結果。

7月17日週五
7月15日週三
  1. LMSYS Org Blog78

    SGLang 和 Miles 加入 Inkling 多模態模型首日支援

    新模型架構常讓推論和訓練工具得花時間才能跟上。SGLang 和 Miles 在 Inkling 推出時就加入支援,並為它的短卷積、相對位置注意力和共享專家設計調整執行方式。Inkling 最長可處理 1M 個 token;在 NVIDIA Blackwell GPU 上,SGLang 的輸入處理速度最高達每秒 71.7k 個 token,單一使用者生成速度最高為每秒 171.0 個 token。Miles 也支援文字與影像任務的強化學習訓練,並用路由重播等方法讓訓練和推論的計算保持一致。

    推薦理由:文章對照 Inkling 的注意力與 MoE 設計,說明 SGLang 如何調整推論流程,也呈現 Miles 如何讓訓練和推論使用一致的模型行為。

7月14日週二
  1. LMSYS Org Blog60

    SGLang 如何讓 GLM-5.2 在 8 張 B300 上達到每秒 500 多個 token

    長對話會讓 AI 助理每次回覆都得處理大量舊內容,降低互動速度。SGLang 團隊調整 GLM-5.2 的推論流程,包括讓 GPU 工作彼此接上、重用索引結果,並合併部分運算步驟,減少等待和多餘工作。在 OpenHands 多輪程式開發測試中,GLM-5.2 每輪約有 80K token 的輸入;團隊表示,8 張 B300 上每秒可處理 500 多個輸出 token,單人互動速度比最初版本提升 18% 至 34%。這些數字來自文章設定的硬體與工作負載,其他使用情境的表現可能不同。

    推薦理由:文章拆解 SGLang 如何從排程、索引器到矩陣乘法逐步降低推論開銷,並以不同硬體與工作負載的實測呈現速度變化。

7月10日週五
7月8日週三
  1. LMSYS Org Blog42

    Netpreme X-Mem™ 加速 SGLang HiCache,長提示詞載入快 6.7 倍

    AI 助理常會反覆使用同一大段提示詞,但如果快取資料放在速度較慢的主記憶體,搬回 GPU 時就會拖慢回應。SGLang HiCache 能保留並重用這些資料,Netpreme X-Mem™ 則加入一層高速記憶體,專門存放和搬動快取。在提示詞很長、重複使用很多的測試中,X-Mem™ 讓第一個回應等候時間最多縮短約 6.7 倍;高負載時,使用者互動速度提升 50%,系統處理量也增加 30%。這讓 AI 助理能更快接續多輪工作,也顯示快取資料搬得夠快,重複利用才真正能省時間。

7月6日週一
  1. Modal Engineering Blog43

    **title_zh:**

    如何為無伺服器 GPU 定價 summary_zh: Modal 推出一款互動式成本估算工具,幫助團隊評估無伺服器 GPU 與預留 GPU 的價格差異,並指出在峰值與平均需求比高達 5~10 倍時,無伺服器方案往往更經濟。

  2. LMSYS Org Blog74

    SGLang 整合 DSpark,依請求把握度調整推測解碼

    推測解碼能減少模型逐步產生文字的時間,但同時驗證太多候選文字,負載一高也會拖慢服務。SGLang 團隊把 DSpark 整合進服務引擎,讓系統依每筆請求的預測把握度,決定要驗證多少候選文字;較有把握的請求可用較短的驗證範圍,降低運算負擔。文章用 DeepSeek-V4 等模型展示測試結果,並說明如何讓不同請求在同一批次採用不同範圍。團隊也提醒,測試硬體和流量與論文不同,重點是呈現運作方式與趨勢,數字不應直接視為論文結果的重現。

    推薦理由:SGLang 團隊展示 DSpark 如何依各請求的預測把握度調整驗證長度,並比較不同負載下的吞吐量與延遲表現。

7月2日週四
  1. LMSYS Org Blog69

    SGLang 團隊分享如何用 AI 助理協助開發與效能調校

    SGLang 涵蓋模型推論、GPU 核心和擴散模型,開發者常得靠記憶處理除錯、效能測試和程式碼檢查。SGLang 團隊把這些工作整理成技能、指令碼和檢查流程,讓 AI 助理能照固定步驟執行測試、讀取效能資料、修改程式,再用相同條件重新驗證。文章也分享實際最佳化案例,例如一項 B200 擴散模型核心工作,從固定測試資料、確認正確性到檢查實際模型表現,都留下可供檢視的證據。團隊強調,AI 助理可以接手重複工作,目標設定、判讀結果和檢查修改仍由開發者負責。

    推薦理由:SGLang 團隊整理出把除錯、效能測試與程式碼檢查寫成可重複流程的方法,並用實際案例說明如何留下可供檢查的成果。

6月30日週二
  1. Together AI Official Blog77

    Together AI 於 ICML 2026:全棧前沿研究

    Together AI 在 ICML 2026 展示了九篇跨層研究,從代理到 GPU 核心,涵蓋模型、演算法、系統與硬體最佳化。 - 代理層:DSGym 1,000+ 任務、10+ 領域;ThunderAgent 3.6× 推理吞吐量、3.9× RL 迭代速度提升。

    推薦理由:Nine ICML 2026 論文涵蓋從代理到 GPU 核心的全棧研究,讀者可洞悉跨層最佳化的實際效能與落地策略,並展示多層協同效益與實際部署案例。

6月29日週一
6月26日週五
  1. LMSYS Org Blog68

    SGLang 如何用 Waterfill 和 LPLB 平衡 DeepEP MoE 負載

    MoE 模型把工作分給多張 GPU 時,熱門專家可能讓部分 GPU 忙不過來,其他 GPU 卻在等。NVIDIA 團隊介紹 SGLang 的兩種分流方法:Waterfill 把共用專家的工作交給較不忙的 GPU;LPLB 則在同一專家的多個副本之間調整工作量。兩者都保留模型原本選的專家,只改由哪張 GPU 執行。測試中,Waterfill 在 DeepSeek-V3/R1 型別的工作負載上提升吞吐量 1.48% 到 4.66%;LPLB 在有專家副本可供分流時提升 0.84% 到 7.34%。LPLB 沒有副本可選時則無法平衡負載,還會增加運算開銷。

    推薦理由:文章以相同硬體與工作負載比較兩種分流方法,呈現它們各自適用的負載型別,以及流量平衡後的吞吐量變化。

6月22日週一
  1. Modal Engineering Blog72

    拆解沙盒啟動延遲:為什麼啟動 ≠ 就緒

    Modal 針對沙盒啟動延遲進行拆解,指出容器啟動只是整個流程的一小段,真正耗時的是應用程式初始化。 - 完整啟動週期 Created → Scheduled → Started → Ready → In Use,容器啟動時間通常佔不到 10% 的總等待。

    推薦理由:瞭解沙盒啟動全流程與最佳化方法,能協助工程師減少使用者等待時間並提升系統吞吐量,在高併發環境下更顯優勢。

6月19日週五
6月17日週三
  1. LMSYS Org Blog59

    SGLang-JAX 加速 Ling-2.6-1T 在 TPU 上的運作,MoE 預填延遲減半

    大型 AI 模型在 TPU 上運作時,常要花不少時間搬移資料,讓晶片等不到運算所需的內容。LMSYS 團隊為 SGLang-JAX 製作新的 MoE 核心,把資料搬移和模型運算排在一起進行,讓 Ling-2.6-1T 的 MoE 預填延遲從 5.16 毫秒降到 2.42 毫秒;在相同測試中,16 張 TPU v7x 的輸出速度是 16 張 H200 的 1.29 到 1.77 倍。不過,整體預填速度只提升約 25%,因為 GLA 預填目前仍是主要瓶頸。

6月15日週一
  1. LMSYS Org Blog75

    DFlash 和 SGLang Spec V2 加快 Qwen 3.5 397B-A17B 推論

    大型語言模型一次只生成一個 token,推論速度可能因此受限;一般草稿模型也要逐個產生候選內容。Z Lab、Modal 和 SGLang 團隊推出 DFlash 草稿模型,並將它整合進 SGLang 的 Spec V2 引擎。DFlash 一次平行草擬一整段內容,還會把目標模型整理好的上下文資訊送進草稿模型,幫助它提出較容易被接受的內容。在 Qwen 3.5 397B-A17B、HumanEval、請求並行數為 1 的測試中,DFlash 的吞吐量超過基準模型 4.3 倍,也比原生 MTP 高 1.5 倍。

    推薦理由:文章比較 DFlash 與 EAGLE-3 的草稿速度、接受長度和端到端速度,並說明 KV 注入與平行草稿各自帶來的影響。

6月11日週四