在 AMD GPU 上探索 vLLM 的推測解碼與效能實測
核心概述:vLLM 官方深入探討並實測了在 AMD Instinct MI300X 與 MI355X GPU(透過 ROCm 平臺)上,透過推測解碼(Speculative Decoding)機制來提升大型語言模型(LLM)推論吞吐量的表現與調校方式。
核心概述:vLLM 官方深入探討並實測了在 AMD Instinct MI300X 與 MI355X GPU(透過 ROCm 平臺)上,透過推測解碼(Speculative Decoding)機制來提升大型語言模型(LLM)推論吞吐量的表現與調校方式。
本教程說明如何在 vLLM 中使用 Ray Direct Transport (RDT) 進行大規模分片權重傳輸,將同步時間從 64.72 秒縮短至 3.49 秒,實現 1,049 GB/s 的頻寬。
推薦理由:此教程展示如何利用 Ray Direct Transport 將大型模型權重同步時間縮短至 3 秒,對於需要頻繁更新的 RL 伺服器提供實用的效能最佳化方法。
Wiz 發布了封閉迴圈修復手冊,說明如何結合 Red Agent、Green Agent、Remediation & Response 以及 Wiz Workflows,實現自動化、即時的漏洞修復流程。
Together AI 平臺允許在實際流量中對 LLM 進行 A/B 測試,透過端點層級的實驗配置,確保流量分配、指標追蹤與版本升級的完整流程。\n- 實驗設定:端點僅包含控制端點,變體部署權重為 0,透過百分比分配 95/5 → 80/20 → 50/50。
OpenRouter Image Generation API 推出統一的端點與金鑰機制,讓開發者透過單一請求格式呼叫多款圖片生成模型。 - 核心端點:透過 POST /api/v1/images 傳送請求,並在 data[0].b64_json 接收 Base64 編碼的圖片資料。
vLLM-Omni 0.27.0 版加入分散式層級解除安裝 (DLO) 與 AllGather,可讓 200B+ DiT 模型跨多個 NPU 或 GPU 以最小主機記憶體執行。
推薦理由:此文詳細說明如何利用 vLLM-Omni 的分散式層級解除安裝,讀者可快速部署 200B+ DiT 模型並評估效能。
大型語言模型推論會連續啟動許多 GPU 操作,反覆由 CPU 發出指令可能拖慢速度。SGLang 團隊整理了 CUDA Graph 的做法,並把執行流程和捕捉方式拆開,讓預填充、解碼等工作能選用不同策略。文中重點介紹 BCG:遇到不適合錄進圖形的操作時,先讓它照常執行,再接著捕捉後面的工作,因此不必先用編譯器分析整個流程。團隊測得,單看預填充速度,BCG 比直接執行快 1.70 倍;完整捕捉快 1.93 倍,但目前仍屬實驗功能,主要支援 FlashAttention(fa4)和 FlashInfer。
推薦理由:文章比較三種 CUDA Graph 預填充捕捉方式,說明 BCG 如何減少編譯等待與重複記憶體佔用,並交代完整捕捉目前的適用限制。
本文介紹如何在聊天請求中透過 content 陣列傳送文字與圖片,支援多種視覺模型且請求格式保持一致。 - 請求格式:使用 messages 陣列,包含 type: text 與 type: image_url 兩個部分,支援公開網址與 base64 資料格式。
推薦理由:原文詳細拆解如何透過 API 傳送圖片給多模態大語言模型,開發者可據此評估公開網址與 base64 編碼的適用時機。
本文介紹了 Strands Robots 中的流式資料閉環方案,展示瞭如何通過自然語言指令錄製機器人示範資料、將其同步至 Hugging Face Storage Buckets 並進行基於 Xet 的位元組級去重。隨後,開發者可以直接從 Hub 流式讀取資料集來訓練策略,並將訓練好的檢查點重新部署到硬體上。
GitHub PAT 失竊調查:Wiz CIRT 追蹤一場跨組織的攻擊,從偵測到封鎖,提供完整的調查流程。 - 攻擊階段:偵測到大量 git.clone 活動,使用 102 個 AWS IP 於 6/1 進行千級別克隆。
跨模型工具呼叫:一次編寫迴圈,隨意切換模型 - 工具定義:使用 OpenAI 相容的 JSON schema 定義 get_weather(location, unit),同一套工具可在所有模型上重用。
Trail of Bits 為 Signal 的 Automatic Key Verification (AKV) 系統提供獨立審核,透過 Merkle 樹簽名確保公開金鑰對映的全球一致性。
推薦理由:本博文詳細說明瞭 Trail of Bits 如何以獨立審核機制確保 Signal 的公開金鑰完整性,對於想實作類似金鑰透明度的安全工程師具有參考價值。
GitHub Copilot SDK for Java 是首個框架無關、AI 供應商中立的 Java 客戶端,支援 BYOK,允許直接連結 OpenAI、Azure、Anthropic 等端點,且不需要 Copilot 訂閱。
推薦理由:本文展示如何用 GitHub Copilot SDK for Java 進行框架無關的 AI 整合,並提供完整 Jakarta EE 11 範例與實作細節,對 Java 開發者最佳化 AI 服務流程有實際指引。
Metabase 在 2026 年 8 月 6 日披露 1.58+ 版本的零日 SQL 注入漏洞,已被實際利用並公佈 PoC。 - 漏洞範圍:/api/session/reset_password,影響 Metabase Cloud 及自託部署,已被 13% 的雲端環境使用。
推薦理由:Metabase 1.58+ 版本因 SQLi 漏洞被利用,已公佈 PoC,需即時升級或修補,並監控自託部署環境以防再發。
vLLM 透過社群貢獻的最佳化核心與異構快取設計,讓 Qwen3.5 在 GB200 NVL72 系統上每 GPU 總 TPS 超過 25,000。
推薦理由:本文提供可實踐的最佳實踐與配置,藉助 vLLM 社群貢獻的最佳化核心與異構快取設計,幫助開發者在 Qwen3.5 上達成 25K TPS/GPU 的高效推理,並可快速複製至自家環境。
OpenRouter 官方文章介紹了 6 種用於控管團隊 AI 花費的控制機制,並針對不同團隊規模與風險需求提供實用的配置建議。 - 六大控制機制:包含金鑰額度限制、防護欄、工作區預算、預設配置、組織與角色許可權,以及活動儀錶板。
本文示範如何將 AI 產生的大型 Pull Request 轉為可審核的分層流程。 - Stacked Pull Requests:將功能拆解成多層 Pull Request,每層以前一層為基底。
推薦理由:本文示範如何利用堆疊 PR 讓 AI 產生的巨型 PR 變成可審核的分層流程,對提升團隊審核效率與衝突管理尤為重要。
Supabase 針對其檔案是否適合編碼代理進行實驗測試,發現許多安全細節被代理忽略,並提出改進方法。 - 測試方法:使用 supabase/evals 框架,讓代理完成 Row Level Security 設定任務並自動評分。
Dedicated Model Inference 是 Together AI 平臺的核心功能,允許使用者透過 endpoint、deployment 與 config 三層結構,實現容量感知的流量分配與零停機升級。
/goal 是 Codex 的目標驅動功能,可協助安全研究人員自動化漏洞掃描。本文以 Trail of Bits 在「Patch the Planet」計畫中的實際使用為例,說明如何設計 prompt、定義成功條件,以及如何驗證結果。
推薦理由:本文示範如何利用 Codex /goal 進行自動化漏洞掃描,提供實作範例與最佳實踐,對安全研究人員與開源專案維護者具有參考價值。
OpenRouter 官方發布指南,深入解析如何跨延遲、吞吐量、正常執行時間與量化精度評估不同大模型服務商的效能表現。 - 四大核心指標:延遲(首字延遲 TTFT)、吞吐量(每秒輸出 token 數)、正常執行時間與量化精度,並建議使用 p90 與 p99 尾部延遲而非平均值來衡量真實體驗。
本文記錄 DaoCloud 團隊使用 vLLM 在 24 張 NVIDIA B300 伺服器上部署 GLM-5.2-NVFP4 的完整實務調校過程,透過預先拆分(Prefill/Decode disaggregation)與多項最佳化將 16K 輸入的平均 TPOT 從接近 40 ms 降至 17 ms。
推薦理由:文章詳述在 24 張 NVIDIA B300 叢集上部署 GLM-5.2 的完整調校歷程與可重現指令,工程團隊可藉此評估生產環境的延遲最佳化策略。
OpenRouter 發布了關於如何結合提示詞快取(Prompt Caching)與黏性路由(Sticky Routing)降低多輪對話成本的完整教學。
儘管架構更新,但憑藉領域專注度和針對性訓練,DharmaOCR 在巴西葡萄牙語處理上依然表現優於 Mistral OCR4 和 Unlimited-OCR。在葡萄牙語專屬評估基準中,DharmaOCR 取得了 0.925 的分數,而 Mistral OCR4 為 0.798,Unlimited-OCR 為 0.7587。這種效能優勢源於其引數資源完全集中於單一語言領域,而非分散在多語言空間中。
OpenRouter 探討開發者該透過 OpenRouter 路由還是直接呼叫 DeepSeek 的 API,並分析平臺上的實際使用資料與供應商差異。
本文介紹了在 PyTorch 效能分析系列中如何對 Transformer 架構核心的 attention 機制進行剖析。文章通過對比原生 attention 與使用 masked_fill_ 等原地操作的程式碼,展示瞭如何通過單行修改消除 GPU 上的記憶體複製(Memcpy)kernel。
讓 AI 模型邊產生回答、邊更新訓練時,兩套系統算出的結果要保持接近,量化權重更新也不能弄亂模型狀態。AMD 與 Miles 團隊讓 DeepSeek-V4 Flash 在 ROCm 上透過 SGLang 產生回答、由 Megatron 訓練,再把更新後的權重送回去;他們也調整了兩邊處理模型的方式,並在 4 個節點上完成超過 100 次訓練步驟。測試中,離線 AIME-2024 的 pass@1 從 0.39 升到 0.49,pass@8 從 0.53 升到 0.67;團隊提醒,單次成績會有起伏,應觀察整體走勢。
推薦理由:這次實作呈現 SGLang 與 Megatron 如何在多次更新權重後維持接近的模型行為,並以離線測試追蹤訓練變化。
PRX 團隊公開了 7B 模型的預訓練資料策略,詳細闡述了結合公共與內部資料集、利用 VLM 重新加長文本標註以及通過 Mosaic Streaming(MDS)和 Lance 格式進行分散式訓練的完整資料流水線。該團隊放棄了預計算文本潛變數,轉而在訓練迴圈中動態執行 Qwen3-VL 文本編碼器,僅帶來約 3-4% 的吞吐量成本。
MoE 模型把工作分給多張 GPU 時,熱門專家可能讓部分 GPU 忙不過來,其他 GPU 卻在等。NVIDIA 團隊介紹 SGLang 的兩種分流方法:Waterfill 把共用專家的工作交給較不忙的 GPU;LPLB 則在同一專家的多個副本之間調整工作量。兩者都保留模型原本選的專家,只改由哪張 GPU 執行。測試中,Waterfill 在 DeepSeek-V3/R1 型別的工作負載上提升吞吐量 1.48% 到 4.66%;LPLB 在有專家副本可供分流時提升 0.84% 到 7.34%。LPLB 沒有副本可選時則無法平衡負載,還會增加運算開銷。
推薦理由:文章以相同硬體與工作負載比較兩種分流方法,呈現它們各自適用的負載型別,以及流量平衡後的吞吐量變化。
Modal 針對沙盒啟動延遲進行拆解,指出容器啟動只是整個流程的一小段,真正耗時的是應用程式初始化。 - 完整啟動週期 Created → Scheduled → Started → Ready → In Use,容器啟動時間通常佔不到 10% 的總等待。
推薦理由:瞭解沙盒啟動全流程與最佳化方法,能協助工程師減少使用者等待時間並提升系統吞吐量,在高併發環境下更顯優勢。
FlashAttention-4 針對推理工作負載進行多項最佳化,提升大型語言模型的效能。 - FP8 支援:新增 8-bit 浮點輸入,吞吐率相較 bf16 基準提升至 1.16 倍。
AI 助理在多輪任務中會反覆呼叫模型和工具;如果訓練時重新整理對話,模型實際看過的內容可能被改掉。Miles 用 Token-In-Token-Out(TITO)原則,讓每一輪只把新內容接到原有 token 序列後面,並檢查它是否和完整對話重新產生的內容相符。文章舉例說明,文字轉回 token 時可能變成不同切法,聊天格式也可能刪掉先前的推理,或改變工具呼叫的空格。這些差異會讓訓練時的上下文和模型生成時不一致;Miles 也為不同模型處理格式邊界的差異,並列出目前支援的模型。
Together AI 透過 TensorRT 多型別引擎、CUDA Graph 以及共享記憶體等技術,打造出全球最快的語音辨識堆疊,能在 10 秒內完成約 20 小時的語音轉錄。
圖片多的問題一次送進 VLM 時,負責看圖的工作會讓 GPU 忙不過來,使用者得等更久。SGLang 透過 Dynamo 把部分圖片處理工作交給 CPU,再用路由器依照 CPU 和 GPU 的忙碌程度分配請求。測試使用 Qwen3-VL-8B-Instruct,在每秒送出 1 到 2 個請求時,混用 CPU 和 GPU 的做法,首個文字回覆時間和處理請求量提升約 1.2 到 1.3 倍;每個輸出 token 的等待時間則減少約 1.3 到 30 倍。這顯示,把看圖工作分給 CPU,有機會讓忙碌時的服務更快。
Modal 在其最新的技術部落格中說明,透過四項關鍵最佳化,將 GPU 推理伺服器的啟動時間從數千秒縮短至數十秒,實現真正無伺服器 GPU。 - 四項關鍵技術:雲端緩衝、內容定址檔案系統、CPU 記憶體檢點/恢復、GPU CUDA 記憶體檢點/恢復。
推薦理由:此篇詳細說明 Modal 如何透過四項關鍵最佳化,將 GPU 伺服器啟動時間從數千秒縮短至數十秒,對想打造高效、彈性 AI 推理平臺的工程師具有實際參考價值。
導語:Devin 透過 AI 自動化失敗分流與測試生成,已在 RV Tech、Mercedes 等 OEM 的 HIL/SIL 工作流程中,將工程人力節省 2K–4K 小時/月,並將測試產出提升 10 倍。
推薦理由:AI 驅動的自動失敗分流與測試生成,節省數千人力小時,提升測試產出十倍,對車載驗證效率具參考價值。
DeepSeek-V4 支援百萬 token 上下文,核心在於混合注意力設計與 KV 壓縮,本文說明如何將此架構轉化為實際推理效能。 - 1M-token 上下文:透過 CSA、HCA、SWA 三種注意力路徑,將 token 軸壓縮,減少 KV 快取佔用。
推薦理由:文章說明 DeepSeek-V4 1M-token 上下文的架構最佳化與實際部署關鍵,幫助讀者評估長文本推理效能與成本。
Goose Agent 與 Together Dedicated Container Inference 讓開發者能在一個 session 內把 Hugging Face 上的新模型(如 Netflix 的 void‑model)部署到 GPU 背景的容器中,零配置即時使用。
推薦理由:本文示範如何利用 Goose Agent 及 Together Dedicated Container Inference,將 Hugging Face 模型零配置即時部署,縮短從發布到使用的時間,對快速實驗與落地具有實務價值。
SGLang v0.5.10 新增的 CUDA IPC Pool Handle Cache 能讓多模態推理吞吐率提升 16%,平均延遲下降 10%。
summary_zh: - AE Studio 透過 Modal 平臺,將大語言模型(LLM)訓練成能在 Lean 語言中證明數學定理的 AI,並比較 GRPO 與 Evolution Strategies (ES) 兩種強化學習更新規則。