跳到正文

#教學/實務

RSS
今日 0 則
8月23日週日
8月22日週六
  1. vLLM Official Blog72

    vLLM 透過 Ray Direct Transport (RDT) 實現大規模分片權重傳輸

    本教程說明如何在 vLLM 中使用 Ray Direct Transport (RDT) 進行大規模分片權重傳輸,將同步時間從 64.72 秒縮短至 3.49 秒,實現 1,049 GB/s 的頻寬。

    推薦理由:此教程展示如何利用 Ray Direct Transport 將大型模型權重同步時間縮短至 3 秒,對於需要頻繁更新的 RL 伺服器提供實用的效能最佳化方法。

8月17日週一
  1. LMSYS Org Blog78

    SGLang 如何用 CUDA Graph 降低推論啟動開銷

    大型語言模型推論會連續啟動許多 GPU 操作,反覆由 CPU 發出指令可能拖慢速度。SGLang 團隊整理了 CUDA Graph 的做法,並把執行流程和捕捉方式拆開,讓預填充、解碼等工作能選用不同策略。文中重點介紹 BCG:遇到不適合錄進圖形的操作時,先讓它照常執行,再接著捕捉後面的工作,因此不必先用編譯器分析整個流程。團隊測得,單看預填充速度,BCG 比直接執行快 1.70 倍;完整捕捉快 1.93 倍,但目前仍屬實驗功能,主要支援 FlashAttention(fa4)和 FlashInfer。

    推薦理由:文章比較三種 CUDA Graph 預填充捕捉方式,說明 BCG 如何減少編譯等待與重複記憶體佔用,並交代完整捕捉目前的適用限制。

8月14日週五
  1. openrouter blog75

    如何透過 API 將圖片傳送給大語言模型:視覺指南

    本文介紹如何在聊天請求中透過 content 陣列傳送文字與圖片,支援多種視覺模型且請求格式保持一致。 - 請求格式:使用 messages 陣列,包含 type: text 與 type: image_url 兩個部分,支援公開網址與 base64 資料格式。

    推薦理由:原文詳細拆解如何透過 API 傳送圖片給多模態大語言模型,開發者可據此評估公開網址與 base64 編碼的適用時機。

  2. Hugging Face Blog65

    使用 Strands Agents、LeRobot 與 Hugging Face Storage Buckets 實現錄製、訓練與部署一體化

    本文介紹了 Strands Robots 中的流式資料閉環方案,展示瞭如何通過自然語言指令錄製機器人示範資料、將其同步至 Hugging Face Storage Buckets 並進行基於 Xet 的位元組級去重。隨後,開發者可以直接從 Hub 流式讀取資料集來訓練策略,並將訓練好的檢查點重新部署到硬體上。

8月13日週四
8月12日週三
  1. Trail of Bits Blog74

    Trail of Bits 如何協助驗證 Signal 聊天完整性

    Trail of Bits 為 Signal 的 Automatic Key Verification (AKV) 系統提供獨立審核,透過 Merkle 樹簽名確保公開金鑰對映的全球一致性。

    推薦理由:本博文詳細說明瞭 Trail of Bits 如何以獨立審核機制確保 Signal 的公開金鑰完整性,對於想實作類似金鑰透明度的安全工程師具有參考價值。

8月11日週二
  1. GitHub Engineering74

    使用 GitHub Copilot SDK for Java 進行 Java AI 整合

    GitHub Copilot SDK for Java 是首個框架無關、AI 供應商中立的 Java 客戶端,支援 BYOK,允許直接連結 OpenAI、Azure、Anthropic 等端點,且不需要 Copilot 訂閱。

    推薦理由:本文展示如何用 GitHub Copilot SDK for Java 進行框架無關的 AI 整合,並提供完整 Jakarta EE 11 範例與實作細節,對 Java 開發者最佳化 AI 服務流程有實際指引。

8月10日週一
  1. Wiz Blog & Research77

    Metabase SQLi 漏洞被實際利用,已公佈 PoC

    Metabase 在 2026 年 8 月 6 日披露 1.58+ 版本的零日 SQL 注入漏洞,已被實際利用並公佈 PoC。 - 漏洞範圍:/api/session/reset_password,影響 Metabase Cloud 及自託部署,已被 13% 的雲端環境使用。

    推薦理由:Metabase 1.58+ 版本因 SQLi 漏洞被利用,已公佈 PoC,需即時升級或修補,並監控自託部署環境以防再發。

8月6日週四
  1. vLLM Official Blog77

    vLLM 在 Qwen3.5 上達成每 GPU 25K 總 TPS

    vLLM 透過社群貢獻的最佳化核心與異構快取設計,讓 Qwen3.5 在 GB200 NVL72 系統上每 GPU 總 TPS 超過 25,000。

    推薦理由:本文提供可實踐的最佳實踐與配置,藉助 vLLM 社群貢獻的最佳化核心與異構快取設計,幫助開發者在 Qwen3.5 上達成 25K TPS/GPU 的高效推理,並可快速複製至自家環境。

  2. openrouter blog66

    如何在 OpenRouter 上控管團隊的 AI 支出

    OpenRouter 官方文章介紹了 6 種用於控管團隊 AI 花費的控制機制,並針對不同團隊規模與風險需求提供實用的配置建議。 - 六大控制機制:包含金鑰額度限制、防護欄、工作區預算、預設配置、組織與角色許可權,以及活動儀錶板。

8月5日週三
  1. GitHub Engineering80

    GitHub 透過堆疊 Pull Request 讓 AI 產生的巨型 PR 變成可審核的分層流程

    本文示範如何將 AI 產生的大型 Pull Request 轉為可審核的分層流程。 - Stacked Pull Requests:將功能拆解成多層 Pull Request,每層以前一層為基底。

    推薦理由:本文示範如何利用堆疊 PR 讓 AI 產生的巨型 PR 變成可審核的分層流程,對提升團隊審核效率與衝突管理尤為重要。

8月1日週六
7月29日週三
7月28日週二
  1. Trail of Bits Blog73

    我們如何使用 /goal 在 Patch the Planet 尋找漏洞

    /goal 是 Codex 的目標驅動功能,可協助安全研究人員自動化漏洞掃描。本文以 Trail of Bits 在「Patch the Planet」計畫中的實際使用為例,說明如何設計 prompt、定義成功條件,以及如何驗證結果。

    推薦理由:本文示範如何利用 Codex /goal 進行自動化漏洞掃描,提供實作範例與最佳實踐,對安全研究人員與開源專案維護者具有參考價值。

  2. openrouter blog68

    如何跨延遲、吞吐量與正常執行時間評估大模型服務商效能

    OpenRouter 官方發布指南,深入解析如何跨延遲、吞吐量、正常執行時間與量化精度評估不同大模型服務商的效能表現。 - 四大核心指標:延遲(首字延遲 TTFT)、吞吐量(每秒輸出 token 數)、正常執行時間與量化精度,並建議使用 p90 與 p99 尾部延遲而非平均值來衡量真實體驗。

7月23日週四
  1. vLLM Official Blog86

    如何使用 vLLM 在 24 張 NVIDIA B300 部署 GLM-5.2 達到生產級 SLA

    本文記錄 DaoCloud 團隊使用 vLLM 在 24 張 NVIDIA B300 伺服器上部署 GLM-5.2-NVFP4 的完整實務調校過程,透過預先拆分(Prefill/Decode disaggregation)與多項最佳化將 16K 輸入的平均 TPOT 從接近 40 ms 降至 17 ms。

    推薦理由:文章詳述在 24 張 NVIDIA B300 叢集上部署 GLM-5.2 的完整調校歷程與可重現指令,工程團隊可藉此評估生產環境的延遲最佳化策略。

7月21日週二
7月16日週四
  1. Hugging Face Blog31

    Newer Models, Same Advantage:DharmaOCR 如何憑領域專注度擊敗更新的模型

    儘管架構更新,但憑藉領域專注度和針對性訓練,DharmaOCR 在巴西葡萄牙語處理上依然表現優於 Mistral OCR4 和 Unlimited-OCR。在葡萄牙語專屬評估基準中,DharmaOCR 取得了 0.925 的分數,而 Mistral OCR4 為 0.798,Unlimited-OCR 為 0.7587。這種效能優勢源於其引數資源完全集中於單一語言領域,而非分散在多語言空間中。

7月13日週一
7月10日週五
  1. LMSYS Org Blog67

    AMD 讓 DeepSeek-V4 Flash 能在 Instinct MI355X 上進行強化學習訓練

    讓 AI 模型邊產生回答、邊更新訓練時,兩套系統算出的結果要保持接近,量化權重更新也不能弄亂模型狀態。AMD 與 Miles 團隊讓 DeepSeek-V4 Flash 在 ROCm 上透過 SGLang 產生回答、由 Megatron 訓練,再把更新後的權重送回去;他們也調整了兩邊處理模型的方式,並在 4 個節點上完成超過 100 次訓練步驟。測試中,離線 AIME-2024 的 pass@1 從 0.39 升到 0.49,pass@8 從 0.53 升到 0.67;團隊提醒,單次成績會有起伏,應觀察整體走勢。

    推薦理由:這次實作呈現 SGLang 與 Megatron 如何在多次更新權重後維持接近的模型行為,並以離線測試追蹤訓練變化。

7月6日週一
  1. Hugging Face Blog47

    PRX 第 4 部分:資料策略

    PRX 團隊公開了 7B 模型的預訓練資料策略,詳細闡述了結合公共與內部資料集、利用 VLM 重新加長文本標註以及通過 Mosaic Streaming(MDS)和 Lance 格式進行分散式訓練的完整資料流水線。該團隊放棄了預計算文本潛變數,轉而在訓練迴圈中動態執行 Qwen3-VL 文本編碼器,僅帶來約 3-4% 的吞吐量成本。

6月26日週五
  1. LMSYS Org Blog68

    SGLang 如何用 Waterfill 和 LPLB 平衡 DeepEP MoE 負載

    MoE 模型把工作分給多張 GPU 時,熱門專家可能讓部分 GPU 忙不過來,其他 GPU 卻在等。NVIDIA 團隊介紹 SGLang 的兩種分流方法:Waterfill 把共用專家的工作交給較不忙的 GPU;LPLB 則在同一專家的多個副本之間調整工作量。兩者都保留模型原本選的專家,只改由哪張 GPU 執行。測試中,Waterfill 在 DeepSeek-V3/R1 型別的工作負載上提升吞吐量 1.48% 到 4.66%;LPLB 在有專家副本可供分流時提升 0.84% 到 7.34%。LPLB 沒有副本可選時則無法平衡負載,還會增加運算開銷。

    推薦理由:文章以相同硬體與工作負載比較兩種分流方法,呈現它們各自適用的負載型別,以及流量平衡後的吞吐量變化。

6月22日週一
  1. Modal Engineering Blog72

    拆解沙盒啟動延遲:為什麼啟動 ≠ 就緒

    Modal 針對沙盒啟動延遲進行拆解,指出容器啟動只是整個流程的一小段,真正耗時的是應用程式初始化。 - 完整啟動週期 Created → Scheduled → Started → Ready → In Use,容器啟動時間通常佔不到 10% 的總等待。

    推薦理由:瞭解沙盒啟動全流程與最佳化方法,能協助工程師減少使用者等待時間並提升系統吞吐量,在高併發環境下更顯優勢。

6月11日週四
6月5日週五
  1. LMSYS Org Blog56

    Miles 如何讓 AI 助理訓練時保留推論用過的每個 token

    AI 助理在多輪任務中會反覆呼叫模型和工具;如果訓練時重新整理對話,模型實際看過的內容可能被改掉。Miles 用 Token-In-Token-Out(TITO)原則,讓每一輪只把新內容接到原有 token 序列後面,並檢查它是否和完整對話重新產生的內容相符。文章舉例說明,文字轉回 token 時可能變成不同切法,聊天格式也可能刪掉先前的推理,或改變工具呼叫的空格。這些差異會讓訓練時的上下文和模型生成時不一致;Miles 也為不同模型處理格式邊界的差異,並列出目前支援的模型。

5月29日週五
  1. LMSYS Org Blog50

    SGLang 如何讓 CPU 分擔 VLM 圖片處理,提升 AI 服務速度

    圖片多的問題一次送進 VLM 時,負責看圖的工作會讓 GPU 忙不過來,使用者得等更久。SGLang 透過 Dynamo 把部分圖片處理工作交給 CPU,再用路由器依照 CPU 和 GPU 的忙碌程度分配請求。測試使用 Qwen3-VL-8B-Instruct,在每秒送出 1 到 2 個請求時,混用 CPU 和 GPU 的做法,首個文字回覆時間和處理請求量提升約 1.2 到 1.3 倍;每個輸出 token 的等待時間則減少約 1.3 到 30 倍。這顯示,把看圖工作分給 CPU,有機會讓忙碌時的服務更快。

5月12日週二
  1. Modal Engineering Blog82

    Modal 如何實現真正無伺服器 GPU

    Modal 在其最新的技術部落格中說明,透過四項關鍵最佳化,將 GPU 推理伺服器的啟動時間從數千秒縮短至數十秒,實現真正無伺服器 GPU。 - 四項關鍵技術:雲端緩衝、內容定址檔案系統、CPU 記憶體檢點/恢復、GPU CUDA 記憶體檢點/恢復。

    推薦理由:此篇詳細說明 Modal 如何透過四項關鍵最佳化,將 GPU 伺服器啟動時間從數千秒縮短至數十秒,對想打造高效、彈性 AI 推理平臺的工程師具有實際參考價值。

5月11日週一
  1. Cognition / Devin Blog65

    如何透過 AI 自動化失敗分流與測試產出 10 倍:HIL/SIL 工作流程中的實務經驗

    導語:Devin 透過 AI 自動化失敗分流與測試生成,已在 RV Tech、Mercedes 等 OEM 的 HIL/SIL 工作流程中,將工程人力節省 2K–4K 小時/月,並將測試產出提升 10 倍。

    推薦理由:AI 驅動的自動失敗分流與測試生成,節省數千人力小時,提升測試產出十倍,對車載驗證效率具參考價值。

  2. Together AI Official Blog74

    Serving DeepSeek-V4:為何百萬 token 上下文成為推理系統難題

    DeepSeek-V4 支援百萬 token 上下文,核心在於混合注意力設計與 KV 壓縮,本文說明如何將此架構轉化為實際推理效能。 - 1M-token 上下文:透過 CSA、HCA、SWA 三種注意力路徑,將 token 軸壓縮,減少 KV 快取佔用。

    推薦理由:文章說明 DeepSeek-V4 1M-token 上下文的架構最佳化與實際部署關鍵,幫助讀者評估長文本推理效能與成本。

5月8日週五
  1. Together AI Official Blog77

    Goose Agent 與 Together DCI:零配置即時部署 Hugging Face 模型

    Goose Agent 與 Together Dedicated Container Inference 讓開發者能在一個 session 內把 Hugging Face 上的新模型(如 Netflix 的 void‑model)部署到 GPU 背景的容器中,零配置即時使用。

    推薦理由:本文示範如何利用 Goose Agent 及 Together Dedicated Container Inference,將 Hugging Face 模型零配置即時部署,縮短從發布到使用的時間,對快速實驗與落地具有實務價值。

5月4日週一
4月29日週三