跳到正文

教學與實務

拿來就能用的實操內容:提示詞技巧、工作流搭建、工具用法與踩坑經驗。

最新精選

第 521–540 條 · 共 557 條
9月14日週一
9月10日週四
  1. vLLM Official Blog79

    vLLM 推出多層 KV 快取分層,提升 GPU 記憶體利用率與多使用者吞吐量

    vLLM 於 2026 年 9 月 10 日發布的 Tiered KV Cache Offloading 方案,將長上下文模型的 KV 快取分層到主機記憶體、檔案系統、物件儲存與遠端節點,避免重複預填。

    推薦理由:vLLM 透過多層 KV 快取分層,降低 GPU 記憶體壓力,提升多使用者會話吞吐,並支援跨節點共享與自動熱啟動,讀者可直接應用於大模型部署。

  2. Hugging Face Blog73

    基於 Hugging Face Jobs 與儲存桶跨節點非同步訓練 LoRA

    Hugging Face 官方介紹瞭如何使用 TRL v1.14 中的 AsyncGRPOTrainer 在不同機器上非同步訓練 LoRA 介面卡並同步至 vLLM。通過將兆位元組大小的 rank-1 介面卡寫入儲存桶並藉助代理路由 KV 快取字首,該方案省去了 NCCL 跨節點通訊,使 500 步訓練耗時縮短至原來的四分之一。

    推薦理由:文章展示瞭如何在不同機器上執行訓練與推理,通過儲存桶同步 LoRA 介面卡,為分散式強化學習提供了可複用的工程方案。

9月2日週三
8月28日週五
  1. LMSYS Org Blog71

    Infer-forge 如何用任務流程協調 SGLang 推論工程

    推論效能的改動常牽涉多個程式庫、部署設定和測試條件,少了其中一環,結果就難以重做或比較。LMSYS 團隊介紹內部使用的 Infer-forge,讓每項工作先寫清楚目標、範圍和驗收方式,再由 AI 助理分段執行、留下紀錄,並把有依賴關係的工作接成任務圖。驗證結果可交給下一項工作,失敗或放棄的方向也會留下紀錄。團隊表示,這套系統目前不開放原始碼,但公開了建置方法;一名工程師的紀錄中,同時進行的任務數量高峰從 2 項增至 9 項。

    推薦理由:文章以推論工程為例,說明如何把可重現的執行環境、持續工作的任務流程與專案依賴連在一起,並保留驗證證據。

8月26日週三
  1. The Go Blog85

    Go 1.27 泛型方法教學

    Go 1.27 針對泛型方法推出新語法,讓結構方法能直接使用型別引數,提升程式碼簡潔度與可讀性。 - 新語法:func (List[E]) MapR any R) List[R] 允許在結構上直接呼叫泛型方法,支援鏈式呼叫。

    推薦理由:本文示範 Go 1.27 新增泛型方法,讓程式碼更簡潔、可讀性提升,對開發者實務應用具重要參考價值。

  2. Hugging Face Blog77

    使用 Sentence Transformers 訓練和微調多向量嵌入模型

    Sentence Transformers v6.0 版本引入了多向量檢索模型和完整的訓練方法。作者以醫療檢索領域為例,展示瞭如何在一塊消費級 GPU 上微調出一個超越各大通用檢索模型的領域專用模型。微調方法涵蓋了模型選擇、資料集格式、損失函式、訓練引數以及評估器等核心元件。

    推薦理由:文章給出了多向量嵌入模型的完整訓練與微調步驟,讀者可以據此在特定領域獲得超越通用檢索模型的效果。

8月25日週二
  1. openrouter blog74

    如何在編輯器中即時挑選最佳 AI 模型

    核心框架:先定義任務,從即時使用率與第三方基準篩選候選,最後在自己的 prompt 上測試。 成本衡量:以「每完成一個任務的成本」為單位,而非每 token 價格,並考慮重試與延遲。 工具支援:OpenRouter MCP 伺服器可在任何編輯器中連線,提供即時排名、價格、延遲與測試介面。

    推薦理由:文章提供了以成本、延遲和任務為核心的模型挑選流程,幫助工程師快速評估並落地實際工作。

8月22日週六
  1. vLLM Official Blog72

    vLLM 透過 Ray Direct Transport (RDT) 實現大規模分片權重傳輸

    本教程說明如何在 vLLM 中使用 Ray Direct Transport (RDT) 進行大規模分片權重傳輸,將同步時間從 64.72 秒縮短至 3.49 秒,實現 1,049 GB/s 的頻寬。

    推薦理由:此教程展示如何利用 Ray Direct Transport 將大型模型權重同步時間縮短至 3 秒,對於需要頻繁更新的 RL 伺服器提供實用的效能最佳化方法。

8月17日週一
  1. LMSYS Org Blog78

    SGLang 如何用 CUDA Graph 降低推論啟動開銷

    大型語言模型推論會連續啟動許多 GPU 操作,反覆由 CPU 發出指令可能拖慢速度。SGLang 團隊整理了 CUDA Graph 的做法,並把執行流程和捕捉方式拆開,讓預填充、解碼等工作能選用不同策略。文中重點介紹 BCG:遇到不適合錄進圖形的操作時,先讓它照常執行,再接著捕捉後面的工作,因此不必先用編譯器分析整個流程。團隊測得,單看預填充速度,BCG 比直接執行快 1.70 倍;完整捕捉快 1.93 倍,但目前仍屬實驗功能,主要支援 FlashAttention(fa4)和 FlashInfer。

    推薦理由:文章比較三種 CUDA Graph 預填充捕捉方式,說明 BCG 如何減少編譯等待與重複記憶體佔用,並交代完整捕捉目前的適用限制。

8月14日週五
  1. openrouter blog75

    如何透過 API 將圖片傳送給大語言模型:視覺指南

    本文介紹如何在聊天請求中透過 content 陣列傳送文字與圖片,支援多種視覺模型且請求格式保持一致。 - 請求格式:使用 messages 陣列,包含 type: text 與 type: image_url 兩個部分,支援公開網址與 base64 資料格式。

    推薦理由:原文詳細拆解如何透過 API 傳送圖片給多模態大語言模型,開發者可據此評估公開網址與 base64 編碼的適用時機。

8月12日週三
  1. Trail of Bits Blog74

    Trail of Bits 如何協助驗證 Signal 聊天完整性

    Trail of Bits 為 Signal 的 Automatic Key Verification (AKV) 系統提供獨立審核,透過 Merkle 樹簽名確保公開金鑰對映的全球一致性。

    推薦理由:本博文詳細說明瞭 Trail of Bits 如何以獨立審核機制確保 Signal 的公開金鑰完整性,對於想實作類似金鑰透明度的安全工程師具有參考價值。

8月11日週二
  1. GitHub Engineering74

    使用 GitHub Copilot SDK for Java 進行 Java AI 整合

    GitHub Copilot SDK for Java 是首個框架無關、AI 供應商中立的 Java 客戶端,支援 BYOK,允許直接連結 OpenAI、Azure、Anthropic 等端點,且不需要 Copilot 訂閱。

    推薦理由:本文展示如何用 GitHub Copilot SDK for Java 進行框架無關的 AI 整合,並提供完整 Jakarta EE 11 範例與實作細節,對 Java 開發者最佳化 AI 服務流程有實際指引。

8月10日週一
  1. Wiz Blog & Research77

    Metabase SQLi 漏洞被實際利用,已公佈 PoC

    Metabase 在 2026 年 8 月 6 日披露 1.58+ 版本的零日 SQL 注入漏洞,已被實際利用並公佈 PoC。 - 漏洞範圍:/api/session/reset_password,影響 Metabase Cloud 及自託部署,已被 13% 的雲端環境使用。

    推薦理由:Metabase 1.58+ 版本因 SQLi 漏洞被利用,已公佈 PoC,需即時升級或修補,並監控自託部署環境以防再發。

8月6日週四
  1. vLLM Official Blog77

    vLLM 在 Qwen3.5 上達成每 GPU 25K 總 TPS

    vLLM 透過社群貢獻的最佳化核心與異構快取設計,讓 Qwen3.5 在 GB200 NVL72 系統上每 GPU 總 TPS 超過 25,000。

    推薦理由:本文提供可實踐的最佳實踐與配置,藉助 vLLM 社群貢獻的最佳化核心與異構快取設計,幫助開發者在 Qwen3.5 上達成 25K TPS/GPU 的高效推理,並可快速複製至自家環境。

8月5日週三
  1. GitHub Engineering80

    GitHub 透過堆疊 Pull Request 讓 AI 產生的巨型 PR 變成可審核的分層流程

    本文示範如何將 AI 產生的大型 Pull Request 轉為可審核的分層流程。 - Stacked Pull Requests:將功能拆解成多層 Pull Request,每層以前一層為基底。

    推薦理由:本文示範如何利用堆疊 PR 讓 AI 產生的巨型 PR 變成可審核的分層流程,對提升團隊審核效率與衝突管理尤為重要。

7月28日週二
  1. Trail of Bits Blog73

    我們如何使用 /goal 在 Patch the Planet 尋找漏洞

    /goal 是 Codex 的目標驅動功能,可協助安全研究人員自動化漏洞掃描。本文以 Trail of Bits 在「Patch the Planet」計畫中的實際使用為例,說明如何設計 prompt、定義成功條件,以及如何驗證結果。

    推薦理由:本文示範如何利用 Codex /goal 進行自動化漏洞掃描,提供實作範例與最佳實踐,對安全研究人員與開源專案維護者具有參考價值。

7月23日週四
  1. vLLM Official Blog86

    如何使用 vLLM 在 24 張 NVIDIA B300 部署 GLM-5.2 達到生產級 SLA

    本文記錄 DaoCloud 團隊使用 vLLM 在 24 張 NVIDIA B300 伺服器上部署 GLM-5.2-NVFP4 的完整實務調校過程,透過預先拆分(Prefill/Decode disaggregation)與多項最佳化將 16K 輸入的平均 TPOT 從接近 40 ms 降至 17 ms。

    推薦理由:文章詳述在 24 張 NVIDIA B300 叢集上部署 GLM-5.2 的完整調校歷程與可重現指令,工程團隊可藉此評估生產環境的延遲最佳化策略。

7月10日週五
  1. LMSYS Org Blog67

    AMD 讓 DeepSeek-V4 Flash 能在 Instinct MI355X 上進行強化學習訓練

    讓 AI 模型邊產生回答、邊更新訓練時,兩套系統算出的結果要保持接近,量化權重更新也不能弄亂模型狀態。AMD 與 Miles 團隊讓 DeepSeek-V4 Flash 在 ROCm 上透過 SGLang 產生回答、由 Megatron 訓練,再把更新後的權重送回去;他們也調整了兩邊處理模型的方式,並在 4 個節點上完成超過 100 次訓練步驟。測試中,離線 AIME-2024 的 pass@1 從 0.39 升到 0.49,pass@8 從 0.53 升到 0.67;團隊提醒,單次成績會有起伏,應觀察整體走勢。

    推薦理由:這次實作呈現 SGLang 與 Megatron 如何在多次更新權重後維持接近的模型行為,並以離線測試追蹤訓練變化。