Connections:Managed Deep Agents 的管理憑證與每位呼叫者身份認證
Connections 是 LangChain 的 Managed Deep Agents 內建功能,允許在執行時以不同的憑證與身份呼叫第三方 API。
推薦理由:本篇說明如何在 Managed Deep Agents 中使用 Connections 進行多使用者認證,讓代理程式能以不同身份執行操作,對開發者整合第三方 API 具有實務參考價值。
拿來就能用的實操內容:提示詞技巧、工作流搭建、工具用法與踩坑經驗。
Connections 是 LangChain 的 Managed Deep Agents 內建功能,允許在執行時以不同的憑證與身份呼叫第三方 API。
推薦理由:本篇說明如何在 Managed Deep Agents 中使用 Connections 進行多使用者認證,讓代理程式能以不同身份執行操作,對開發者整合第三方 API 具有實務參考價值。
vLLM 於 2026 年 9 月 10 日發布的 Tiered KV Cache Offloading 方案,將長上下文模型的 KV 快取分層到主機記憶體、檔案系統、物件儲存與遠端節點,避免重複預填。
推薦理由:vLLM 透過多層 KV 快取分層,降低 GPU 記憶體壓力,提升多使用者會話吞吐,並支援跨節點共享與自動熱啟動,讀者可直接應用於大模型部署。
Hugging Face 官方介紹瞭如何使用 TRL v1.14 中的 AsyncGRPOTrainer 在不同機器上非同步訓練 LoRA 介面卡並同步至 vLLM。通過將兆位元組大小的 rank-1 介面卡寫入儲存桶並藉助代理路由 KV 快取字首,該方案省去了 NCCL 跨節點通訊,使 500 步訓練耗時縮短至原來的四分之一。
推薦理由:文章展示瞭如何在不同機器上執行訓練與推理,通過儲存桶同步 LoRA 介面卡,為分散式強化學習提供了可複用的工程方案。
Go 1.27 推出 goroutine leak profiler,可在執行中的 Go 程式(包括正式環境)偵測並定位特定型別的 goroutine 洩漏。
推薦理由:Go 1.27 的 goroutine leak profiler 可在執行中的服務定位特定阻塞洩漏,文中以多種並行錯誤說明其偵測範圍與成本。
推論效能的改動常牽涉多個程式庫、部署設定和測試條件,少了其中一環,結果就難以重做或比較。LMSYS 團隊介紹內部使用的 Infer-forge,讓每項工作先寫清楚目標、範圍和驗收方式,再由 AI 助理分段執行、留下紀錄,並把有依賴關係的工作接成任務圖。驗證結果可交給下一項工作,失敗或放棄的方向也會留下紀錄。團隊表示,這套系統目前不開放原始碼,但公開了建置方法;一名工程師的紀錄中,同時進行的任務數量高峰從 2 項增至 9 項。
推薦理由:文章以推論工程為例,說明如何把可重現的執行環境、持續工作的任務流程與專案依賴連在一起,並保留驗證證據。
Go 1.27 針對泛型方法推出新語法,讓結構方法能直接使用型別引數,提升程式碼簡潔度與可讀性。 - 新語法:func (List[E]) MapR any R) List[R] 允許在結構上直接呼叫泛型方法,支援鏈式呼叫。
推薦理由:本文示範 Go 1.27 新增泛型方法,讓程式碼更簡潔、可讀性提升,對開發者實務應用具重要參考價值。
Sentence Transformers v6.0 版本引入了多向量檢索模型和完整的訓練方法。作者以醫療檢索領域為例,展示瞭如何在一塊消費級 GPU 上微調出一個超越各大通用檢索模型的領域專用模型。微調方法涵蓋了模型選擇、資料集格式、損失函式、訓練引數以及評估器等核心元件。
推薦理由:文章給出了多向量嵌入模型的完整訓練與微調步驟,讀者可以據此在特定領域獲得超越通用檢索模型的效果。
核心框架:先定義任務,從即時使用率與第三方基準篩選候選,最後在自己的 prompt 上測試。 成本衡量:以「每完成一個任務的成本」為單位,而非每 token 價格,並考慮重試與延遲。 工具支援:OpenRouter MCP 伺服器可在任何編輯器中連線,提供即時排名、價格、延遲與測試介面。
推薦理由:文章提供了以成本、延遲和任務為核心的模型挑選流程,幫助工程師快速評估並落地實際工作。
本教程說明如何在 vLLM 中使用 Ray Direct Transport (RDT) 進行大規模分片權重傳輸,將同步時間從 64.72 秒縮短至 3.49 秒,實現 1,049 GB/s 的頻寬。
推薦理由:此教程展示如何利用 Ray Direct Transport 將大型模型權重同步時間縮短至 3 秒,對於需要頻繁更新的 RL 伺服器提供實用的效能最佳化方法。
vLLM-Omni 0.27.0 版加入分散式層級解除安裝 (DLO) 與 AllGather,可讓 200B+ DiT 模型跨多個 NPU 或 GPU 以最小主機記憶體執行。
推薦理由:此文詳細說明如何利用 vLLM-Omni 的分散式層級解除安裝,讀者可快速部署 200B+ DiT 模型並評估效能。
大型語言模型推論會連續啟動許多 GPU 操作,反覆由 CPU 發出指令可能拖慢速度。SGLang 團隊整理了 CUDA Graph 的做法,並把執行流程和捕捉方式拆開,讓預填充、解碼等工作能選用不同策略。文中重點介紹 BCG:遇到不適合錄進圖形的操作時,先讓它照常執行,再接著捕捉後面的工作,因此不必先用編譯器分析整個流程。團隊測得,單看預填充速度,BCG 比直接執行快 1.70 倍;完整捕捉快 1.93 倍,但目前仍屬實驗功能,主要支援 FlashAttention(fa4)和 FlashInfer。
推薦理由:文章比較三種 CUDA Graph 預填充捕捉方式,說明 BCG 如何減少編譯等待與重複記憶體佔用,並交代完整捕捉目前的適用限制。
本文介紹如何在聊天請求中透過 content 陣列傳送文字與圖片,支援多種視覺模型且請求格式保持一致。 - 請求格式:使用 messages 陣列,包含 type: text 與 type: image_url 兩個部分,支援公開網址與 base64 資料格式。
推薦理由:原文詳細拆解如何透過 API 傳送圖片給多模態大語言模型,開發者可據此評估公開網址與 base64 編碼的適用時機。
Trail of Bits 為 Signal 的 Automatic Key Verification (AKV) 系統提供獨立審核,透過 Merkle 樹簽名確保公開金鑰對映的全球一致性。
推薦理由:本博文詳細說明瞭 Trail of Bits 如何以獨立審核機制確保 Signal 的公開金鑰完整性,對於想實作類似金鑰透明度的安全工程師具有參考價值。
GitHub Copilot SDK for Java 是首個框架無關、AI 供應商中立的 Java 客戶端,支援 BYOK,允許直接連結 OpenAI、Azure、Anthropic 等端點,且不需要 Copilot 訂閱。
推薦理由:本文展示如何用 GitHub Copilot SDK for Java 進行框架無關的 AI 整合,並提供完整 Jakarta EE 11 範例與實作細節,對 Java 開發者最佳化 AI 服務流程有實際指引。
Metabase 在 2026 年 8 月 6 日披露 1.58+ 版本的零日 SQL 注入漏洞,已被實際利用並公佈 PoC。 - 漏洞範圍:/api/session/reset_password,影響 Metabase Cloud 及自託部署,已被 13% 的雲端環境使用。
推薦理由:Metabase 1.58+ 版本因 SQLi 漏洞被利用,已公佈 PoC,需即時升級或修補,並監控自託部署環境以防再發。
vLLM 透過社群貢獻的最佳化核心與異構快取設計,讓 Qwen3.5 在 GB200 NVL72 系統上每 GPU 總 TPS 超過 25,000。
推薦理由:本文提供可實踐的最佳實踐與配置,藉助 vLLM 社群貢獻的最佳化核心與異構快取設計,幫助開發者在 Qwen3.5 上達成 25K TPS/GPU 的高效推理,並可快速複製至自家環境。
本文示範如何將 AI 產生的大型 Pull Request 轉為可審核的分層流程。 - Stacked Pull Requests:將功能拆解成多層 Pull Request,每層以前一層為基底。
推薦理由:本文示範如何利用堆疊 PR 讓 AI 產生的巨型 PR 變成可審核的分層流程,對提升團隊審核效率與衝突管理尤為重要。
/goal 是 Codex 的目標驅動功能,可協助安全研究人員自動化漏洞掃描。本文以 Trail of Bits 在「Patch the Planet」計畫中的實際使用為例,說明如何設計 prompt、定義成功條件,以及如何驗證結果。
推薦理由:本文示範如何利用 Codex /goal 進行自動化漏洞掃描,提供實作範例與最佳實踐,對安全研究人員與開源專案維護者具有參考價值。
本文記錄 DaoCloud 團隊使用 vLLM 在 24 張 NVIDIA B300 伺服器上部署 GLM-5.2-NVFP4 的完整實務調校過程,透過預先拆分(Prefill/Decode disaggregation)與多項最佳化將 16K 輸入的平均 TPOT 從接近 40 ms 降至 17 ms。
推薦理由:文章詳述在 24 張 NVIDIA B300 叢集上部署 GLM-5.2 的完整調校歷程與可重現指令,工程團隊可藉此評估生產環境的延遲最佳化策略。
讓 AI 模型邊產生回答、邊更新訓練時,兩套系統算出的結果要保持接近,量化權重更新也不能弄亂模型狀態。AMD 與 Miles 團隊讓 DeepSeek-V4 Flash 在 ROCm 上透過 SGLang 產生回答、由 Megatron 訓練,再把更新後的權重送回去;他們也調整了兩邊處理模型的方式,並在 4 個節點上完成超過 100 次訓練步驟。測試中,離線 AIME-2024 的 pass@1 從 0.39 升到 0.49,pass@8 從 0.53 升到 0.67;團隊提醒,單次成績會有起伏,應觀察整體走勢。
推薦理由:這次實作呈現 SGLang 與 Megatron 如何在多次更新權重後維持接近的模型行為,並以離線測試追蹤訓練變化。