OpenRouter 推出提示詞快取與黏性路由教學
OpenRouter 發布了關於如何結合提示詞快取（Prompt Caching）與黏性路由（Sticky Routing）降低多輪對話成本的完整教學。
推薦理由：文章詳述提示詞快取與黏性路由的運作原理與配置方式，讀者可據此大幅降低多輪智慧體任務的Token成本。
教學與實務
全部主題拿來就能用的實操內容：提示詞技巧、工作流搭建、工具用法與踩坑經驗。
最新精選
第 101–102 條 · 共 102 條openrouter blog精選AI 評分6262
Mistral AI精選AI 評分6666 Mistral AI：排查 vLLM 中的記憶體洩漏
Mistral AI 團隊詳細復盤了在 vLLM 分離部署測試中發現並解決隱蔽記憶體洩漏的完整過程。通過結合 pmap、BPFtrace 與 GDB 自動化指令碼，團隊最終定位到根源在於 UCX 記憶體管理模組的 mmap 鉤子機制與註冊快取佇列。通過設定環境變數 UCX_MEM_MMAP_HOOK_MODE=none 或限制未釋放區域數量，成功解決了該記憶體洩漏問題。
推薦理由：文章詳細記錄了排查 vllm 分離部署中隱蔽記憶體洩漏的過程，讀者可以學習如何通過 pmap 與 GDB 組合定位底層系統呼叫問題。