OpenRouter 推出提示詞快取與黏性路由教學
OpenRouter 發布了關於如何結合提示詞快取（Prompt Caching）與黏性路由（Sticky Routing）降低多輪對話成本的完整教學。
推薦理由：文章詳述提示詞快取與黏性路由的運作原理與配置方式，讀者可據此大幅降低多輪智慧體任務的Token成本。
教學與實務
全部主題拿来就能用的实操内容：提示词技巧、工作流搭建、工具用法与踩坑经验。
最新精選
第 81–82 條 · 共 82 條openrouter blog精選AI 評分6262
Mistral AI精選AI 評分6666 Mistral AI：排查 vLLM 中的内存泄漏
Mistral AI 团队详细复盘了在 vLLM 分离部署测试中发现并解决隐蔽内存泄漏的完整过程。通过结合 pmap、BPFtrace 与 GDB 自动化脚本，团队最终定位到根源在于 UCX 内存管理模块的 mmap 钩子机制与注册缓存队列。通过设置环境变量 UCX_MEM_MMAP_HOOK_MODE=none 或限制未释放区域数量，成功解决了该内存泄漏问题。
推薦理由：文章详细记录了排查 vllm 分离部署中隐蔽内存泄漏的过程，读者可以学习如何通过 pmap 与 GDB 组合定位底层系统调用问题。