跳到正文

教學與實務

拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。

最新精選

第 41–46 條 · 共 46 條
8月14日週五
  1. Hugging Face Blog65

    使用 Strands Agents、LeRobot 与 Hugging Face Storage Buckets 实现录制、训练与部署一体化

    本文介绍了 Strands Robots 中的流式数据闭环方案,展示了如何通过自然语言指令录制机器人示范数据、将其同步至 Hugging Face Storage Buckets 并进行基于 Xet 的字节级去重。随后,开发者可以直接从 Hub 流式读取数据集来训练策略,并将训练好的检查点重新部署到硬件上。

    推薦理由:文章介绍了基于 Strands Agents 和 LeRobot 的机器人流式数据闭环方案,读者可以据此了解如何通过云端存储桶实现无本地下载的高效训练。

8月12日週三
  1. openrouter blog69

    跨模型工具呼叫:一次編寫循環,隨意切換模型

    跨模型工具呼叫:一次編寫循環,隨意切換模型 - 工具定義:使用 OpenAI 相容的 JSON schema 定義 get_weather(location, unit),同一套工具可在所有模型上重用。

    推薦理由:本指南示範單一程式碼即可在 OpenAI、Claude 與 Llama 等多個模型上執行工具呼叫,降低切換成本,並提供完整的循環流程與錯誤處理建議。

8月6日週四
  1. openrouter blog66

    如何在 OpenRouter 上控管團隊的 AI 支出

    OpenRouter 官方文章介紹了 6 種用於控管團隊 AI 花費的控制機制,並針對不同團隊規模與風險需求提供實用的配置建議。 - 六大控制機制:包含金鑰額度限制、防護欄、工作區預算、預設配置、組織與角色權限,以及活動儀表板。

    推薦理由:文章詳細梳理了 OpenRouter 提供的各項花費控制功能與適用場景,幫助團隊按需求選擇最合適的預算管理策略。

7月28日週二
  1. openrouter blog68

    如何跨延遲、吞吐量與正常運行時間評估大模型服務商效能

    OpenRouter 官方發布指南,深入解析如何跨延遲、吞吐量、正常運行時間與量化精度評估不同大模型服務商的效能表現。 - 四大核心指標:延遲(首字延遲 TTFT)、吞吐量(每秒輸出 token 數)、正常運行時間與量化精度,並建議使用 p90 與 p99 尾部延遲而非平均值來衡量真實體驗。

    推薦理由:原文分析不同服務商的效能與量化差異並給出路由策略,讀者可據此評估如何量化評估與優化大模型服務商表現。

7月21日週二
1月22日週四
  1. Mistral AI66

    Mistral AI:排查 vLLM 中的内存泄漏

    Mistral AI 团队详细复盘了在 vLLM 分离部署测试中发现并解决隐蔽内存泄漏的完整过程。通过结合 pmap、BPFtrace 与 GDB 自动化脚本,团队最终定位到根源在于 UCX 内存管理模块的 mmap 钩子机制与注册缓存队列。通过设置环境变量 UCX_MEM_MMAP_HOOK_MODE=none 或限制未释放区域数量,成功解决了该内存泄漏问题。

    推薦理由:文章详细记录了排查 vllm 分离部署中隐蔽内存泄漏的过程,读者可以学习如何通过 pmap 与 GDB 组合定位底层系统调用问题。