Ollama 和 Together AI 說明如何讓開源模型跑長時間 AI 助理任務
Making open models work for long-horizon agentic workloads
重點導讀
AI 助理處理長任務時,每一步都會帶上先前的對話與工具結果;如果每次都重新讀完整份內容,等待時間和成本會一路增加。
- Ollama 和 Together AI 說明,前面讀過的內容可以先存在快取裡,下一次只處理新增部分。要讓快取派上用場,工具說明和系統提示詞要盡量保持不變,工具結果也要避免塞入不必要的大量內容。
- 推理程度最好從一開始就固定。引擎還得把後續請求送回存有快取的機器,並在等待工具執行時妥善儲存快取。這些做法能減少重複處理,讓長工作流程更順暢。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
文章從提示詞安排與 GPU 快取兩端說明長任務為何會變慢,並整理維持快取的做法,適合用來改善 AI 助理的工作流程。
信源出處ollama.com
Making open models work for long-horizon agentic workloads
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Ollama Blog (ollama.com)
開啟原文