Together AI 和 Ollama 說明如何讓開放模型長時間執行 AI 助理工作
Making open models work for long-horizon agentic workloads
重點導讀
AI 助理做長時間的程式工作時,每回合都可能重新送出前面整段對話,讓處理速度變慢、花費增加。
- Together AI 和 Ollama 說明,快取能保留前面已處理的內容,但提示詞前面的文字一改,後面的快取就得重做。
- 推論引擎若把請求送到別臺機器,也可能用不上原有快取。文章建議讓系統提示詞保持不變,把會變動的資訊放進任務內容,並避免工具一次回傳過多資料。這些做法能減少重複處理,也讓 AI 助理跑長任務時比較順。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
文章從 AI 助理每回合重送整段對話的成本切入,說明提示詞設計與推論引擎如何共同保留快取,並整理可直接採用的做法。
信源出處together.ai
Making open models work for long-horizon agentic workloads
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Together AI Official Blog (together.ai)
開啟原文