重點導讀
把長檔案交給 AI 助理處理時,模型讀取的內容越多,花費也可能越高。
- Nasiko 推出開源工具 Open Runtime,會在檔案送進模型前修剪不必要的內容。
- Nasiko 使用伺服器紀錄進行的測試顯示,每項任務的成本降低 40%,效能沒有下降。
- 使用者也能替每個 AI 助理設定預算上限,花費達到上限時,Open Runtime 會停止它。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
🚨 AI News | TestingCatalog@testingcatalog
·6 天前
Nasiko has launched Open Runtime, an open-source tool that optimizes AI agent spending per task.
Before a long file reaches an AI model, Nasiko trims non-essential parts, reducing token consumption. In Nasiko's server-log-based test, costs per task fell 40% with no drop in performance.
Users can also give each agent a budget limit and have Nasiko stop the agent once it reaches its ceiling.
推文來源 · X (Twitter)在 X 參與討論
來源: 🚨 AI News | TestingCatalog (x.com)
在 X 查看推文