AI 助理一天的費用怎麼算?系統提示詞和快取用量拆給你看
What the system prompt costs: one day, split into parts
重點導讀
想算 AI 助理花多少錢,光看它用了多少 token 還不夠,因為系統提示詞和前面聊過的內容會跟著每次呼叫一起送出,有些會從快取讀取。
- 作者整理了一天的帳單:模型呼叫用了 412 點,工具呼叫用了 101 點。
- 模型處理的 token 中,94% 是快取讀取。平臺約以 1,000 點換算 1 美元,這天模型費用約 41 美分,工具費用約 10 美分。真正會隨長對話和大量工具輸出增加的,是 237,928 個沒有從快取讀取的輸入 token。這提醒我們,估算費用時要看實際帳單怎麼計價,別把原始 token 數直接當成花費。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
What the system prompt costs: one day, split into parts
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文