Deployed Lab 解釋聊天機器人第 50 則訊息為何比第 1 則貴 19 倍
Why message 50 of your chatbot costs 19x more than message 1
重點導讀
聊天機器人的每次新提問,都可能把前面的對話重新送給模型,所以聊得越久,每次請求要處理的文字也越多。
- Deployed Lab 用一組假設數字示範:第 1 則訊息送出 540 個 token,第 50 則則送出 10,340 個,約為 19 倍。
- 實際費用會依模型和服務商的計價方式而異。文章建議只找出最相關的檔案內容、縮短舊對話並替各部分設定用量上限,避免長對話增加費用與等待時間。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Why message 50 of your chatbot costs 19x more than message 1
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文