將 top_k 從 5 提升至 20,RAG 回答成本飆升 2.7 倍
Going from top-5 to top-20 retrieval makes every RAG answer 2.7x more expensive
重點導讀
top_k 從 5 提升至 20,RAG 回答成本平均上升 2.7 倍,月成本可達 7,140 美元。
- - 成本構成:輸入 400 token + 500 token chunk × top_k + 250 token 回答。
- GPT‑5.6 內部價格為 $2 / 1M 內部 token,$12 / 1M 輸出 token。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Going from top-5 to top-20 retrieval makes every RAG answer 2.7x more expensive
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文