長上下文和 RAG 怎麼選?用真實問題測試搜尋會不會漏掉資料
Long context vs RAG: why search when a model reads it all?
重點導讀
只有一份長檔案、問題不多時,直接把全文交給模型最簡單;資料量大、問題常常重複時,RAG 只搜尋相關段落,能減少每次送進模型的文字。
- 作者用 1,000 頁合成資料測試 BM25 搜尋,發現問題換個說法時比較容易找不到答案所在段落。
- 這項測試沒有呼叫模型,因此不能說明模型答得準不準。文章建議拿 20 個真實問題比較兩種做法,檢查答題正確度、延遲、輸入 token 數,以及答案有沒有根據模型實際讀到的內容。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Long context vs RAG: why search when a model reads it all?
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文