跳到正文
Dev.to Top Tech(dev.to)· System Design Simple·· 4 天前品質評分75

長上下文和 RAG 怎麼選?用真實問題測試搜尋會不會漏掉資料

Long context vs RAG: why search when a model reads it all?

重點導讀

只有一份長檔案、問題不多時,直接把全文交給模型最簡單;資料量大、問題常常重複時,RAG 只搜尋相關段落,能減少每次送進模型的文字。

  • 作者用 1,000 頁合成資料測試 BM25 搜尋,發現問題換個說法時比較容易找不到答案所在段落。
  • 這項測試沒有呼叫模型,因此不能說明模型答得準不準。文章建議拿 20 個真實問題比較兩種做法,檢查答題正確度、延遲、輸入 token 數,以及答案有沒有根據模型實際讀到的內容。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Long context vs RAG: why search when a model reads it all?

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論