RAG Deep:大規模測試六種分塊策略
RAG Deep: Chunking Strategies Tested at Scale
重點導讀
RAG Deep以同一語料與檢索器比較六種分塊策略,發現這批章節型文本的 nDCG 差距有限,語意分塊建置耗時較長,檢索表現也未勝過固定大小分塊。
- 測試範圍:語料包含 94 段、22,516 個單字與 25 個問題;作者提醒,結果適用於章節型文本,不代表長篇 PDF。
- 分塊結果:固定 512 tokens、重疊 64 tokens 的召回率@10 為 0.96,nDCG@10 為 0.796;語意分塊建置花 56.1 秒,固定分塊約 0.1 秒。
- 作者建議:先用已知答案的問題集測量召回率;若檔案有標題、程式碼區塊或清單等結構,可考慮 LangChain 的遞迴分割器。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
RAG Deep: Chunking Strategies Tested at Scale
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文