跳到正文
Dev.to Top Tech(dev.to)· Ali Ahmed·· 4 天前精選品質評分76

如何用程式評估 RAG:檢查詢資料的準確度與回答是否有根據

How to evaluate a RAG system: recall@k, MRR and groundedness, with code

重點導讀

RAG 回答出錯時,常讓人分不清是系統沒找到資料,還是模型回答時出了問題。

  • Ali Ahmed 示範把兩部分分開檢查:用自己整理的問題和答案資料,確認相關內容有沒有排進搜尋結果前幾名。
  • 再檢查回答中的每個事實是否能在找到的資料裡對上。遇到資料裡沒有答案的問題,也要確認系統會不會編造內容。這些結果能用來比較資料切分大小、搜尋數量和排序方式,讓調整有依據。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

把 RAG 的檢索和回答分開檢查,能看出錯誤出在資料沒找對,還是回答沒有根據,並用自訂問題集比較調整效果。

信源出處dev.to

How to evaluate a RAG system: recall@k, MRR and groundedness, with code

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論