如何用程式評估 RAG:檢查詢資料的準確度與回答是否有根據
How to evaluate a RAG system: recall@k, MRR and groundedness, with code
重點導讀
RAG 回答出錯時,常讓人分不清是系統沒找到資料,還是模型回答時出了問題。
- Ali Ahmed 示範把兩部分分開檢查:用自己整理的問題和答案資料,確認相關內容有沒有排進搜尋結果前幾名。
- 再檢查回答中的每個事實是否能在找到的資料裡對上。遇到資料裡沒有答案的問題,也要確認系統會不會編造內容。這些結果能用來比較資料切分大小、搜尋數量和排序方式,讓調整有依據。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
把 RAG 的檢索和回答分開檢查,能看出錯誤出在資料沒找對,還是回答沒有根據,並用自訂問題集比較調整效果。
信源出處dev.to
How to evaluate a RAG system: recall@k, MRR and groundedness, with code
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文