DeepStress 研究發現,搜尋式 AI 助理遇到不可信資料仍常給出答案
LLM agents lose confidence under noisy retrieval
重點導讀
搜尋式 AI 助理引用的資料愈不可靠,回答卻不一定會變得保守。
- DeepStress 研究把錯誤訊息刻意加入檢索到的檔案,再觀察 AI 助理會不會拒絕回答。
- 即使檔案被標成完全不可信,受測系統在許多情況下仍給出明確答案。以 Search-R1 為例,資料可信度從高到低時,答對率仍約在 78% 到 80% 之間,拒答情況也沒有明顯變化。研究只測試人工製造的資料錯誤,還不能確定真實使用時是否也會如此。
- 作者建議安全流程在證據太不可信時要求 AI 助理停止作答。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
LLM agents lose confidence under noisy retrieval
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文