跳到正文
Dev.to Top Tech(dev.to)· Papers Mache·· 6 天前品質評分65

DeepStress 研究發現,搜尋式 AI 助理遇到不可信資料仍常給出答案

LLM agents lose confidence under noisy retrieval

重點導讀

搜尋式 AI 助理引用的資料愈不可靠,回答卻不一定會變得保守。

  • DeepStress 研究把錯誤訊息刻意加入檢索到的檔案,再觀察 AI 助理會不會拒絕回答。
  • 即使檔案被標成完全不可信,受測系統在許多情況下仍給出明確答案。以 Search-R1 為例,資料可信度從高到低時,答對率仍約在 78% 到 80% 之間,拒答情況也沒有明顯變化。研究只測試人工製造的資料錯誤,還不能確定真實使用時是否也會如此。
  • 作者建議安全流程在證據太不可信時要求 AI 助理停止作答。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

LLM agents lose confidence under noisy retrieval

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論