跳到正文
熱點事件持續更新

高負載下的分層檢索驗證方案

1 篇報導1 個報導來源3 小時前更新

先了解這件事

重點綜述

RAG 會找出和問題相似的資料,但相似不一定代表正確;如果每次都再請 LLM 檢查每一段資料,答案可能更可靠,服務也可能慢到撐不住。

  • 文章指出,檢查和生成都要呼叫 LLM,資料段落越多,等待時間和用量就越高。
  • 例如一次檢查 8 段資料,可能要依序呼叫 LLM 8 次。建議先用便宜、快速的方法篩掉明顯不相關或已經很合適的資料,只有分數互相矛盾、難以判斷的部分才交給 LLM。這樣可以保留查證的好處,也減少服務塞車的機會。

根據報導自動生成 · 2 小時前更新

報導時間線

沿著報導,瞭解事件的不同面向。

11月23日
  1. Dev.to Top Tech
    為什麼 RAG 的查證遇上大量請求就會變慢?以及可以怎麼改善

    RAG 會找出和問題相似的資料,但相似不一定代表正確;如果每次都再請 LLM 檢查每一段資料,答案可能更可靠,服務也可能慢到撐不住。文章指出,檢查和生成都要呼叫 LLM,資料段落越多,等待時間和用量就越高;例如一次檢查 8 段資料,可能要依序呼叫 LLM 8 次。建議先用便宜、快速的方法篩掉明顯不相關或已經很合適的資料,只有分數互相矛盾、難以判斷的部分才交給 LLM。這樣可以保留查證的好處,也減少服務塞車的機會。

本事件熱度趨勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。

讀者討論

針對此事件的各方觀點與即時反饋