跳到正文

#RAG

RSS
今日 5 則
11月21日週六
  1. Dev.to Top Tech63

    RAG 完整流程教學:每個階段會修正什麼,失敗時又會出什麼問題

    AI 助理回答得很流暢,內容卻可能引用過期政策,甚至看到不該讀的合約。這篇教學用退款問題拆解 RAG 流程:先找相關資料,再檢查閱讀許可權、把重要頁面排前面,最後要求 AI 只根據資料回答。例子中,混合語意和關鍵字搜尋後,正確的退款政策排到第一名,答案才從模糊內容變成 30 天;只有許可權檢查能擋下法律部門限定的頁面,提示詞要求保密並不能取代它。排查錯誤時,先看哪些頁面真的送進了提示詞。

  2. Dev.to Top Tech55

    RAG 找不到答案?五個知識庫問題與排查方法

    RAG 知識庫明明顯示上傳成功,AI 助理卻可能找不到新資料,甚至回覆過期政策。作者整理出五個常見原因:硬碟空間用完、知識庫沒接到應用程式、改寫問題時偏離原意、切分檔案時拆散完整答案,以及新舊版本同時留在資料庫。排查時,應在應用程式裡用使用者真正會問的方式提問,檢視系統找回了哪些文字,並確認答案沒有被切成一半;更新資料後,也要重問原本答對的問題,確認新內容沒有把正確答案擠掉。

  3. Dev.to Top Tech66

    如何在 LLM 功能上線前做好評估:實用指南

    展示用的幾個好答案,不代表 LLM 功能真的能應付使用者的各種問題。這份指南教團隊先把功能的工作範圍說清楚,再用真實且去除個人資料的案例建立測試集,涵蓋資訊不足、說法矛盾和試圖套出不該公開內容的情況。檢查方式要配合出錯的後果,例如用程式確認輸出格式、請人檢查重要事實,並分開測量 RAG 有沒有找到正確資料,以及模型有沒有根據資料回答。團隊也應先訂好哪些錯誤會擋住上線,再反覆重跑測試,確認修改後沒有帶來新問題。

  4. Dev.to Top Tech56

    如何避免房屋搜尋把同一間房子列好幾次

    搜尋房屋時,同一間房子可能出現在好幾個網站,資料也可能過期,讓搜尋結果重複或顯示錯誤狀態。作者分享一套分段做法:先用房源編號認出同一間房子,移除已下架的資料,再依地區和狀態篩選,接著找出文字意思相近的房源。每筆資料都保留來源網址和更新時間,方便確認資訊從哪裡來、是否夠新。文章也比較幾種搜尋服務,並提醒團隊先用重複刊登、下架房源和資料更新等例子檢查搜尋結果。

  5. Dev.to Top Tech50

    elDoc IDP OSS 開源,幫開發者把檔案變成可用的商業資料

    用 OCR 和大型語言模型讀出文件內容不難,難的是把不同格式的發票、合約或收據整理成正確資料,還要讓人檢查錯誤、處理一份 PDF 裡的多種檔案。elDoc IDP OSS 是免費、可自行架設的開原始檔處理應用程式,把文字辨識、檔案分類、資料擷取和人工檢查等工作整合在一起,也能搭配不同的 LLM。比如財務人員可以檢查系統從發票抓出的金額,再把確認過的資料交給其他應用程式使用。它讓開發者少花時間從零拼裝整套流程,並可依專案需要修改和擴充。

  6. Dev.to Top Tech51

    用 12 首詩測試嵌入模型,作者發現檢索結果會受上下文影響

    嵌入模型會把文字轉成向量,用來找出意思相近的內容,但詩句常有表面意思和真正想表達的意思。作者把自己的 12 首詩交給三種模型比較,發現模型一開始常把比喻判成字面意思;加入完整詩作,並調整候選句的寫法後,結果有所改變。詞語相似度也會影響排序,因此這項小型實驗不能證明模型是否理解了比喻,卻提醒我們,測試檢索系統時要小心設計比較方式,並把相似分數和理解能力分開看。

  7. The New Stack56

    The New Stack 解釋 AI 助理的「記憶問題」可能來自不同地方

    AI 助理隔天接著工作時,可能從錯誤步驟恢復、記住不適用的偏好,或找到過期檔案,這些問題不一定都出在「記憶」。文章把需要管理的資訊分成三種:讓工作流程接續的狀態、留到下次使用的記憶,以及回答當下要查的外部資料。以客服助理為例,流程紀錄用來接續訂閱變更,使用者偏好要經過應用程式規則確認才儲存,回答則要查符合存取許可權的最新政策。LangGraph 和 LangChain 能協助組合流程與工具,但應用程式仍須管理資料的儲存期限、適用物件、更新和刪除方式,才能查清錯誤從哪裡來。

11月20日週五
  1. Dev.to Top Tech55

    Spring Boot 如何打造租戶隔離的 RAG,避免不同組織的資料互相外流

    多個組織共用同一套 RAG 系統時,檢索可能把甲組織的檔案交給乙組織,讓機密內容進入模型的上下文。文章示範如何用 Java 和 Spring Boot 把租戶身分一路帶過檢索流程:身分要從已驗證的使用者資料取得,向量搜尋時就先限制租戶,再檢查使用者是否有權讀取每份檔案;沒通過檢查的內容不能送進重排器或大型語言模型。快取也要依使用者的授權範圍區分,避免不同組織拿到彼此的答案。文中提醒,API 有做好許可權檢查還不夠,送進模型的資料也必須守住同一條安全界線。

  2. Dev.to Top Tech51

    金融研究儀錶板如何用檢索契約保護資料隱私

    金融研究儀錶板如果把內部分析筆記和公開網頁混在一起,可能讓不該看的人看到受限資料。作者建議先訂好檢索規則,再選用哪種資料庫,並把處理過程分成資料匯入、查詢和整理引用三步,記下資料來源、日期、許可權和查詢條件。較固定的研究資料可放在私人向量資料庫;需要最新訊息時才查網頁,並標明結果可能會變動。文章也比較幾種檢索服務,提醒有內部部署或特殊調校需求的團隊,應選擇能符合自身管控要求的方案。

  3. Dev.to Top Tech64

    教學:用 Python 整理 IKEA 傢俱資料,別把零件材質混在一起

    整理傢俱資料時,如果只留下材質名稱,AI 助理可能把椅腳的實木誤認成整座書櫃都是實木。作者用 IKEA 商品資料示範如何把零件名稱和材質一起存進資料庫,讓搜尋時能看出每種材質屬於哪個零件;缺少材質資料時,也保留為未知,不當成「沒有木材」。照護說明和使用備註則分開存放,避免拿來回答材質問題。這樣能提供較清楚的查詢依據,但仍不能保證回答正確,也無法證明商品頁列出了所有材料。

  4. Dev.to Top Tech66

    多跳檢索如何串起證據,避免錯誤一路擴大

    有些問題得先找出一項線索,才能查到答案;如果第一步找錯,後面的結果可能看似合理,最後卻答錯。多跳檢索會根據前一步找到的內容提出下一個查詢,並把每一步用到的資料來源記錄下來。文章建議保留多個候選線索、查證線索確實出現在原文中,也可同時查詢不同線索再比較證據;若線索不可靠,就先不要作答。這種做法適合答案需要串起多項事實的問題,但步驟越多,延遲與錯誤風險也會增加。

  5. Dev.to Top Tech43

    LangChain AI 助理 12 項測試通過 10 項,兩次失敗讓作者看見問題

    作者做了一個 LangChain AI 助理,幫忙回答課程筆記裡的機器學習問題,還會計算費用並附上頁碼。作者用 12 個測試檢查它,結果通過 10 個:回答「法國首都是哪裡?」時,AI 助理沒照規定用表格格式;另一題中,AI 助理正確指出算式寫錯,卻被測試程式判定失敗。檢視每一步的紀錄後,作者發現問題有時出在 AI 助理,有時出在測試本身。仔細設計測試、留下操作紀錄,也能讓人更清楚找出該修哪裡。

  6. Dev.to Top Tech68

    教你用本機 LLM 搜尋 PDF,從檔案擷取到 RAG 問答

    PDF 裡的答案不好找,用本機 LLM 問問題也不代表回答一定正確。這篇教學示範如何把 PDF 文字切成小段、轉成向量並搜尋,再把找到的內容交給本機 LLM 回答;每段也會保留檔名和頁碼,方便回頭核對。掃描版 PDF 要先用 OCR 讀出文字,並檢查結果;如果搜尋漏掉相關內容,或找到錯的段落,模型仍可能答錯,因此重要答案要對照原文。

  7. Dev.to Top Tech52

    Mpiric Software 分享 LLM 功能上線前的 6 步檢查清單

    LLM 原型在展示時看起來不錯,碰到真實使用者卻常出問題;作者認為,問題多半出在模型周邊的軟體流程。Mpiric Software 整理出上線前的 6 步檢查:先準備專家認可的答案來測試,再確認檔案檢索品質,並把各個處理步驟寫成方便測試的 Python 程式。系統輸出也要檢查格式,高風險操作加入人工核准,並從一開始記錄成本和延遲。檔案、使用者問題或模型版本改變時,還要重新跑測試,留意表現是否退步。

  8. Dev.to Top Tech53

    GenAI 工程師面試,怎麼說明專案與整體架構

    GenAI 工程師面試時,只介紹模型和提示詞,常會漏掉系統其他重要環節。這篇整理了一種回答順序:先說明業務需求和資料來源,再講資料如何整理、搜尋,接著交代模型怎麼產生答案,以及系統如何追蹤品質和運作狀況。例如搜尋時可把關鍵字比對和向量搜尋合在一起,再從候選結果中挑出較相關的內容交給大型語言模型。回答時也要說明為什麼選這些做法,以及它們在成本、速度和可靠度上的取捨。

  9. Dev.to Top Tech52

    Amazon Bedrock Knowledge Bases 教學:用 S3 字首選出要匯入的檔案

    檔案明明放在 S3,卻沒有出現在 Knowledge Base 裡,可能是資料來源設定的字首和檔案實際路徑不一樣。S3 看起來像資料夾的路徑,其實是物件鍵的一部分;Amazon Bedrock Knowledge Bases 會依納入字首挑選要匯入的檔案。作者以 Daara Media 的品牌指南、指令碼、字幕和提案為例,說明字首要和物件鍵開頭相符,並建議加上結尾斜線,避免誤選相似路徑。上傳檔案後還要同步資料來源;字首只決定匯入範圍,不能取代 IAM 許可權設定。

  10. Dev.to Top Tech69

    Trino 資料湖如何跑得跟 SQL 資料庫一樣快

    把分析資料搬到資料湖,常會擔心查詢變慢;作者用一個會讀取 CRM 和會計資料、回答業務問題的 AI 助理,從頭測試整段流程。資料湖一開始比較慢,主要卡在 Trino 每次查詢都要跨網路詢問資料目錄,而不是讀取資料本身。作者把表格位置存進本機的 Postgres,並先整理好較複雜的會計資料,再讓引擎、應用程式靠近資料所在位置。實測顯示,完整回答可以和 Azure SQL 的速度相近;作者也提醒,測試時要計算 AI 助理整個回答花多久,不能只看單次查詢。

  11. Dev.to Top Tech52

    Node.js 如何測試內部工程檔案的語意檢索

    內部工程檔案常會找到看起來相關、卻答不上實際問題的段落。作者建議先把搜尋拆成幾步,例如先找精確名稱,再用語意搜尋找概念,最後篩選結果;每一步都要設時間上限,並留下檔案來源等紀錄。接著用一小組標註問題測試,確認答案是否找對、引用是否過時,以及回覆速度是否可接受。文章也比較 pgvector、Pinecone、Elasticsearch、Weaviate 和 Infrai 的適用情況,提醒團隊把資料更新與刪除做好,避免舊內容讓測試結果失真。

  12. Dev.to Top Tech58

    房屋搜尋教學:用即時搜尋和向量檢索找出有效房源

    房屋資料會隨時更新,舊索引可能還留著已改成待售或已刪除的房源,讓搜尋結果失準。作者建議先訂好搜尋規則,要求每筆結果都有目前狀態、更新時間和可查證的來源,再把即時網頁搜尋與向量檢索找到的房源合併,並檢查狀態和引用資料是否齊全。這樣可以兼顧剛更新的資訊和語意相近的描述,也能在更換搜尋服務時保留自己的排序與查核規則。

  13. Dev.to Top Tech76

    多個 AI 助理為何更耗成本?文章拆解路由與交接的浪費

    多個 AI 助理分工時,每一輪可能都要重新讀過前面累積的內容,還得多花一次模型呼叫來決定下一步,讓 token 用量和等待時間一起增加。作者用五個 AI 助理處理一份報告的例子說明,路由與交接會重複讀取歷史;改用程式安排固定流程、只傳原始需求和目前結果的摘要,再限制整條任務鏈的交接次數,就能減少這些額外花費。文章也提醒,如果每個 AI 助理仍各自讀完整份報告,這部分用量不會因為調整交接方式而下降,還得另外只取工作需要的段落。

    推薦理由:文章用具體 token 帳目拆解路由與交接如何重讀相同內容,並比較四種做法對成本、延遲與資訊保留的影響。

  14. Dev.to Top Tech52

    客服搜尋架構怎麼選向量搜尋或網路搜尋,並安全處理分頁

    客服搜尋常要同時查核已審核的知識文章和產品最新訊息,兩種來源的分頁方式與資料許可權也不相同。作者建議用向量搜尋找有版本管理的內部內容,只有在政策允許時才用網路搜尋補充即時資訊;兩邊各自保留遊標、租戶和存取資料,並在答案中記錄引用來源。文章也示範用 Infrai 的公開介面探索 API 格式,再呼叫兩種搜尋服務。這樣能讓客服人員追查答案來自哪裡,也避免把不該看的資料交給模型。

  15. Dev.to Top Tech41

    gemma3:12b 用自己的機率打破搜尋排序平手,12 題有 11 題把正確文章排第一

    搜尋系統用 AI 幫文章打分時,常會遇到好幾篇分數一樣,結果靠原本的排序把不對的文章放到前面。作者比較三種做法:維持原本的 0 到 10 分、改用 0 到 100 分,或讓模型在分數相同時,再看它對各個分數有多確定。結果發現,分數改得更細也沒用,gemma3:12b 常常還是給出相同分數;但看它對分數的把握度後,12 題有 11 題把正確文章排第一,修正了原本被平手影響的兩題。代價是每題約要 95 秒,適合批次整理或夜間報告,未必適合即時搜尋。

  16. Dev.to Top Tech42

    用 AMD 和 DGX Spark 打造在地 RAG 系統,搜尋實驗室筆記與簡報

    實驗室的筆記和簡報散落在許多檔案裡,找到答案後也常得再花時間確認出處。作者做了一套在地 RAG 系統,能搜尋 Markdown 筆記和 PowerPoint,也會標出答案來自哪個檔案、哪一行或哪張投影片。簡報裡的圖表會先由 Gemma 4 31B 寫成文字說明,讓系統也找得到圖上的內容。 測試時,研究人員用日文和英文問兩個問題:CSV 檔放在哪裡,以及某個磁碟目前還有多少空間。系統都找到了相關資料;回答第一題時附上能支援答案的出處,第二題則沒有亂猜空間數字,因為筆記無法證明目前的容量。這讓研究人員不只拿到答案,也能回到原始資料查證;圖表說明則能幫忙找到投影片,細節仍要開啟原圖確認。

  17. Dev.to Top Tech61

    Node.js 客服知識庫為什麼用追蹤比只看記錄更容易找出問題

    客服知識庫明明搜尋速度很快,卻可能把已過期的退款規定放進答案;只看分散的記錄,很難查出是哪一步出了問題。作者在 Node.js 服務中比較兩種做法:每一步各寫一筆記錄,或讓同一張客服單的資料處理和搜尋步驟連在一條追蹤紀錄裡。這樣可以沿著文章版本、索引、篩選和排序,查出舊資料在哪裡被選中。追蹤資料也要遮蔽客服訊息、限制存取,並留意儲存成本;小型單機原型用記錄和少量指標可能就夠了。

  18. Dev.to Top Tech55

    金融研究儀錶板如何避免翻頁時重複或漏掉資料

    金融研究儀錶板更新索引時,分析師可能在下一頁看到重複資料,或找不到剛才看過的檔案。作者建議每次搜尋固定使用同一份索引快照,並用遊標記住分頁位置;索引更新期間,新搜尋可使用新版,進行中的搜尋則繼續讀舊版。搜尋時先多找一些候選資料、去掉近似重複項,再依遊標分頁。這樣能重現當時的結果並查明問題來源,但保留舊索引和額外排序會增加儲存需求與延遲。

  19. Dev.to Top Tech41

    財務研究儀錶板如何分階段搜尋資料,並限制查詢範圍

    財務研究儀錶板要找資料時,常得同時顧到資料夠不夠新、查詢會不會做太多工作,以及答案能不能找到來源。文章建議先用篩選條件找出一小批相關段落,再把較好的結果交給第二階段排序,最後附上原始來源。像是第一輪最多找 40 段,再挑 8 段重新排序;每個答案也要能追到段落、網址和日期。 資料新不新,不能只看它什麼時候被放進系統:檔案可能今天才匯入,內容卻是舊的;也可能談的是較新的訊息,匯入時間反而較早。把來源日期和匯入日期分開記錄,並限制查詢數量與答案可用的文字,研究人員才容易檢查答案、找出資料錯誤。

  20. Dev.to Top Tech46

    Node.js 招募資料搜尋:4 個檢查步驟,避免搜尋失敗時越界取資料

    招募人員搜尋候選人的作品和訪談資料時,搜尋失敗或重試可能把不該看的資料也找出來。作者建議把原始影片、逐字稿和錄音留在負責保管它們的系統,搜尋索引則清楚記下資料屬於哪個客戶、誰能檢視、地區和儲存期限。搜尋時先找核准的公開來源,再限時抓取指定網址、把整理好的內容放進該客戶的資料區,最後只搜尋數量有限且許可權仍有效的資料,並附上來源。比如來源逾時,就標記資料暫時無法取得,回傳最近一次完整索引,不要改搜其他客戶的資料。這樣能讓搜尋流程更容易追查,也不會因為重試把資料界線弄亂。

  21. Dev.to Top Tech43

    Node.js 旅遊行程規劃器如何管理檔案版本與查詢新鮮度

    旅遊資訊有些很少變,例如簽證指南;有些卻可能隨時改變,例如航班異動。行程規劃器若只查舊檔案,可能會給出過時答案;只查網頁,又得確認資料是不是可靠。文章建議把兩種查詢方式分開:穩定的政策資料儲存版本、來源網址和生效時間,容易變動的資訊則即時查詢;每個答案也要附上它根據的來源。 例如,行李規定從 8 kg 改成 10 kg 時,系統應找出目前適用的版本,不能引用舊規定。用一小組標好答案的問題,檢查版本、資料新不新,以及答案有沒有附來源,就能比較不同做法。這樣出錯時比較容易找原因,也能避免把過期資訊當成最新訊息。

  22. Dev.to Top Tech58

    餐廳選單 AI 助理如何混合搜尋並留下可追查的引用紀錄

    餐廳選單裡的價格、過敏原和供應日期都很講究,光靠文字相似度搜尋,可能會挑到看起來像、實際條件卻不符合的菜色。作者示範混合搜尋:先用文字搜尋和精確欄位找出候選菜色,再重新排序,答案只能引用找到的資料。每次查詢也會記下搜尋時使用的選單版本、候選結果和引用;這樣選單之後改了,店家仍能查出當時 AI 助理根據什麼資料回答。文章也提醒,小型且變動少的選單可先用向量搜尋,但過敏原等條件仍要精確篩選。

  23. Dev.to Top Tech61

    如何用 Node.js 為旅遊行程 RAG 設定三階段檢索延遲預算

    旅遊規劃工具如果每份資料都做昂貴的語意搜尋,回覆就可能變慢。作者分享一套 Node.js 檢索流程,先用文字條件快速篩選,再找出一批候選資料、重新排序,最後整理成模型能讀的內容;整體目標是把檢索的 p95 延遲控制在 300 ms,這是設計預算,不是效能測試結果。若時間快用完,程式會提早回傳已有的候選資料,避免整個請求逾時。作者也建議共用一個整體截止時間、限制同時查詢的資料分割槽,並檢查資料新舊,避免把過期的旅遊政策當成最新資訊。

  24. Dev.to Top Tech59

    小型團隊怎麼選向量搜尋?從物流客服引用錯誤談起

    物流客服可能引用了看起來相關、實際上答非所問的資料;就算搜尋服務正常運作,也不容易看出錯在哪裡。作者用一個假設情境比較 pgvector 和代管向量資料庫:前者能沿用既有的 Postgres,但團隊得負責索引、備份和升級;後者減少這些操作工作,卻會增加對服務商的依賴。文章也提供一段 Go 程式,檢查引用的段落是否和來源資料一致,但這不能確認段落真的回答了問題。作者建議小型團隊先決定誰負責追查錯誤引用,再按團隊能承擔的維運工作選擇服務。

  25. Dev.to Top Tech49

    不用無頭瀏覽器,也能把網站檔案轉成 Markdown,整理給 RAG 使用

    做檔案搜尋或聊天機器人時,得先把網頁裡真正有用的文字抓出來,還要保留標題、程式碼和連結。文章示範用 Apify 的 Website to Markdown Crawler 抓取網站頁面,再把每頁內容依標題切成小段,附上來源連結,方便後續搜尋和引用。以 Python 教學頁面為例,一次抓了 12 頁、約 33,700 個單字,只花 11 秒,費用不到 1 美分。這種方法不用啟動瀏覽器,速度快、花費低;但遇到必須靠 JavaScript 顯示內容的網站,可能抓不到文字。

  26. Dev.to Top Tech57

    教學:用 pgvector 把 Sherlock 查到的資料存成 AI 助理記憶

    查到的公開帳號資料如果寫入太慢,或相似度排序出錯,AI 助理之後就可能找錯人。作者把 Sherlock 當成帳號搜尋工具,再把確認過的個人檔案網址和簡短內容整理後存進 PostgreSQL 的 pgvector,供之後查詢。大量工作同時寫入會卡住索引,所以作者改用有容量上限的批次佇列;向量也會先縮放成固定長度,避免不同模型版本的資料讓排序跑掉。佇列滿了就暫緩或捨棄新資料,作者認為錯誤的相似結果比少存一筆更糟。

  27. Dev.to Top Tech58

    如何用 MinHash 和 LSH 找出 RAG 資料中的相似檔案

    RAG 資料裡如果有很多相似檔案,搜尋結果可能被同一段內容的副本塞滿。作者示範把檔案切成連續片語,再用 MinHash 估算相似程度,並透過 LSH 找出可能重複的檔案,不必逐一比較所有檔案。測試中,原政策和副本的相似度是 0.92;新版政策雖然改了退款天數,和舊版仍有 0.66 的相似度。作者提醒,副本可以刪除,但不同版本可能記載不同規定,應依日期或版本資料處理,避免把舊資訊留在索引裡。

11月19日週四
  1. Dev.to Top Tech45

    工程主管如何為 LLM 工作流程設定可靠度目標

    AI 助理回覆得快、服務也正常,不代表事情就做對了:它可能答錯問題、拿出沒有根據的資料,或是重複建立同一張客服單。工程團隊因此要檢查整段工作流程有沒有完成正確、合乎授權的結果,不能只看系統有沒有當機或回應夠不夠快。文章建議先說清楚「怎樣才算成功」,再設定能實際檢查的目標,並用錯誤預算協助決定何時部署或優先修問題。以客服 AI 助理為例,除了確認它有回覆,還要檢查客服單是否建對、資料是否正確,以及有沒有重複建立。這樣才能看出系統是否真的可靠。

  2. Dev.to Top Tech52

    Aemon 示範如何把 Apple Podcasts 和 RSS 播客轉成文字

    播客裡有很多知識,但 AI 助理無法直接搜尋或引用音訊內容。Aemon 示範如何把 Apple Podcasts 連結或 RSS 來源中的節目音訊轉成帶時間戳記的文字,也提供免寫程式、JavaScript 和 Python 做法。長節目會先切成較短的音訊片段,再用 Whisper 轉錄,並整理成 JSON 等格式;轉好的文字可用來搜尋節目內容,或建立問答資料。文章也提醒,Spotify 音訊有 DRM 限制,應改用 Apple Podcasts 連結或公開 RSS。作者同時說明,他是文中所用 Podcast to Text Actor 的作者。

  3. Dev.to Top Tech37

    AI 助理如何建出上線後不亂猜的多步驟系統,以及哪些事不該交給 LLM

    AI 助理碰到退款、付款或公司資料時,如果把每一步都交給 LLM 猜,錯誤可能一路傳下去,還會增加等待時間和費用。WTFearB 分享的做法是先把工作拆開:簡單明確的事用固定規則處理,只有不好判斷的問題才交給 LLM;每次呼叫工具前檢查資料格式,重要操作則先排隊等人確認。 例如,帳單問題可以先用關鍵字分流到帳務查詢,遇到取消合約或法律問題就轉給真人。多個 AI 助理的工作也要設好步驟上限,查資料時留下來源,找不到根據就回答「資料不足」。這樣能減少亂猜、重複操作和不必要的 LLM 呼叫。

  4. Dev.to Top Tech57

    LangSmith 轉成 RAGAS 教學:檢查問題欄位是否遺失

    把 LangSmith 的資料集轉成 RAGAS 時,欄位名稱或資料格式不合,可能不會跳出錯誤,卻讓問題欄整欄變空,評估結果也因此失去意義。作者說明兩者的資料存法不同,轉換時要把每筆紀錄整理成欄位,並對照問題、參考答案和回答等欄位名稱。轉換後也要檢查問題欄是否有內容;來源資料中的 ID、時間、額外資訊和分組標記可能無法跟著保留,需自行備份或處理。作者也做了一個轉換工具,會列出改名、整理或捨棄的欄位,並提醒可能影響評估的資料問題。

  5. Dev.to Top Tech56

    Node.js 如何用多種搜尋方式找出合約條款變更

    網頁版面一改,逐行比對可能把沒變的合約條款也當成變更,讓審查者收到錯誤警示。作者示範用 Node.js 統一文字搜尋、向量搜尋和人工複核的結果格式,保留條款位置與來源資料;證據不夠時,就標成需要複核,不產生法律結論。文章也提醒,不能只靠文字位置認定條款身分,因為前面插入一行就可能讓後面的內容位移。清楚標示引用來源和不確定之處,能讓審查者查回原文再判斷。

  6. Dev.to Top Tech55

    如何替物業管理 PDF 問答設定查詢上限

    物業管理資料越存越多時,PDF 問答可能撈到重複或過期的規定,讓答案互相矛盾。作者建議把查詢上限分成幾項設定:最多找多少候選段落、最後保留多少段、能放進答案的文字量,以及查詢最久能等多久。每段資料也要記下來源、頁碼和適用物業;遇到過期規定或資料不足時,應排除或交由人員確認。測試時分開檢視延遲和引用是否正確,並留下每個階段的紀錄,才能知道問題出在資料、篩選還是上限設定。