為什麼 RAG 的查證遇上大量請求就會變慢?以及可以怎麼改善
RAG 會找出和問題相似的資料,但相似不一定代表正確;如果每次都再請 LLM 檢查每一段資料,答案可能更可靠,服務也可能慢到撐不住。文章指出,檢查和生成都要呼叫 LLM,資料段落越多,等待時間和用量就越高;例如一次檢查 8 段資料,可能要依序呼叫 LLM 8 次。建議先用便宜、快速的方法篩掉明顯不相關或已經很合適的資料,只有分數互相矛盾、難以判斷的部分才交給 LLM。這樣可以保留查證的好處,也減少服務塞車的機會。
RAG 會找出和問題相似的資料,但相似不一定代表正確;如果每次都再請 LLM 檢查每一段資料,答案可能更可靠,服務也可能慢到撐不住。文章指出,檢查和生成都要呼叫 LLM,資料段落越多,等待時間和用量就越高;例如一次檢查 8 段資料,可能要依序呼叫 LLM 8 次。建議先用便宜、快速的方法篩掉明顯不相關或已經很合適的資料,只有分數互相矛盾、難以判斷的部分才交給 LLM。這樣可以保留查證的好處,也減少服務塞車的機會。
人工檢視暗網網站很花時間,網站也常常連不上,還可能遇到假網站或讓人暴露身分的陷阱。文章提出一套自動蒐集流程:讓程式透過 Tor 連線暗網,用不執行網頁程式碼的方式讀取文字,再交給大型語言模型整理搜尋詞,並從內容找出受害者、外洩資料和可能的攻擊者。例如,輸入「找出最近攻擊藥廠的勒索軟體事件」,模型會把問題改寫成多組相關關鍵字,讓搜尋更完整。這種做法可協助防禦團隊及早留意企業資料外洩或勒索威脅。
讓不同租戶下載自己的備份時,系統得先確認檔案屬於誰,不能只靠一條連結保護資料。文章說明 Node.js 可以先查資料庫,確認使用者有權下載指定備份,再請伺服器產生限時下載連結,讓瀏覽器直接從儲存服務下載;伺服器的授權資訊不能一起送到下載連結。備份最好使用不會被新檔案覆蓋的名稱,並為每份備份保留資料紀錄。作者也比較直接使用 AWS S3、Cloudflare R2 或 MinIO,和透過 Infrai 閘道處理的做法,說明各自適合的情境與限制。
把自己做的小工具放到網路上,常要先設定伺服器,再處理誰能登入和使用。作者推出 Grayspar,讓人用一行指令部署 App,再用電子郵件邀請同事,或開放給整間公司。Grayspar 會處理登入和不同使用者的許可權,也能部署前端、API 和背景工作程式;每個 App 都在自己的容器裡執行,還能回復到之前的版本。Grayspar 目前開放測試,作者表示可免費試用。
圖片很大時,Node.js 可以把檔案切成多段上傳;一般 PNG 或 JPEG 則用一次上傳比較簡單。分段上傳中途若斷線或程式重開,必須把每一段的完成紀錄存好,才知道如何接著上傳或取消。舉例來說,每段上傳成功後就記下段號和伺服器回傳的資料,全部核對完成才組成檔案;失敗時則取消上傳,並定期清理卡住的工作。這樣能降低報表一直顯示處理中的狀況,也方便追查是哪個租戶的檔案出了問題。
有些金融軟體預期每家公司每季都會公佈財報;如果某季沒有資料,就可能跳出警告,甚至讓風險分數變差。但美國 SEC 在 2026 年 5 月提出方案,讓符合條件的上市公司選擇半年公佈一次財報,因此少了一季資料,不一定代表公司逾期或出錯。 例如,同業中一家公司照常公佈季度營收,另一家公司改成半年公佈,系統就不能把後者缺少的季度資料當成零,也不能把半年營收直接除以二,假裝那就是每季的實際表現。金融軟體需要記清楚資料來自哪份檔案、涵蓋哪段期間,以及公司是否有義務在當時公佈。這樣才能避免圖表和 AI 助理把資料缺口說成公司的問題,或在證據不足時編出看似可信的答案。
隨機洗牌可能發到根本贏不了的牌,讓玩家玩得再仔細也只能卡關;如果每次發牌都讓手機現場搜尋,又會耗電、變慢。Solitaire: Klondike & Spider 改成先在電腦上檢查 676 萬多組發牌種子,再把確認找得到合法獲勝走法的 356 萬多局牌,記進一份很小的清單。每局都會用遊戲真正的規則重新走過一次,確認勝利走法有效。 清單只有 845,092 bytes,約 825 KB;手機發牌時只要從中挑一局,再用原本的洗牌方式重現,不必當場搜尋,也能讓玩家重新玩回同一局。不過,檢查程式無法解完的牌局會先排除,所以這份清單不代表所有可能贏的牌局都被收進去。
商店搬到 Shopify 時,顧客的姓名、電子郵件和地址可以匯入,密碼卻不能跟著搬,因為兩個系統檢查密碼的方式不同。好在 Shopify 新版顧客帳戶不需要密碼:顧客輸入電子郵件,就能收到一次性 6 位數驗證碼登入;若訂單紀錄也有搬過去,顧客登入後就能看到。 因此,通知顧客時可以說明如何用電子郵件和驗證碼登入,不必只叫大家重設密碼。不過,禮品卡和店內購物金餘額、訂閱服務、舊網址轉址等資料也要逐項確認。轉址要在網域切換前完成,才能降低搬家後顧客找不到頁面或資料出錯的機會。
用 CREATE2 推算 Safe 代理合約地址時,建立碼只要和該鏈上的工廠不一致,算出的地址看起來仍然有效,卻可能永遠無法部署合約,收到的資金也會卡在那裡。作者說明,Safe 不同版本的工廠會使用不同建立碼,各條鏈也可能採用不同的地址計算方式。建議直接向目標鏈上的工廠讀取建立碼,並在程式啟動時比對設定值;只要不一致,就停止在該鏈提供地址。測試也應連上鏈讀取資料,避免程式和測試共用同一個錯誤常數。
銀行通路顯示帳戶已啟用,核心系統卻還在處理中,團隊得先查清楚當時哪個版本上線、誰有權確認狀態,以及測試是否涵蓋這種情況。作者用一個假想事故示範如何整理 TOGAF 的架構檔案與紀錄,讓需求、核准決策、部署版本和測試結果能彼此連起來。文中也用 SQLite 查詢找出核准當下仍未通過或缺少的測試,方便審查者定位待查問題。
RAG 系統更新檔案索引時,如果新資料只寫進一部分,搜尋可能會混用新舊內容,讓回答變得不可靠。作者以 Project Pavilion 為例,說明先在背景準備新版本,檢查檔案、文字和向量都完整後,再一次切換成目前使用的版本;更新失敗時,舊索引仍可繼續使用。文章也介紹如何安排重試、讓失敗的檔案保持可見,以及在嵌入服務停擺時改用舊索引或其他搜尋方式,減少單一故障影響整批資料。
標價上的「省 17%」或雲端服務的預付款折扣,看起來只是少付一點錢,實際上也牽涉到提早收款或付款的成本。作者提供一段可執行的程式碼,把每月收付的金額換算成年利率;以年繳方案為例,零流失時「兩個月免費」相當於 51%,但每月流失率提高到 3% 時約為 5%。AWS Savings Plans 的例子則算出,月付每月 $640、預付 $7,200,預付約相當於 13% 年利率。作者提醒,是否划算也要看客戶流失情況、公司現金能撐多久,以及預付款後是否還留有應急資金。
利率變高後,回報很久才看得到的工程專案更難通過,維護複雜系統也會佔掉有限的人力。作者把利息成本的想法用在軟體架構上,提醒團隊把雲端費用、值班和事故處理時間都算進服務成本,也可以比較每季維護服務的工時和改善服務的工時。若一個服務長期花很多力氣維持,卻很少帶來新價值,就該考慮整理或退役;重寫則要先確認長期維護負擔會降低,並算進搬遷成本。
AI 助理寫程式時,常把大量時間花在讀檔案、跑測試和修正小錯誤,反覆送出長提示詞也會讓費用快速增加。bf16.ai 分享一種雙層分流做法:平常讀檔、修改和測試交給便宜又快速的 DeepSeek V4.1 Flash Fast,遇到複雜設計或難查的錯誤時,再換成 Kimi K3.1 Pro 或 GLM-5.3。文章舉例,在 30 輪、每輪都讀取約 100K token 專案資料的工作中,重複使用已讀過的內容,可把 DeepSeek V4.1 Flash Fast 的輸入費用降到每 1M tokens $0.055。這種分工能省下日常開發費用,但複雜又模糊的設計問題,仍要交給較強的模型處理。
買 SaaS 產品時,財務和法律資料之外,帳號能不能交接、別人能不能維護,以及實際營運成本也可能影響交易。作者整理了 19 個技術查核問題,建議在簽意向書前用書面詢問賣方,並要求每個答案附上證據。問題涵蓋帳號與付款移轉、部署和回復方式、程式碼與測試、每月帳單、密碼金鑰、備份還原、客戶資料許可權,以及營收和客服數字的來源。若交接只能靠賣方一人、費用沒有算進帳,或數字無法重查,這些都能先估算處理成本,再納入談價。
照片放在網站上,檔案太大會拖慢載入;作者用同一套工具比較 WebP 和 AVIF,測試的三張照片都以 AVIF 壓得更小,差距從 12% 到 43%。不過,簡單的平面圖形用 WebP 反而更省空間,AVIF 編碼也比較慢。作者建議照片先用 AVIF,再用 WebP 和 JPEG 備用,並在上傳或建置時先轉好、之後快取,避免每次有人看圖才重新編碼。
管理 AWS 帳號時,光把安全功能開啟還不夠,還得定期確認它們有沒有在做事。這篇回顧各項服務怎麼分工:IAM Identity Center 管誰能登入,CloudTrail 記錄誰做了什麼,CloudWatch Alarms 發現異常後交由 SNS 通知;AWS Config 檢查設定是否符合規則,Systems Manager 協助管理和更新伺服器,Secrets Manager、Parameter Store 和 KMS 則分別保管密碼、設定和保護資料的金鑰。 例如,可以檢查 AWS Backup 是否有備份計畫,也要實際試著還原資料。作者提醒,備份沒試過還原、警報寄到沒人看的信箱,或把密碼留在程式碼裡,都可能讓安全措施派不上用場;定期檢查並修好一個缺口,才能讓整套防護真正運作。
做監測服務時,得處理網站有沒有正常運作、憑證何時到期,也要準備通知、狀態頁和收費功能。Checkmeup 的作者記錄了怎麼在約 20 小時內完成第一版:服務上線時已有定時監測、網站狀態檢查、SSL 到期提醒、狀態頁和手機介面。遇到不同規格的電腦讓 Docker 建置卡關後,他們改用另一種建置方式才順利完成。 文章也補充了後來的改動:監測工作改由共用計時器分派,讓工作太多時檢查延後,而不是一直新增執行緒;收費服務從 LemonSqueezy 換成 Paddle,方案價格也調整為 $9 / $29 / $99,並新增免費方案。這段經驗顯示,先想清楚架構和收費方式,能幫小型團隊更快做出可用的服務。
物業管理服務更換 API 金鑰時,舊金鑰和新金鑰可能短暫同時有效;要是把金鑰當成帳單的歸屬,重複抓到的用量就可能被算成兩筆,或被錯算到別棟房子。建議由固定排程抓資料,先檢查帳戶和物業資訊,再把完整資料一次更新到儀錶板;抓取失敗時,就繼續顯示上次完整資料。像是同一段用量被兩把金鑰抓到時,應沿用穩定的帳戶和物業資料判斷是否重複,不能只看金鑰有沒有換過。 儀錶板也要分清楚「用量是哪段時間的」、「上次成功抓資料是什麼時候」和「上次嘗試抓資料是什麼時候」;最近抓到資料,不代表帳單已經結算。如果來源沒有提供可靠的物業分配資料,就應標明無法判斷歸屬,不要自行拆分。這樣輪替金鑰時,既能繼續檢視資料,也比較不會把費用算錯。
使用者刪除帳號後,舊工作階段、重設密碼連結或簡訊驗證碼若還能恢復存取,刪除就沒有真正切斷授權。文章以 FastAPI SaaS 為例,說明如何用伺服器端工作階段和帳號刪除界線,讓每次復原都重新確認帳號是否仍可使用;即使復原和刪除同時發生,也要避免復原流程在刪除完成後建立新工作階段。作者也提供驗收方向,包含刪除後再次檢查舊工作階段、兌換尚未使用的復原資訊,以及測試兩種先後順序。JWT 若只檢查簽章和到期時間,已發出的憑證可能在到期前仍可使用;選擇哪種方式,得看系統能接受多長的撤銷延遲。
只用向量資料庫找「意思相近」的文字,在教學範例裡或許夠用,實際工作卻常常還得檢查資料日期、語言和使用者許可權。若先找出最像的資料再刪掉不符合條件的內容,最後可能一筆也不剩;若先列出符合條件的資料,再拿去比對向量,資料太多又會拖慢速度。 文章示範把許可權和其他條件直接放在向量資料旁邊,搜尋時同時比對文字意思與這些條件,最後再依錯誤程式碼或資料更新時間調整排序。像是找英文的支援紀錄時,可以只找目前使用者有權檢視的內容。這能讓 AI 助理拿到更合適的資料;如果找到的資料不對,再好的模型也可能答錯。
兩個 PR 各自測試都過關,不代表它們合在一起也能正常運作。只要其中一個先合併,另一個測試時用的 main 就已經過期;像是改名後,另一個 PR 還在呼叫舊名稱,Git 雖然能順利合併,程式卻可能壞掉。AI 助理讓 PR 增加、修改也更快,這種問題就更容易發生。文章建議用合併佇列或 GitLab 的合併列車,讓檢查跑在真正要合併的程式上;只要 main 或 PR 有更新,舊檢查結果也該重跑。
用 Auth0 管理登入很省事,但企業客戶變多後,支援各家公司使用的單一登入,費用也可能跟著升高。改用 Keycloak 自架在 AWS,雖然雲端裝置費較低,還得把工程師維護和合規查核的成本一起算進去。 文章估算,2,500 名月活躍使用者時,Auth0 每月約 $1,100,Keycloak 加上維護與合規成本約 $1,793,Auth0 較省;到了 12,500 名使用者、8 個企業單一登入連線時,Auth0 約 $3,680,Keycloak 約 $2,193,自架每月可省約 $1,487。這個門檻提醒團隊:選登入服務時,不能只看雲端帳單,也要算上自己維護所花的時間。
同一個網頁網址多一個斜線、大小寫不同,或加上追蹤引數,網站可能會回傳不同結果。Notifio 作者逐一測試 38 個頁面,發現網址結尾多斜線通常會轉到正確頁面,大小寫不同則會出現 404;追蹤引數不影響頁面,網站會用 canonical 指向乾淨網址。測試也找出連續斜線會造成兩次轉址、首頁的 /. 也能開啟首頁等情況。作者指出,有些錯誤頁標題會誤顯示為首頁,並準備補上專用的錯誤頁;他也提供一段指令,讓網站管理者快速檢查自己的網址。
搜尋結果出現「AzuraCast」,不一定代表找到一套完整的電臺管理系統:這個名稱也可能出現在公開播放頁、登入頁或錯誤頁。文章提到,ZoomEye 的「應用程式」搜尋找到 2 筆,「標題」搜尋則找到 14,742 筆;這兩個數字代表搜尋到的線索不同,不能直接當成實際安裝數,也不能證明有漏洞。 AzuraCast 的公開播放頁和管理功能,可能連到不同許可權。管理端能調整播放清單、使用者或電臺設定;如果開放使用者編輯 Liquidsoap 設定,在多人共用的環境中還可能讓程式讀取主機檔案或執行外部程式。管理者應確認哪些管理頁面與 API 能從網路連上、檢查帳號和 API 金鑰許可權,並限制管理端的存取。
AI 助理每一步都用高價模型,跑完整個程式開發流程可能很花錢;但簡單工作如果改用便宜模型,出錯時也可能增加成本。TokenLean 用一個 40 步驟的程式開發流程估算,GPT-6.2 Astra 約花 $2.72,Qwen4-Max 約花 $0.39,約便宜 7 倍。作者提供一段雙層路由範例,讓 Qwen4-Max 處理搜尋、摘要、格式整理和測試分流,GPT-6.2 Astra 則負責規劃、最後檢查,或便宜模型第一次失敗後接手。文中也提醒,價格較低不代表品質相同,並建議記錄每一步的用量,檢視實際省下多少。
每個專案的發布方式都不太一樣,常要靠各自的 release.sh,一忙就可能漏掉鎖定檔,或在建置失敗後留下不該有的版本標籤。shipo 讓不同語言的專案用同一套發布流程:先檢查工具、程式碼狀態和遠端分支,再更新版本、建立提交與標籤並執行建置;如果中途失敗,會撤回本機的提交和標籤。像發布 npm 套件時,shipo 會先詢問是否要執行 npm publish;發布失敗後,已經送出去的內容不會自動撤回。這讓發布步驟更一致,也讓人知道哪些動作還沒完成。
events.lat 的活動頁過期後,有些網址會改送首頁的 HTML,讓 Google 把彼此毫不相關的頁面當成重複內容。作者檢查預先產生的頁面後,發現正在舉行的活動也可能缺頁,場地頁的收錄門檻則和網站地圖設定不一致。修正後,已結束的活動和場地都有各自的頁面,並標示不需收錄;各處也共用同一個場地門檻。作者建議逐一比對網站連結與預先產生的頁面,並為有期限的內容安排結束後的頁面狀態。驗證仍在 Search Console 進行中,結果尚未確認。
把排程工作都放在筆電上,筆電休眠、忙著開會或記憶體不足時,工作可能延後甚至漏掉。作者把工作依需求分到雲端、Mac mini 和 MacBook:只呼叫 API 的工作交給雲端,需要已登入瀏覽器或本機檔案的工作留在 Mac mini,需要麥克風或螢幕的工作留在 MacBook。搬移時也要一起處理「已寄出」等狀態,否則兩臺電腦可能重複寄信;作者還提醒,遷移助理搬過去的排程工作可能在兩臺電腦同時執行。
推薦理由:作者用搬移 70 個排程工作的經驗,整理出依資料、登入狀態與工作型態分配執行位置的方法,也提醒搬家時要一併處理工作狀態。
下載 Notifio 的 Mac 安裝檔後,開啟時會看到一個視窗,裡面有 App 圖示和「Applications」資料夾,使用者把 App 拖過去就能安裝。作者檢查後發現,視窗大小是 540×380 點,圖示也有固定位置,但這些設定都沒寫在專案裡,而是由 electron-builder 自動決定;背景圖同樣是工具附的預設圖片。若想換成自己的背景或調整圖示位置,可以在 electron-builder 的 dmg 設定裡修改。作者也發現安裝檔旁會產生更新用的索引檔,但 Notifio 沒有自動更新功能,而且索引檔不會上傳,因此目前派不上用場。
網站能開啟,不代表網域設定都符合預期。作者用公開查得到的資料檢查 PubTrivia,發現網站沒有 IPv6 位址,訪客要靠網路業者提供的轉換服務才能連上;網域也會讓任何亂編的子網域通過安全連線檢查,但開啟後只看到 Vercel 的「找不到部署」訊息。作者還發現,不同頁面的安全標示不一樣,網域紀錄多久更新一次也不太合理。 這些狀況沒有讓網站故障,卻顯示只看首頁能不能開啟,會漏掉不少網域設定上的細節。作者也提醒,自己只從少數網路位置查詢,看到的 6 個位址只是目前觀察到的結果,不能代表整個位址池有多大。
如果後臺要一直檢視很多交易帳戶,透過網路逐筆讀資料可能太慢,風險檢查也會錯過兩次檢查之間的變化。作者在實際平臺同時使用 MT5 Manager API 和 Web API:前者把帳戶與持倉資料留在本機,讀取只要幾毫秒,適合頻繁監控;後者透過 HTTPS 傳送指令,適合偶爾查詢或由 Linux 後臺處理操作。作者也提醒,Manager API 不適合多個執行緒同時呼叫,必須逐一保護讀取並核對帳戶編號。最後採用兩者搭配:用 Manager API 快速讀取,原本的 Web API 寫入流程則繼續使用。
推薦理由:作者在同一套實際交易平臺比較兩種 API,說明讀取延遲如何影響風險監控,也整理了各自適合的工作情境。
遙測資料送到後端前,可能帶著授權憑證、難懂的名稱,或太多健康檢查紀錄。OTTL 是 OpenTelemetry Collector 裡的轉換語言,可以在資料匯出前遮蔽、改名或過濾資料;每條指令可以指定要處理的欄位,也能設定條件,決定什麼時候執行。文章提醒,雜湊短而好猜的識別碼仍可能被還原;過濾追蹤資料也可能留下沒有父項的子追蹤。實際使用前,應先在測試環境檢查結果,並設定錯誤時要怎麼處理。
systemctl 顯示服務是 active,不一定代表它有設定好、重開機後也能回來。作者發現 Qdrant 雖然正在執行,卻沒有對應的設定檔;機器重開後,它就沒再啟動。另一個問題是 NVIDIA 驅動程式的兩個部分版本不一致,讓 nvidia-smi 出錯,PyTorch 也找不到明明裝在電腦裡的 GPU。這些例子提醒工程師,不能只看一個「正在執行」的訊息,還要檢查服務設定檔的位置,以及驅動程式兩邊的版本是否相同。
結帳時,如果寄收據或產生發票的服務變慢,整個 API 可能跟著卡住,讓使用者等不到回應。文章示範把建立訂單和付款留在主要流程,再把寄信、更新分析資料和產生發票等工作送進訊息佇列,由背景工作者之後處理。即使寄信服務暫時故障,結帳仍可繼續;佇列也能先存下尖峰時湧入的工作,讓工作者按自己的處理能力逐步完成。
同一份虛擬機器設定能在不同平臺使用,不代表虛擬機器在各平臺上的表現和運作方式也相同。VM API 提供共同的欄位來描述虛擬機器,但映像檔和網路名稱要由各平臺各自解讀;排程、高可用性、即時遷移和故障復原也由平臺決定。文章建議,除了確認設定能套用,還要在各平臺測試主機故障、調整資源和復原資料時的結果,並比對工作負載是否符合相同的可用性、復原和效能需求。
網路線接上螢幕或擴充基座後,下載速度可能遠低於預期,畫面上卻看不出問題。作者整理 Oscar Molnar 的測試:同一個 USB 網路卡直插筆電時,下載約 2.2 Gbps;接在螢幕後則約 600 Mbps。原因是網路卡每次傳送的資料量較小,經過集線器又多了延遲,資料來不及送走便會掉包,讓下載速度降下來。文章提供用 iperf3 比較直插與經過螢幕或擴充基座的測法,也整理了直插筆電、改用傳送量較大的網路卡等做法。
AWS 的無伺服器服務更新很多,現在說「Lambda 函式」已經不一定是在說同一種東西。作者整理了 Lambda、API Gateway 和 EventBridge 的 10 項變化:Lambda 分成處理事件的 Event Functions、接收 HTTP 請求的 Web Functions,以及隔離執行使用者程式的 MicroVMs;不同型別的執行時間與計費方式也不同。例如,Event Functions 的最長執行時間提高到 30 分鐘,但 Web Functions 仍是 15 分鐘。作者也提醒,新版 EventBridge 事件匯流排和舊版在功能與收費上有差異,遷移前應依自己的流量試算成本。
推薦理由:作者整理 Lambda、API Gateway 與 EventBridge 的多項變化,並比較不同執行方式的時間限制與計費方式,能幫助團隊盤點架構和成本。
把多項 API 放上架,除了寫好功能,還得確認安全檢查、檔案匯入和公開設定都真的正常。作者在 Cloudflare Workers 上做了五項 API,並分享架構、價格比較,以及四個差點讓服務無法使用或根本沒公開的錯誤,例如安全檢查把所有網域都擋下來,還有頁面顯示已公開,實際上卻沒有儲存設定。作者也比較自己的收費和市場價格,並提醒延遲要用使用者實際感受到的時間來說明;文中指出,從印度測得的連線時間是 172ms,而 Worker 本身約花 16ms。這是一篇作者介紹自家服務的實作紀錄,價格與延遲資料也有說明測量限制。
大量產生 AI 影片時,選用的模型可能遇到流量限制,或暫時無法使用,讓工作中斷。這篇文章示範用 Python 串接一個入口,先列出可用的影片模型,再選一個送出任務;如果這條路線失敗,就按順序自動重試其他路線。送出時要使用同一組重試識別碼,避免逾時後重送,意外多做一份影片、重複付費。這樣可以依不同價格選擇模型,也能減少服務中斷時對使用者的影響。