Lean Team 教你在合併前抓出 AI 助理寫程式的 5 種常見錯誤
AI 助理寫程式很快,但看起來合理的程式碼和有自信的測試摘要,可能藏著錯誤。Lean Team 整理了合併前該檢查的五件事:呼叫不存在的 API、忽略錯誤、測試沒有真正檢查結果、只相信 AI 助理說測試通過,以及把行為改動藏在重整程式碼裡。作者建議查檔案、確認測試實際執行並檢查輸出,也把行為改動分開測試。這份清單可放進合併請求範本,也能交給 AI 助理先自我檢查。
AI 助理寫程式很快,但看起來合理的程式碼和有自信的測試摘要,可能藏著錯誤。Lean Team 整理了合併前該檢查的五件事:呼叫不存在的 API、忽略錯誤、測試沒有真正檢查結果、只相信 AI 助理說測試通過,以及把行為改動藏在重整程式碼裡。作者建議查檔案、確認測試實際執行並檢查輸出,也把行為改動分開測試。這份清單可放進合併請求範本,也能交給 AI 助理先自我檢查。
AI 助理用加密貨幣付 API 費用時,賣家提供的收款地址和價格可能有變,付款後也不一定知道服務是否真的交付。作者在簽署付款前,先用 vet402 查核賣家與實際交易條件;若賣家不在資料庫,或價格、收款地址對不上,就暫停付款,交由人決定。付款完成後,系統再記錄服務回應狀況;串流回應即使送出 200,也不直接當成服務成功。這些紀錄不會自動阻擋賣家,主要用來留下可追查的證據。
突然收到一堆同名、寄往不同地址的低價訂單,可能不是生意變好,而是機器人用商店結帳測試盜來的信用卡。這類測試會用小額付款確認卡號能不能刷;即使取消訂單,持卡人之後仍可能提出拒付,還會影響商店的付款核准率。文章建議先不要出貨,檢查 CVV 和地址驗證設定;攻擊期間可改成手動請款,確認訂單後再決定是否收款,也可暫停寄送購物車提醒,或暫時調高、隱藏被盯上的低價商品。再設定警示,在短時間內出現多筆可疑訂單時及早收到通知。
搜尋到 TinaCMS 網站的標題,不代表就能知道它的管理後臺或後端有沒有對外開放。ZoomEye 搜尋到 9 筆標題含「TinaCMS」的結果,但這些資料無法證明 /admin 能否連線,也看不出網站是自架後端還是使用其他架構。自架網站的管理者要確認登入設定、GraphQL API 和 Git 許可權是否都有限制;例如,能登入的編輯者不應因此就能修改所有內容或分支。公開檢查時,只查看網站已公開的頁面,不要嘗試登入陌生網站。真正重要的是確認誰能修改內容,而不是搜尋結果有幾筆。
微服務的安全問題常藏在不同服務的交界處,例如邊界代理和內部服務對網址的理解不同,或高許可權背景服務的控制通道沒有妥善保護。作者打造了兩個 TryHackMe 練習環境,讓人實際檢查這些風險。第一個練習如何稽核反向代理與 API 閘道;第二個則要分析去除除錯資訊的 C 程式、理解自訂指令格式,並檢查內部服務與 Unix 通訊端的許可權。整套練習從網路邊界一路深入到程式分析和 Linux 許可權檢查。
iPhone 錄的影片設成 Telegram 個人頭像後可能沒有反應,原因是 Telegram 不接受文中提到的 HEVC(H.265)MOV 格式組合,卻沒有說明原因。作者因此做了 @liveavabot,讓使用者傳送影片或 GIF 後,拿到可用的頭像檔案。 轉檔時,ffmpeg 會先找出畫面範圍,再從中裁出置中的正方形,縮成 800x800,轉為 H.264、移除音訊,並把片長限制在 10 秒內。若檔案超過約 2 MB,程式會提高壓縮程度再試。Telegram Bot API 無法直接替使用者設定個人頭像,因此收到檔案後仍要在 Telegram app 裡自行設定;以檔案方式傳送則可避免 Telegram 重新壓縮。
Roam 把 AI 助理的工作紀錄存進 Git,方便作者在不同電腦間接續工作,但一次同步檢查發現,儲存庫竟然膨脹到 22 GB。原因是每次新增訊息,舊紀錄標題的總數也會跟著改,Git 因此一再儲存大量變動內容。作者改用不會變動的訊息標題,並把每次新增的紀錄放進新檔案,讓舊檔不必重寫;同步失敗時,Roam 現在也會回報錯誤。搜尋功能也曾因小字串保留整份大檔案而佔用過多記憶體,作者調整讀取方式後,4.8 GB 的歷史資料搜尋速度從 47 秒降到約 5 秒內。
小型企業把 AI 生成的圖片放進廣告後,收到權利人的存證信函時,通常得由發布素材的企業面對。作者整理了幾種常見風險:圖片可能太像受著作權保護的作品,純 AI 生成內容不能只靠工具條款當成自己的作品登記,廠商的賠償承諾也可能只適用於特定付費方案和使用條件。真人合成肖像還涉及另一類權利;文章也提醒,在歐盟發布特定 AI 生成內容可能需要揭露。作者建議團隊記錄模型、提示詞與人工修改,發布前檢查人物、角色、商標和包裝,並確認適用的揭露要求與廠商條款。
LLM 聊天機器人有時第一個字等很久,有時同時使用的人一多,GPU 記憶體就不夠;這兩種情況的原因不同。文章說明,模型會先一次讀完提示詞,再一個 token 接一個 token 寫出答案,所以提示詞太長會拖慢第一個字,答案太長則會讓整段回覆等更久。為了不用每次都重讀前文,模型會把已讀內容的簡短記錄存進 GPU 記憶體;聊天越長、同時進行的聊天越多,記錄就越佔空間。作者用假設數字示範容量估算,並提醒這些數字不是實測;要減少等待或容納更多人,可縮短提示詞、答案或同時進行的聊天,也可使用記憶體較大的 GPU。
同時檢視 App Store 和 Google Play 的 App、排行榜與使用者評論,資料常常分散在不同頁面,很難放在一起比較。這篇文章示範用 Python 搭配 App Store & Google Play Scraper,把兩邊的 App 資料和評論整理成同一種表格,也能檢視排行榜名次,或每天只收集新評論並傳送摘要。比如篩出 1、2 星評論,就能看看使用者常抱怨什麼;文章的測試例子抓回 42 筆資料,花費約半美分。這讓團隊更容易一起檢視 iOS 和 Android 的市場動態,但工具無法搜尋關鍵字,也抓不到 Google Play 排行榜。
把網站檔案網址貼給 AI 助理時,它有時會抓錯重點;llms.txt 想用一份簡短的文字地圖,讓 AI 工具更快找到重要頁面。作者提供軟體產品可套用的範本,建議先挑出 10 到 30 個最有用的頁面,按用途分組,並用白話說明每個連結的內容,再把次要頁面放進可略過的區段。這份檔案不能取代網站地圖,也不會控制爬蟲能否讀取網站;而且目前仍是提案中的格式,並非每個 AI 工具都承諾採用。
我原以為筆電的 8 GB VRAM 會先卡住本機生圖,實際測試時,16 GB 系統記憶體也成了限制。這次用 ComfyUI 跑了 126 次生圖,其中 13 次出錯;使用兩個 ControlNet 的流程曾當機,但原因還沒查清楚。部分慢速紀錄被認為可能和 Windows 把資料暫存到硬碟有關,現有資料卻無法證明是它造成延遲。 例如,使用 IPAdapter 和 OpenPose 的流程,中位數花了 51 秒,系統記憶體讀值達 16.0 GB。作者因此建議,這臺筆電每張流程圖最多用一個 ControlNet,並替系統記憶體留空間;這是這次實驗的實用做法,不代表其他電腦也一定跑不了更多。看 GPU 記憶體還不夠,也要留意整臺電腦的記憶體和工作負載。
React App 原本只能顯示文字,加入語音後,就能把文字念出來。這篇教學用 ElevenLabs 產生語音:網頁把文字送到一個小型 Node.js 伺服器,再由伺服器呼叫 ElevenLabs API、把音訊傳回瀏覽器播放。這樣 API 金鑰就不會直接放在網頁裡。文章也示範如何讓使用者按下按鈕聽到朗讀,並提到可以上傳約 10 秒的聲音樣本,建立自訂聲音。
使用者註冊 SaaS 後,如果得等電子郵件才能繼續,郵件延遲或寄不到就可能讓人以為產品壞了。作者分享一種做法:帳號建立後,先讓使用者在產品裡開始使用,再由佇列處理歡迎信、驗證信和提醒。系統分開記錄帳號已建立、產品功能已可使用,以及郵件已排入寄送等狀態;郵件寄出也不代表使用者已收到或讀過。遇到暫時性錯誤可以重試,地址無效等問題則不該一直重寄。這樣能避免重複寄信,也方便查明延遲原因。
前端呼叫 API 時,常會遇到指令列測試正常、瀏覽器卻擋下請求的情況。文章整理了三種常見原因:加入 JSON 標頭或 Authorization 後,瀏覽器會先送 OPTIONS 預檢;若驗證程式或反向代理擋住這一步,真正的請求就不會送出。使用 Cookie 時,回應也不能同時允許所有來源並開啟憑證,應改用明確的來源清單;若 CDN 沒有依 Origin 分開快取,還可能把一個網域的標頭送給另一個網域。文中也提供檢查預檢和回應標頭的線上工具。
商品包裝上的條碼要連到網頁,常得另外印一個 QR Code;GS1 Digital Link 則把商品編號寫進網址,讓同一個 QR Code 可供結帳掃描器讀取,也能讓手機開啟網頁。文章帶讀者看網址如何放入商品編號、批號或效期,以及解析服務如何依需求把人導向商品頁、食譜或追溯資訊。網址背後的連結可以更新,因此商品換了宣傳頁或需要發布安全通知時,不必重印 QR Code。零售店能否直接掃描,仍取決於店內裝置與商品資料;過渡期間,傳統條碼仍會繼續使用。
C# 15 的聯集型別看起來像一種新型別,但編譯後實際變成什麼?作者用 ILSpy 檢視編譯好的程式,發現它是一個普通的 struct,裡面用一個 Value 欄位存放目前的情況,每種情況各有一個建構函式。編譯器會在編譯時檢查 switch 是否涵蓋所有情況;程式執行時,則只是依序檢查 Value 的型別。瞭解這些細節,就能看懂聯集型別提供的安全檢查在哪裡運作。
把應用程式搬到新的 Kubernetes 叢集時,Pod 都顯示正常,使用者還是可能連不上服務,資料也可能沒跟著搬過去。作者分享把工作負載從 GKE 搬到 DigitalOcean Kubernetes 的經驗,建議先確認新叢集有足夠資源、儲存設定和入口路由,再用真實網域測試登入、資料庫操作等使用流程,最後才切換 DNS。DNS 更新後,舊叢集也要先留著;如果有資料要搬,還得先安排同步、備份或還原方式,並訂好出問題時如何回復。
銀行和醫療系統要讓 AI 助理處理重要工作,得先確保它看得到什麼、能做什麼,也能追查它做過的事。文章整理了管理步驟:記錄每個 AI 助理的負責人和許可權,先在模擬環境測試,再設定並監看規則、留下稽核紀錄,並由人員監督重要操作。資料也可能單獨看來沒問題,合在一起卻變成個人資料,因此每次查詢、收件物件或資料處理地點改變時,都要重新檢查。只在上線時檢查一次,可能漏掉後續變化。
展覽日期、場地和補助規定可能在公佈後改變,只標上最後更新日期,還是看不出資料哪裡有變或哪些紀錄該先檢查。Global Expo 提出一套檢查佇列,依官方來源是否改動、資料多久該重查、不同來源有沒有衝突,以及錯誤對使用者的影響,排出檢查順序。每筆紀錄也保留來源、查詢時間和修改理由;遇到來源無法查閱時,就標示尚未確認並安排下次檢查,不自行猜日期。這套做法可用在展覽目錄、活動行事曆和場地資料庫。
正式環境的 Docker 容器若裝了編譯器、套件管理工具和除錯工具,映像檔會變大,也多了需要檢查與維護的專案。文章示範多階段建置:先在一個階段編譯程式,再把執行程式需要的檔案放進精簡映像檔,讓編譯工具和原始碼不留在最後的容器裡。作者也建議依程式選用較小的基礎映像檔、避免把不需要的工具放進正式環境,並將上傳檔案、資料庫檔案和記錄存到容器外。這些做法能減少映像檔內容,讓部署和維護更省事。
AI 助理用 API 按次付費時,單次價格雖低,反覆重試仍可能讓整個任務花掉不少錢。minia2a 根據自家服務提出三項檢查:付款前確認端點會回傳可讀的付款要求、每次從要求內容讀取當下價格,以及確認服務沒交付時能否退款。文章也建議替整項任務設花費上限、限制每個問題的重試次數,並記錄累計支出。作者分享的平臺資料顯示,付費呼叫若未交付會退款;但他也指出,網站收到大量外部請求,不代表真的有很多買家。
AI 助理能很快寫出第一版程式,但不同次產出的程式可能不一樣,也未必符合組織的開發標準,後續維護和交接就成了難題。Dongbum Lee 把解法稱為 SDLC Harness:先把組織的標準放進開發流程,再用檢查關卡確認每個階段都有照著做;工程師和 AI 助理累積的經驗,也會留下來供後續工作參考。這套開源工具涵蓋從需求到回顧的十個階段,若檢查未通過,工作會退回修正再檢查。作者認為,讓 AI 寫程式更容易融入組織,關鍵在於準備好自己的標準和流程。
整份會計 CSV 的借貸總額看起來相等,不代表每筆分錄都正確,因為兩筆方向相反的錯誤可能互相抵銷。作者示範用 Python 依分錄編號加總借方與貸方,列出需要檢查的分錄;編號會保留為文字,像「0008」這樣的前置零也不會消失。範例中「0008」借方比貸方多 10 歐元,因此會被列出。這項檢查能找出漏行等問題,但分錄平衡仍不能保證科目或期間正確;作者也提醒要保留原始檔案。
沒有募資的新創,也可能申請到雲端和工具抵用額度,但各家方案能拿多少、何時到期,常和宣傳中的最高額度不同。作者分享自家公司目前拿到 30,500 美元,包括 AWS、Cloudflare、DigitalOcean、Google Cloud 和 OpenAI 的額度;申請時只有登記公司、上線網站和公司網域信箱。這些額度通常會在核準後 6 到 24 個月到期,因此作者建議等服務真的開始有用量時再申請。他也整理了 22 個方案、自籌公司可拿到的額度和到期資訊。
Passkey 註冊失敗時,只看錯誤訊息很難知道是哪個位元組出了問題。作者說明如何拆開瀏覽器回傳的 attestationObject,檢查其中的 RP ID 雜湊、使用者驗證旗標、計數值與 COSE 公開金鑰;例如,設定要求使用者驗證時,若旗標沒有 UV,就會讓註冊失敗。作者也做了兩個瀏覽器檢查工具,資料只在本機記憶體處理,不會傳到網路上。
直播時,樂手忙著演奏,沒空逐句確認 AI 助理顯示的歌曲資料;小型模型也可能把沒得過的獎說成得過。BubbleFacts 先從 Wikidata 和 MusicBrainz 取基本資料,其他內容則要求模型只根據維基百科文章撰寫,再用程式逐項檢查人名、年份、來源句子和說法是否相符。來源沒有支援的內容就不顯示,錯誤紀錄留在直播者自己的電腦。內建的 Llama 3.2 3B 也在本機執行,不會把資料送到雲端 AI。
儀錶板還連得上,不代表每臺 IoT 裝置都有正常回報;裝置持續回報,也不代表觀看者的畫面一定收到更新。文章建議由 API 記下每臺裝置最後一次回報的時間,再依設定的期限標示為「最近回報」、「過期」或「未知」,不要把過期直接說成裝置已關機。範例用 10 秒回報間隔和 30 秒期限說明判斷方式,並提醒正式系統還要處理重複與過期資料、逾時狀態更新,以及儀錶板重新連線後補回最新資料。
退款政策裡常有天數,但光看到數字,不一定知道它適用於什麼情況。這篇教學用一小段程式找出「30-day」或「within 7 days」這類寫法中的第一個天數,並分清楚三種結果:找到天數、文字裡沒有符合的天數,以及欄位空白。以 StagingBench 的 12 筆退款欄位為例,程式找出 8 筆有天數、1 筆有文字但沒找到天數,另有 3 筆是空白。若一句話同時寫了首次購買和續訂期限,程式只會抓第一個數字,也不會知道它適用哪個條件;所以要保留原文,不能把擷取出的天數當成完整退款規則。
產品經理和工程師要配多少人,沒有適用每間公司的固定答案。文章整理多份資料,指出常見情況約是 1 位產品經理配 4 到 10 位工程師;公司規模、產品工作由誰分擔,都會改變比例。計算時也要算進創辦人或工程師花在產品工作的時間,而不是隻看職稱。AI 工具可能加快寫程式的速度,但文章提醒,實測結果不一,團隊還是要先找出工作卡在哪裡:是等產品決策、需求不清,還是檢查和測試太慢,再決定是否需要調整人力。
只定期匯出 MongoDB 資料,會漏掉後來的新增、修改和刪除,讓 Snowflake 裡的資料跟不上。作者實際示範用開源工具 OLake Go 讀取 MongoDB 的 Change Streams,再把資料寫成 Iceberg 表格,供 Snowflake 查詢,也能讓 DuckDB 和 Spark 讀取同一批檔案。範例先複製 48 筆資料,再同步 12 筆變更;作者也提醒,兩次同步不能隔得比 MongoDB 保留變更紀錄的時間更久,否則就得重新複製資料。
每個人都能用 AI 整理市場資料和提出產品點子,產品經理要怎麼判斷哪些建議真的適合自己的客戶?文章建議先依照利害關係人的影響力和關注程度,安排不同的溝通方式,再把 AI 提出的功能改寫成它想解決的客戶問題,對照訪談、客服紀錄和使用情況。像是客戶原話或實際測試結果,能幫團隊看出哪些問題真的存在;還要先說清楚誰負責推動、誰有權決定,並把理由記錄下來。這讓討論能回到客戶需求,也減少因為決策權不清而起的爭執。
理賠案件的保單可能在事故發生後才更新,若直接使用目前版本,推薦的處理方式就可能不適用於事故當時。作者以假想的住宅保險公司為例,說明如何依事故日期找出適用保單,記下當時使用的資料和規則,再由系統準備建議、交給分析人員決定。若日期有衝突、資料不完整或找不到唯一適用版本,案件就轉交人工處理。試行時也要分開檢視不同保單版本的結果,並留意人工案件是否因此積壓。
重複的開發工作如果只靠口頭交代,容易漏掉步驟,也可能讓不同 AI 助理各自用不同方式處理。Yonto Player 的程式庫把這些工作寫成 Markdown 檔,內容包含何時使用、要做哪些步驟,以及每一步的指令;人也能直接閱讀照做。較長的細節放在參考資料夾,相關工作流程則互相引用,避免規則散落重複。作者也分享了問題修正、品質檢查和開啟 PR 等例子,讓團隊能把日常做法整理成容易維護的工作指南。
測試雲端服務時,光確認 API 回應正常,還不代表資料真的有存進去或警示真的送出。作者用 NestJS 和 AWS Emulator 做了一套本機遙測 API:收到 CPU 與記憶體數值後,更新 DynamoDB 的最新狀態、把每筆資料存到 S3,並在 CPU 使用率達到 80% 時送出 SQS 警示。文章也說明如何啟動模擬服務、送出資料和檢查結果。自動化測試只驗證 API 的部分行為,沒有測到 AWS SDK 操作或警示門檻;這些整合流程是另外手動確認的。
從空資料夾做出一款能玩的語言遊戲,要怎麼把課程、答題和進度放在一起?作者用一段提示詞,讓 AI 程式開發工具做出 Lingo Hop:手機畫面裡有五堂西班牙文課、連續學習天數、愛心和經驗值,每堂課有選翻譯和拼句子兩種練習。作者讓工具在瀏覽器實際玩完第一堂,答對 8 題中的 7 題,並確認進度有存下來;之後又加上每天累積經驗值的進度圈。不過其他課程還沒逐一玩過,這個單人原型也沒有帳號、同步、口說或聽力功能。整次模型使用費為 6 美分。
房源狀態或價格改了,搜尋結果卻還留著舊資料,會讓找房的人看到已售出的房子,或漏掉降價資訊。作者分享一套增量更新做法:每筆房源都有版本,系統只接受較新的版本;重複送來的更新可以安全重做,定期比對也能找回漏掉的資料。房價改動時可只更新價格欄位,文字沒變就不必重算向量。至於一筆房源要切成多大的文欄位落,作者建議用實際查詢測試相關性和更新速度,再依目標選擇。
產品團隊如果隔很久才問客戶意見,可能會花好幾個月沿著錯的假設做產品。文章整理一套每週持續探索的做法:先選定想改善的目標,每週安排一次短訪談,讓產品、設計或工程團隊成員直接聽客戶分享,再把訪談內容和產品決策連在一起。招募可以用產品內邀請和預約連結減少來回聯絡;AI 可協助轉錄、分類和整理,但模擬使用者的回答不能當成真實客戶證據。
AI 助理能產生更多程式碼,但團隊可能更難看懂整個系統,也更難判斷改動會帶來什麼影響。作者整理出 6 個程式碼審查習慣:先用一句話說清楚改動目的,再對照程式碼;連同周邊模組、套件和測試一起看;遇到團隊沒人能解釋的新部分,就追問它的用途;合併前也要想清楚出錯時會怎樣、能不能復原。文中提到的系統性失靈是他人的觀點,六個習慣則是作者自己整理的實務做法,不能當成事故原因的研究證據。
AI 產品剛推出時,很多人可能只是好奇試用一次,使用量看起來不錯,卻不代表他們會持續回來,也不代表每項工作都能賺錢。文章整理了一套檢查方法:先鎖定一群客戶和他們常做的一件事,再追蹤客戶有沒有完成工作、之後是否回來,以及每次完成工作的收入能不能高過成本。作者也提醒,AI 回答被送出不等於工作完成,應記錄使用者接受、修改或放棄回答等後續行動。把這些訊號放在一起看,團隊比較能找出真正有需求的客群和需要改善的地方。