如何用架構差異檢查 AI 程式助理改了哪些程式依賴
程式測試都通過了,程式之間的依賴方式仍可能被改亂,讓之後更難修改。作者建議比較合併前後的架構,列出哪些模組新增或移除了依賴、是否跨過禁止的界線,以及需要哪些測試或負責人審查。這份簡短紀錄應從程式碼分析產生,並依風險決定只記錄、要求補證據,或讓 CI 擋下變更。文章也提醒,靜態分析可能漏掉動態呼叫,架構檢查應和行為測試及安全審查一起使用。
程式測試都通過了,程式之間的依賴方式仍可能被改亂,讓之後更難修改。作者建議比較合併前後的架構,列出哪些模組新增或移除了依賴、是否跨過禁止的界線,以及需要哪些測試或負責人審查。這份簡短紀錄應從程式碼分析產生,並依風險決定只記錄、要求補證據,或讓 CI 擋下變更。文章也提醒,靜態分析可能漏掉動態呼叫,架構檢查應和行為測試及安全審查一起使用。
要測試瀏覽器 AI 助理會不會被網頁中的惡意指令帶偏,直接使用真實網站會遇到兩個問題:網站一直變,測試難以重做;而且操作可能真的送出貼文或付款。Google Chrome 的 AI 安全團隊打造了「映象維度」測試環境,讓助理看到真實網址,背後卻由隔離的沙箱提供可重設的合成網站,也能在文字、圖片、網頁標籤和工具回覆中加入測試內容。文章說明這種做法如何測試多步驟操作,也提醒測試結果仍受網站生成方式和未涵蓋情境限制。文中沒有漏洞通報、CVE 或修補公告,談的是安全評估方法。
只做好作品集,不一定就能找到客戶;作者也不喜歡主動聯絡和推銷。於是他打造並推出 Mono,讓它每天透過 Telegram 傳來一份語音簡報,搜尋較高價位的商家、檢查網站是否老舊、找出公開地址,並草擬開發信,最後由作者輕點一下核准。上線當晚,他還修正了連結、語音、電子郵件地址和文字指令等問題。第一批 5 封開發信在晚上 11:05 寄出。
AI 助理收到 bug 回報後,常會先猜原因、直接改程式,再跑原有測試;但舊測試可能沒碰到真正出錯的情況,讓錯誤悄悄留下。這次測試比較兩種做法:一種先修改再測,另一種規定先用 5 個小測試重現問題,確認它們真的失敗後,才開放修改程式。結果,先重現問題的做法一次就通過全部 20 個檢查,輸入 token 也從 49,801 降到 2,323。 例如,測試特別檢查金額為 0 的交易能不能通過,以及多餘欄位會不會被錯誤留下;先修改再測的做法漏掉了這兩種情況。這表示先清楚看見錯誤怎麼發生,再動手修,能讓 AI 助理少走冤枉路,也更不容易漏修。
Google 把原本要付費訂閱才能用的 Gemini Tasks,開放給美國、日本、韓國、加拿大、澳洲和印度的免費帳號。使用者可在 Gemini 把模式切換成 Task,交辦旅遊規劃、學校研究或每日簡報,讓它在背景處理。文章也整理了幾項新工具:MiniMax H3-Image 可產生高解析度圖片,但社群授權排除部分地區;UnoRouter 用一組 API key 連線多種模型,作者尚未在正式環境測試;Google Vids 則每月免費提供 3 段 AI 影片,每段最長 15 秒。
安裝來路不明的 AI 助理技能,可能讓裡面的指令或程式讀取電腦檔案、密碼和 SSH 金鑰。Agent Skills Hub 檢查超過 138,000 個開源專案後發現,GitHub 星星少於 20 顆的專案,出現嚴重資安警訊的比例約是較成熟專案的 9 倍;星星多也不代表一定安全。它會用 43 條規則檢查專案,並標成安全、需留意、不安全、嚴重風險或尚未檢查。安裝前先看檢查結果、讀過指令和程式,並固定使用特定版本,有助於避開偷讀密碼或暗中下載程式等風險;但這種檢查抓不出所有問題,不能取代實際隔離測試。
AI 助理寫 Playwright 測試時,可能自己重做登入流程,忽略專案已準備好的測試工具,讓測試變慢、容易失敗,還可能把測試帳號密碼寫程序式碼。作者建議先提供專案的測試輔助工具和一份相鄰範例,要求新測試沿用共用的登入、建立測試資料和頁面導覽方式。檢查程式變更時,也要留意是否重複登入、直接填寫密碼,或用了專案沒有採用的測試方式。
小型企業想在網站或 WhatsApp 加上 AI 助理時,先別急著寫程式:要先決定它只負責哪一件事,例如回答商品常見問題或查訂單,再說清楚客人輸入什麼、AI 助理要回什麼。商品價格和庫存等即時資訊,應從公司現有系統查詢,不能讓模型猜;也要先安排轉交真人、遇到答不出來時怎麼處理,以及如何記錄和檢查對話。先讓少部分客人試用,觀察答對多少、多久回覆和花費,再定期更新資料與檢查紀錄,才容易讓服務穩定又不超出預算。
把所有工作塞進一段提示詞,剛開始看起來很方便;但要它同時讀懂問題、查資料、決定下一步、使用工具再整理答案,提示詞會越寫越長,也可能漏掉指令或答錯。文章建議把流程拆給幾個分工明確的 AI 助理:一個整理使用者的問題,一個決定要走哪個流程,另一個負責執行工作;它們再用固定格式傳遞資料。 例如,使用者說帳單被重複收費,負責分流的 AI 助理會整理出帳單編號和問題,再交給處理帳務的 AI 助理。這樣比較容易找出哪一步出錯,也能讓簡單工作交給較小的模型處理,省下時間和費用。
AI 助理如果能記住以前的失敗,通常可以拿這些經驗幫自己做決定;但要是記憶裡的資料是錯的,反而可能越記越糟。作者用 Python 做了一場《魷魚遊戲》風格的模擬,讓 6 個依照固定規則行動的 AI 助理闖過 5 種關卡。其中的玻璃橋有 20 格,每格只有一邊安全,後面的 AI 助理可以參考前面的人踩錯哪一邊。 實驗發現,前面留下的失敗紀錄越不可靠,記憶帶來的幫助就越少;錯誤紀錄達 50% 時,記得過去的 AI 助理反而比沒用記憶的更常選錯。這不是 GPT 或 Claude 的測試,也不能直接說真實 AI 一定會這樣,但提醒我們:AI 助理記得事情,不代表記得的內容可信,做決定前還得確認資料是否正確、是否適用。
新增排程或網頁操作時,如果各自有一套安全規則,兩邊可能不一致。umwayi-os 讓兩種入口都呼叫原本的指令功能,沿用相同檢查與紀錄。排程使用 Linux 的 systemd user timers,只能執行工作或流程;例如,它可以在主人睡覺時整理資料、寫草稿,但最後需要人核准時就會停下來,不能自行發布。網頁則只能連到本機伺服器,請求也要通過安全檢查。作者提醒,瀏覽器測試還沒做,伺服器的聊天和資料匯入功能也尚未完成。
Claude Code、Kiro 和 OpenCode 對工具呼叫的允許、拒絕和詢問方式各不相同,作者想用一套規則管理它們。他為 umwayi-os 寫了轉接程式,把每個工具的呼叫交給同一個檢查程式,再將結果轉成工具看得懂的回答;遇到不能詢問的 Kiro,就先停止呼叫並留下待處理紀錄。規則也會在錯誤或緊急停止開啟時一律拒絕,並在 AI 助理無法受到管控時阻止它啟動。作者在一臺 Mac 上各實際執行過一次,但也指出測試次數有限,部分 Kiro 欄位名稱尚未確認。
桌面 AI 助理的聊天框和功能選單各做各的,使用者每次要執行動作,都得離開對話再找選單。Krish Verma 為 Ankita AI 加入斜線指令,輸入「/」就能搜尋 15 個既有功能,也能接著挑選模型、專案或技能;挑技能時,系統會先準備好可修改的文字,不會直接送出。瀏覽選單時,原本寫好的草稿會先儲存,選擇功能或關閉選單後再恢復;但若把指令改成一般文字,舊草稿會被直接丟掉。這項設計讓操作留在對話裡,也留下了如何避免誤刪文字的取捨。
AI 助理可能因為重試或長時間工作而花超出預期的費用,等工作結束後才檢查就來不及了。作者介紹 umwayi-os 的預算管理方式:先用 UU 統一估算不同工具的費用,再在工作開始前預留整筆上限;沒有回報費用的工具則按設定的最高估值計入。工作結束後,系統會用實際用量結算預留額度。作者也提到,Claude Code 的實際測試曾因接收器不接受一種整數格式而失敗,修正方案已核准但尚未合併。
AI 助理能替人動用錢包,光說「我做完了」並不能證明它真的照規矩辦事。Kasibat69 的人類操作者先訂好安全規則:每筆交易都要先預覽,只有一項例外能自動進行——AI 助理每小時只能呼叫一次指定合約的 claim(),而且至少累積 140 $PXIO、預覽沒有異常、錢包仍有足夠 BNB 時才能領取。到 11 月 21 日,這項工作已領取 14 次、共 2,189.63 $PXIO,每次都有交易紀錄可查;需要額外核準的升級則因風險檢查沒通過而停止。 交易紀錄能證明錢有移動,卻不能直接證明 AI 助理當時是依照規則做決定。zkVerify 的 Proof Gatekeeper 要求 AI 助理在核準或拒絕付款時,同時交出零知識證明,讓平臺確認它有遵守事先訂好的條件,卻不用公開內部做法。這能讓別人更容易查證 AI 助理有沒有守規矩;但規則訂得好不好,仍要由人來負責。
AI 助理可能在不清楚使用者意思時照樣採取行動,也可能把錯誤藏在自己的工作回報裡。作者打造 umwayi-os,在 Claude Code、Kiro 和 OpenCode 等工具執行操作前先檢查使用者訂下的規則;遇到不清楚的情況,就拒絕執行或先詢問。系統會記下每次判斷,也能停止所有 AI 助理和工作。開發時由 Kiro 負責寫程式,另一個 AI 檢查程式變更,作者則決定安全規則等重要修改。作者也分享並行工作、合併衝突和測試流程出錯的例子,說明為什麼要讓檢查獨立於負責建置的工具。
電話分析工具要看接電話的是誰:AI 助理接聽時,Agnost AI 會讀完整通話文字,照你寫的規則檢查有沒有辦好事,也會找出通話卡住、工具出錯或客人不耐煩的情況,再用 Slack 或電子郵件提醒。真人接聽時,銷售電話可看 Gong 或 Chorus,客服中心可看 Observe.AI 或 CallMiner;想知道哪個廣告帶來電話,可看 CallRail 或 Invoca;想把分析功能放進電話系統,則可看 Dialpad。 例如,CallRail 每月 $50 起,能協助小型企業檢視來電摘要、客人情緒和來電來源;Agnost AI 每月免費分析 1,000 筆事件,但它只看文字,無法判斷說話語氣或停頓。這些工具各有適合的電話型別,挑選時先想清楚誰在接電話,以及你想用分析結果改善什麼。
AI 助理出錯時,只看單次執行紀錄,常常不知道是哪位使用者的哪段對話出了問題。Pydantic AI 和 Google ADK 都會留下 OpenTelemetry 紀錄,可以送到監看工具;只要替每次執行加上使用者和對話資訊,就能把同一段對話的紀錄串起來。例如 Agnost AI 會依照白話規則檢查整段對話,發現問題時用 Slack 或電子郵件提醒;Pydantic Logfire 適合檢視 Pydantic AI 的執行過程,Google Cloud Trace 則能檢視 Google ADK 的紀錄。選對工具,就能更快找出 AI 助理在哪段對話或哪次工具呼叫出錯。
團隊擔心回報問題的影片會留下客戶資料,也很難只靠服務商一句「請相信我」確認隱私做得如何。Brief 的作者開放了這款 Chrome 擴充功能的原始碼,並提供一份檢查指南,讓 Claude Code、Cursor 等 AI 助理對照程式碼檢查隱私承諾。管理頁面只能讀取不含回報內容的固定資料欄位,問題影片和音訊在建立回報單後會刪除;團隊也能把 Brief 架在自己的伺服器上。這讓使用者可以檢視資料如何處理,或自行執行服務。
AI 助理查詢 Snowflake Cortex 時,如果所有人共用同一個服務帳號,查詢紀錄就看不出是誰提出要求,也無法依實際使用者套用資料存取規則。文章整理三種 OAuth 做法:讓使用者直接向 Snowflake 登入、透過 Okta 或 Entra ID 等公司登入系統驗證,或由工作使用共用服務帳號。前兩種能保留個別使用者身分;公司登入系統停用帳號後,已快取的權杖仍可能用到過期。共用帳號適合無人值守的批次工作,但查詢都會顯示同一個身分。文章也建議,若無人操作的工作仍需要記錄真正的使用者,可評估 OBO 權杖交換。
熱浪或寒流一來,HVAC 店家可能同時接到大量電話,但接電話的助理不能變出更多維修人力。作者建議 AI 電話助理先接起每通電話,再依住戶狀況和問題分急緩;若有人可能受溫度影響而有健康風險,就轉給值班人員或安排緊急時段。沒有空檔時,助理應老實說明何時能安排、何時有人回電,也要留下通話紀錄。作者提醒,緊急轉接最容易出錯,應先用模擬電話反覆測試;若店家已接不了更多維修工作,助理只能讓等待更有秩序,無法解決人手不足。
AI 助理常為了重複任務一再讀取相同資料、重新想做法,讓每次工作的費用累積起來。文章以 Parcha 的程式碼審查為例,說明把學到的流程交給較便宜的模型,能降低單次審查費用;也介紹 Pomerene 的軌跡快取,重播先前記錄的步驟,減少重新推導所需的時間與模型呼叫。遇到會改動資料的步驟,快取必須嚴格比對目標和上下文,否則就交回 AI 助理處理。作者建議先從執行紀錄檢視任務重複率、重複間隔和每次完成成本,再判斷快取是否適合自己的工作。文中的成效數字來自 Parcha 自家資料與測試。
團隊趕著在週末前交件,可能會讓 AI 助理直接讀取線上密碼、把雲端金鑰放程序式碼,或安裝沒檢查過的套件。攻擊者就可能利用藏在網頁或 GitHub 問題裡的惡意指令,騙 AI 助理讀出密碼並傳出去;公開的金鑰也可能在幾秒內被掃到,拿去開雲端主機或建立其他帳號。沒確認過的套件則可能在安裝時執行惡意程式,入侵建置用的伺服器。 這些做法省下幾分鐘設定時間,出事後卻可能讓值班人員花上好幾個小時查紀錄、換密碼和重建伺服器。文章提醒,趕進度不能省掉基本檢查;否則週五下班前的一個小捷徑,可能變成別人整晚收拾的事故。
AI 助理做安全檢查時,常會列出一長串建議,卻沒說明攻擊者能不能真的利用。Cloudflare 的 security-audit 技能要求每項漏洞都交代低信任者能做什麼、跨過哪道防線,以及造成什麼具體結果;缺少防護建議會列為加強專案,不算漏洞。找到問題的 AI 助理不會自行定案,另一個 AI 助理會查閱程式碼和有限的本機證據,嘗試推翻這項發現。技能也規定,只有在作業系統沙箱能限制網路、檔案寫入和資源使用時才執行目標程式;做不到就只檢查原始碼,並列出需要進一步確認的事項。作者也提醒,單次檢查可能只找到多次檢查合計發現的約一半漏洞。
流程圖一旦塞進太多節點,用提示詞請 AI 助理產生 Mermaid,常會遇到線條交錯、文字被裁掉,也只能看不能點的問題。Archify 讓 AI 助理用有固定格式的 JSON 描述圖表,再檢查資料結構、線條路徑和版面;完成後會產生一個不用伺服器、可離線開啟的 HTML 檔,讓人點選節點、檢視上下游關係或匯出圖片。文章也比較 Mermaid、Excalidraw、D2、LikeC4 和 Eraser.io,說明小型檔案圖表、多人白板和團隊架構建模各自適合的工具。檢查能找出格式與版面問題,但仍需人工確認圖表內容是否符合實際系統。
AI 助理若把每次對話細節全都存下來,找資料可能比做事還花時間。Anthropic 把 Claude 的長期記憶分成四層,從不修改的對話紀錄,整理成筆記、知識百科,再挑出少量重要內容放進新對話。背景整理程式會比對舊紀錄,修正不準的筆記。文章提到一項 Pokémon 測試:存了 413 個檔案的模型拿到 1 個徽章,只存 9 個檔案的模型拿到 4 個。這套功能目前僅供 Claude Managed Agents 研究預覽使用,測試也顯示整理記憶仍無法答對所有問題。
公司每月都要登入不同廠商網站,手動下載發票 PDF;這些網站沒有 API,登入後才看得到發票。Kevin Meneses González 用 Browser Use Cloud 示範做法:AI 助理先開啟網站並停在登入畫面,由人透過瀏覽器登入,再接著下載發票,將資料整理成 JSON,最後由 Python 寫成 CSV。測試從 FOSSBilling 示範網站下載了 3 張發票,作者逐張比對後,確認 JSON 資料和 PDF 相符。測試也發現,預設代理設定可能讓網站中途要求重新登入;關閉代理後,這次流程順利完成。
企業把檔案切成一小段一小段,再讓 AI 助理搜尋,常常找得到相關文字,卻不一定能回答需要多種資料的問題。文章認為,問題在於文字片段不等於知識;像「ABC Pro 何時上市、售價多少、何時新增 RAW 影片功能」,其實是幾種彼此相關的資訊。 作者以 LLMWiki 為例,提出先把資料整理成能互相連結、持續更新的知識頁面,讓 AI 助理依問題查產品、政策、訂單狀態和資料來源。穩定的企業知識可讓模型學習,會變動的價格、政策和即時狀態則交給 Wiki、資料庫或 API;RAG 仍可用來找原始檔案作為證據。這樣一來,企業 AI 助理就不只是在檔案裡找相似句子,也能根據整理好的知識回答問題。
AI 助理每次開新對話都像重新開始,常得重講偏好,也要再教一次熟悉的工作步驟。作者實際使用 Hermes Agent 三週,觀察它如何把使用者偏好和做事經驗存成記憶與可重用的技能,之後遇到類似任務時就能接著做;它也能搜尋過去的對話、安排定時工作,並把研究任務交給多個 AI 助理平行處理。作者表示,第三篇文章寫得比前兩篇快。不過 Hermes Agent 需要熟悉終端機,支援的訊息平臺也比 OpenClaw 少,進階設定說明較有限。
在 CI 或其他支援 OIDC 的地方呼叫模型,以前需要使用長期有效的 API 權杖。OpenCode Console 現在支援免金鑰驗證,讓這些環境不必再儲存長期 API 權杖。
每天重複點管理頁面、匯出報表很花時間,也容易忘記操作步驟。dsh-agent-enhancer 是 DSH 的桌面外掛,能在獨立的瀏覽器視窗裡記錄點選、輸入和換頁,再存成流程,之後手動重跑或交給排程執行。像每週匯出報表,可以先錄一次流程,再設定日期,並檢視上次執行結果。自動執行只適用於指定網站,時間和操作次數也有限;遇到密碼或 CAPTCHA 時會停下來等人處理。
AI 助理跑了很久才失敗,光換模型不一定能找出問題。文章建議把每次工具呼叫和模型呼叫都記下來,例如工具回傳的結果、花費時間、重試次數,以及模型用了多少輸入資料;再沿著紀錄找到第一個出錯的步驟。這能分辨問題是工具失敗、資料被擠出記憶範圍,還是一直重試,並把找到的原因用來修正工作流程。文中也整理了幾種追蹤工具,指出 OpenTelemetry 可讓不同工具使用共同的紀錄方式。
選 AI 助理開發框架時,星數和更新頻率看不出回報問題後要等多久。作者整理 9 個框架在同一段 60 天期間收到的 GitHub 問題,發現 OpenAI Agents SDK 有 98.3% 在 30 天內結案,Claude Agent SDK 的 Python 專案則是 1.9%。不過,結案不一定代表問題已修好:有些問題會被標成不處理,也可能是重複提問或被機器人關閉。這份比較可用來瞭解各專案處理回報的情況,但結案比例仍要和結案原因一起看。
資安團隊收到的警示太多,調查時還得查身分、網路活動、近期變更和裝置資料,也要知道每個結論從哪裡來。作者做了 Alert Investigation Board 原型,讓三種分工明確的 AI 助理各自整理證據,再把有來源的說法放到同一個案件板上,由系統核對資料,讓分析人員檢視依據並決定下一步。AI 助理只能提出處理建議,核准仍由人員負責。示範使用合成資料,沒有連線真實的身分系統或隔離裝置的 API,也沒有可重現的效能資料,因此只能展示工作流程與控制方式,不能據此判定實際調查效果。
讓 AI 助理直接修改並發布程式時,出錯可能影響資料或讓失敗的版本上線。作者分享自己讓 AI 助理處理正式環境兩個月後留下的五種做法:把決定要做什麼的程式和讀寫檔案的程式分開;用 JSON 檔案存資料時,防止程式中斷留下壞檔、讀取失敗拖垮頁面,並定期把資料備份到專案外;讓不同方式送來的核準都走同一套規則;事先決定等不到回覆時要繼續還是停止;最後依序通過型別檢查、測試和建置,才替換正在執行的程式。這些做法讓代理程式的操作範圍較小,也讓上線流程更容易檢查。
做出能在生活中派上用場的產品,光讓 AI 回答問題還不夠,還得照顧使用者真正遇到的麻煩。鴻蒙高校創新賽的學生團隊把點子做成應用:山東大學團隊用觸覺點陣幫視障者摸出前方障礙;北京工業大學團隊用床墊感測器檢視臥床長者的姿勢,協助護工交班;另有團隊讓長輩用語音和家人聯絡,也幫年輕人整理衣櫃、找衣服。這些作品提醒我們,AI 助理能幫忙整理資訊,但在照護等重要事情上,仍要讓人確認每一步,技術才真的靠得住。
在瀏覽器裡做事常得來回切換分頁和工具。Perplexity 宣佈,AI 助理 Computer 現在可透過 Perplexity 擴充功能,在 Chrome 和其他 Chromium 瀏覽器中工作。使用者能從側邊面板交辦任務,並看著 Computer 點開分頁、操作工具。公告沒有說明這項功能的使用資格;這次更新讓 Computer 能直接加入使用者原本的瀏覽器工作流程。
Python 的執行緒工作逾時後,常會讓人以為工作已經停止,其實只是呼叫端不再等待。作者實測四個工作各等 1 秒後都報逾時,但仍繼續跑滿 5 秒;它們佔住工作池,也讓後來只需 0.1 秒的工作多等了 1.10 秒。若工作真的必須停止,作者改用子程式,逾時時終止執行中的程式;代價是每次啟動約多花 0.15 秒,傳入和取回的資料也要符合 Python 的序列化規則。若是 HTTP 請求,則可在請求本身設定逾時。
挑模型時,分數較高的選項也可能比較貴,而且公開測試不一定符合自己的工作。作者比較 Gemini 4 Hydrogen 和 GPT-6.1 Terra 在 Google 模型卡上都有分數的 9 項基準,Hydrogen 贏了 8 項,Terra 則在科學類終端機測試勝出;這些結果由 Google 執行,兩款模型的測試條件可能不同。依文中列出的標準 API 費率,輸入 2,000 萬、輸出 500 萬 token,每月費用分別是 $67.50 和 $45.00。文章建議用自己的工作測試分數、費用和成功率,再決定怎麼選。
推薦理由:文章把兩款模型的公開基準分數、每百萬 token 費用與月用量試算放在一起,呈現選擇時效能和成本的取捨。