如何追蹤 AI 助理的操作紀錄,讓工具呼叫更容易稽核
AI 助理的介面、工具和平臺追蹤有時會顯示不同紀錄,讓支援人員難以查清它到底做了什麼。作者建議每次操作都儲存一份格式一致的活動紀錄,再由這份紀錄產生介面上的計數,並把知識搜尋和一般工具分開記錄。把同一組識別碼傳到介面、API 和追蹤平臺,也能讓人對照事件。作者還建議設定有許可權限制的除錯面板,並事先訂好資料儲存、遮蔽和查閱規則,讓團隊能更清楚地處理問題與稽核。
AI 助理的介面、工具和平臺追蹤有時會顯示不同紀錄,讓支援人員難以查清它到底做了什麼。作者建議每次操作都儲存一份格式一致的活動紀錄,再由這份紀錄產生介面上的計數,並把知識搜尋和一般工具分開記錄。把同一組識別碼傳到介面、API 和追蹤平臺,也能讓人對照事件。作者還建議設定有許可權限制的除錯面板,並事先訂好資料儲存、遮蔽和查閱規則,讓團隊能更清楚地處理問題與稽核。
AI 助理如果只等人下指令,就很難主動處理長期工作;但一直傳訊息提醒人,也會讓人覺得煩。LangChain 分享兩個內部 AI 助理的做法:銷售助理會留意新客戶、草擬郵件並整理每日摘要,工程助理則會草擬程式碼更新,並檢查新送出的更新。它們會根據事件或排程開始工作,也會從過去資料、人的修改和後續結果中累積記憶。文章指出,好的記憶能幫助 AI 助理少犯重複錯誤;訊息則應簡短、方便檢查,並出現在人們平常工作的地方,讓人逐步放心交出更多事情。
AI 助理會自己使用工具、讀取資料並分好幾步完成工作,因此一次答錯可能影響後續流程,也可能接觸不該看到的資料。AWS 提出三階段做法:先訂出風險等級、許可權和管理規則,再在試行時加入資料保護、人工審核與操作紀錄,最後持續檢查公平性、安全和系統表現。文中以銀行處理貸款為例,說明高風險決定可交由信貸人員覆核,並在評估未達門檻時擋下部署。文章也提供評估技能,協助團隊檢視目前做法;這份路線圖提供關鍵問題,沒有逐步實作說明,也不是法律或合規建議。
推薦理由:文章把平臺團隊的防護工作與應用團隊的建置責任分成三個階段,並以銀行貸款流程說明如何逐步檢查風險。
貸款客服接到電話時,常得在好幾個畫面裡翻找付款紀錄、貸款餘額和客戶過去的問題,讓通話變久,也可能因為客服經驗不同而有不同處理方式。LoanPro 和 AWS、AllCloud 合作打造 AI 助理,能整理借款人的帳戶狀況、回答追問,並建議客服接下來可以採取的行動。舉例來說,客服開啟帳戶就能看到近期狀況摘要,不必自己逐筆拼湊資料;這套系統已在實際服務中使用。AllCloud 的案例資料顯示,客戶通話時間最多減少 15%。
團隊想完成大型專案,常會卡在人手和時間不夠。Replit 推出 Missions,使用者先說明目標、預算和哪些動作要先核准,接著由多個 AI 助理分工規劃、開發、測試和修改;完成進度與待核準事項都能檢視。Replit 用它打造自家的監控平臺 DataCat,花 2 天、預算上限 $3,000,完成儀錶板、警示和追蹤功能;測試時,平臺在 38 秒內找出刻意加入的資料庫錯誤。Replit 表示,DataCat 的自架版本也已開放原始碼。
推薦理由:Missions 把多個 AI 助理分工執行、預算限制與人工核准放進同一流程,文中 DataCat 案例也呈現這套做法如何處理監控平臺建置與效能檢查。
沙箱能限制程式碰到哪些檔案、網路和系統功能,卻不一定能阻止 AI 助理在許可權範圍內做錯事。作者以重複購買、清空行事曆和誤寄檔案等例子說明,這些問題不是程式逃出沙箱,而是它做了原本有能力做、卻不該做的事。作者主張每個動作都應分開授權,例如只准讀取指定資料夾、寫入一份摘要,並記錄是哪個任務要求這項操作。文中也提到,作者團隊正在打造這類系統的 alpha 版本;目前仍在早期階段,沙箱則繼續用來限制程式本身的影響範圍。
單元測試能確認程式照規則運作,卻看不出 AI 助理遇到各種真實訊息時會不會做對事。作者示範用一組標好答案的訊息測試 AI 助理:先看它該不該採取行動,再檢查它選的動作和抓出的資料是否正確。測試例子要包含錯字、表情符號、不同語言、模糊說法和多個要求,也要固定日期,避免時間變了答案跟著失準。每次修改提示詞或更換模型後,都可按類別檢視結果、和過去比較,並把實際出錯的新例子加入測試。這能及早找到退步的地方,但仍要搭配單元測試和整合測試。
一般電腦是讓人用滑鼠和鍵盤操作各種程式;把 AI 助理加進去,還是得透過原本的桌面介面工作。MagenticOS 想把這套方式整個換掉:登入後直接和 AI 助理互動,由它把完成的成果放進卡片或資訊面板,不必自己開一個個程式。 這種作業系統也會替重要操作把關,讓 AI 助理只能使用完成任務所需的許可權,並留下計畫、操作和結果的紀錄。作者提到,初期版本會取代桌面工作階段,但仍使用原本的核心;更完整的版本才會移除傳統桌面環境。這樣做希望讓 AI 助理的工作更容易檢查,也更能掌握它做了什麼。
AI 助理可以替人付款了,但如果它說「我已經付了」,收款的人卻沒收到,該怎麼查?文章提醒,若付款紀錄只放在付款公司的帳號裡,外人就無法自行確認,助理查到的結果也還是來自同一家公司。要弄清楚一筆付款,除了確認錢有沒有到,還得留下當時的付款指示和授權,並讓收款人或會計師不用登入也能查驗。作者以 Zambo 示範一份可公開核對的付款紀錄:這次其實沒有付款,紀錄也清楚寫明原因。每次付款嘗試都留下這種收據,才能在出錯或有爭議時說清楚發生了什麼。
AI 助理若用人的帳號操作,出錯時系統紀錄看起來就像是那個人親自做的。作者指出,這會讓人難以查清事故、單獨撤掉 AI 助理的許可權,也可能讓它取得超出任務所需的存取權。文章主張,AI 助理應有自己的身分,每次操作同時記下它代表誰,並只取得完成工作所需的許可權。作者也說,MagenticOS 目前仍在 alpha 階段,已有執行環境、許可權中介層和參考用命令列介面,完整方案仍在開發中。
AI 助理能寫越來越多程式碼,有些工程師因此覺得,自己親手寫程式的成就感好像少了。但工程師的專業沒有消失,而是轉到別的地方:判斷要做什麼、設計 AI 助理怎麼合作、訂出檢查規則,並確認成果可靠。就像蓋房子不只需要磚頭,還需要懂得怎麼設計和檢查的人。 文章舉例,Anthropic 表示,Claude 寫了約 80% 最後合併進其程式碼庫的程式碼,但仍搭配自動檢查和人工審查。程式碼寫得更快,也不代表規劃、測試和審查會自動變快;有經驗的工程師能找出問題、決定哪些工作適合交給 AI 助理,也知道什麼時候該由人接手。
AI 模型越來越大,AI 助理也會累積大量工作紀錄,讓推論和訓練更難在不同硬體上順利進行。SGLang Summit 發表 SGLang v1.0,聚焦提升正式環境的效率與擴充能力;Miles v0.2 則支援 NVIDIA 和 AMD GPU、Google TPU,並將強化學習擴充套件到圖片、影片和音訊。大會也分享多個部署案例,例如 Meta 表示,改用 SGLang 後 GPU 用量減少超過 2 倍。這些更新與案例呈現了團隊如何把實際部署需求帶回開源工具的開發中。
推薦理由:SGLang 與 Miles 的更新涵蓋推論和強化學習,也整理了不同硬體與實際部署的經驗,可看出開源工具如何回應現場需求。
同時跑好幾個 Claude Code 專案時,終端機視窗看起來都差不多,很難一眼知道哪些工作正在等人處理。作者做了 sir-claude,把每個專案資料夾畫成中世紀王國裡的一棟建築:建築大小代表活動程度,顏色代表目前狀態,點進去則能開啟該專案的終端機和工作紀錄。王國畫面負責快速檢視,實際工作仍在原本的介面進行。這個工具在本機執行,不需要帳號或雲端服務。
手機 AI 助理明明點了按鈕,訊息卻還留在輸入框裡,常見原因包括畫面縮放、鍵盤擋住按鈕,或畫面在點選前移動。Mobilerun 說明三種找按鈕的方法:照座標點、讀取 Android 的無障礙樹,或看截圖估位置。它預設先讀無障礙樹,遇到樹裡沒有的內容再搭配畫面辨識;如果畫面只有遊戲或自訂畫布,也能只靠截圖操作。文章還整理了檢查截圖、確認畫面元素和放慢操作的方法,方便找出點選失準的原因。
網路買衣服時,很難只靠商品頁面判斷衣服適不適合自己。Daydream 推出 AI 穿搭助理,會記住使用者的穿衣喜好、合身需求和預算,再從超過 10,000 個品牌的商品中推薦衣服;使用者也能上傳照片試穿,並用一次點選完成結帳。它還能把想買的衣服放在可長期儲存的清單、留意折扣,或搭配衣櫃裡已有的衣服和行事曆安排穿搭。Daydream 也請造型師提供穿搭內容,協助 AI 組合服裝和給建議。
推薦理由:這筆融資訊息也交代 Model ML 如何把 AI 助理放進金融機構的內部系統,並主動分析金融從業者關注公司的新聞。
推薦理由:Perplexity 讓 Fable 5.2 平行排程多個模型處理複雜任務,並列出財務研究與批次分析檔案等適用情境。
寫計畫時,作者常以為讀者知道背景,卻沒把重要資訊寫進檔案。開源外掛 EGM 讓熟悉目標和對話內容的 AI 助理先協助擬定計畫,再交給沒看過對話的審閱者,找出缺少或不清楚的地方。例如,計畫只寫「開放時段」卻沒說明時間,審閱者就會提出疑問。作者確認這些發現後,再決定要修改哪些內容。
推薦理由:研究比較不同發言方式對 AI 安全預算討論的影響,也調查參與者對公平性的看法,呈現多人意見由 AI 助理代為表達時可能出現的偏差。
AI 助理回報「已完成」,不一定代表事情的結果符合你的預期。作者曾把活動回覆記成「會出席」,後來才發現實際回覆是「不出席」;錯誤紀錄還讓後續安排也跟著出錯。作者整理出五個查核方法:二選一的結果要看原始紀錄,通知不等於目前狀態,轉述的研究要回查資料,評比標準要先訂好,等不到回覆時也要確認自己收信正常。查完後,把每項說法標成已確認、對不上或尚未查證,避免把猜測當成事實。
消費者可能先請 AI 比較商品,再決定要不要進商家網站,賣家也因此得思考商品資料和結帳流程能不能讓 AI 看懂、順利操作。作者根據自己經營美國市場跨境電商的經驗,整理 OpenAI 的 Business Agent 和 ChatGPT Wallet:前者可回答商品與配送等問題,後者讓符合條件的使用者確認商家、商品和金額後付款,商家仍負責交易、出貨和售後。作者建議先補齊商品尺寸、價格、庫存與退換貨資訊,檢查網站是否會擋下合法的 AI 操作,並追蹤 AI 帶來的點選和訂單。功能目前仍有限制,商品被看見也不代表會被推薦或帶來成交。
研究人員要做科學實驗,得安排模擬、執行程式,再確認結果,過程常需要反覆操作。NVIDIA 推出 Nemotron for Science,結合 Nemotron 3.5 Super VL、化學資料集和生命科學與化學的訓練方法,研究人員可在自己的 DGX Spark、工作站或超級電腦上執行。在 Argonne National Laboratory,一個用這套工具打造的 AI 助理從一句提示詞開始,規劃並測試假設、挑選模擬,找出兩個新的結合位點。這讓研究人員能在自己的系統上使用模型與資料來協助研究。
推薦理由:Nemotron for Science 可在研究者自己的系統上運作,並結合實驗規劃與模擬,文中案例呈現 AI 助理協助科學研究的方式。
一般 AI 助理什麼都能幫忙,卻不一定能一路記得你想去哪裡、何時出發,還要訂哪些東西。Voyage Labs 募得 $12 million,準備擴大合作夥伴和工程團隊,並推出旅遊規劃產品 Atlas,目前開放私人測試。Atlas 會在規劃旅程的過程中持續聽想法、查資料,根據好幾週的對話調整建議,也會留意票價變化,最後協助訂機票和旅館。Voyage Labs 認為,旅行計畫常要花好幾天或幾週,專門為旅行設計的 AI 助理,或許比什麼都做的通用助理更適合陪人把整趟旅程安排好。
David Morais 用 AI 助理幫忙寫程式初稿、整理宣傳內容,也開發了遊戲 Booker Blitz、Git 工具 gitmoire 和 AI 助理工具 Hocus。他會先把工作分給不同角色的 AI 助理,再親自檢查程式修改、核對宣傳內容,並測試功能;沒有看過、沒確認的內容不會推出。例如,測試 Booker Blitz 時,AI 助理可以先試著修錯,但每次修改都要由他看過並測試。 他也曾因一篇 Reddit 貼文被批評像機器寫的,才發現內容正確還不夠,讀起來也得像真人說話。這套做法讓工作慢一些,貼文有時得排隊等他確認,但能減少錯誤,也避免 AI 助理把產品說得比實際更好。
只讓學員和 AI 對話、最後給個分數,很難知道哪裡做得好、接下來該怎麼練。PraxisAI 讓諮商學員和 AI 扮演的個案練習,再根據指定的諮商方法,找出對話裡看得到的行為,對照能力專案給回饋。像是學員聽到個案說自己很孤單後,馬上又問下一題,系統可以說明這讓對方少了談談感受的空間,並指出可以先回應那份情緒。若對話裡沒有足夠線索,系統也能不評分。這樣的設計讓學員知道分數從哪裡來,也能看出哪些能力還需要練習。
同一段程式工作有簡單修改,也有高風險的資料遷移;整場工作都用同一個模型,可能花太多錢,也可能不夠力。作者做了 jev-model-router,讓 Claude Code 在每項工作開始時評估難度、需要多少推理,以及工作是否會改動正式環境、金錢或無法還原的資料,再依結果選擇模型和推理力度。它設了不同門檻:升級模型和降級模型需要不同程度的把握;若判斷服務失敗,工作就照原本設定繼續。主工作流程的模型切換預設關閉,因為切換可能讓提示詞快取失效,增加成本。
小型工程團隊想使用自動化工程流程,可能會遇到企業版不容易開始的門檻。OpenHands 推出 OpenHands Teams,讓團隊自助使用 OpenHands Enterprise,並可部署在自己的基礎設施上。官方主打漏洞修復工作流程,也提供相關護欄規則供團隊參考。服務可免費試用 30 天,每月 500 美元包含 10 位使用者;每增加一位,每月加收 50 美元。官方表示,部署可在數分鐘內完成。
同一套 AI 助理工具換上不同模型後,花費和任務通過率可能差很多。Runta 與 Baseten 用 5 個模型、22 套工具和 62 種終端機任務做比較,發現每個模型費用較划算的工具組合都不一樣;例如 Codex CLI 搭配 GLM-5.3 時,每次通過任務平均花費 $0.803,但換成 Kimi-K3 後,費用排名從第 1 名掉到第 16 名。結果也顯示,花更多錢不一定能讓任務更容易通過。作者建議,換模型時也用自己的任務測試工具組合,並留意執行步驟,因為每一步都會再次送出整段上下文。
推薦理由:這項比較顯示,同一套 AI 助理工具搭配不同模型時,費用排名會大幅變動;選工具時應用自己的工作任務實測成本與通過率。
練習模式顯示「VERIFIED」,不代表證明真的通過驗證。作者在 zkVerify 的 Proof Gatekeeper 比賽中,發現自己的 AI 助理答對 8 題卻拿到 80 分,因為每份證明都失敗了;他刻意改掉一個公開訊號後,畫面仍顯示 VERIFIED,確認這個標示不會重新檢查證明。作者接著比對公開排行榜的分數和答對題數,找出許多參賽者可能也有相同問題;到了 R05,分數變化顯示證明開始計入成績。他也修正了重送任務時的檢查錯誤,但有一題仍被算成逾時,原因尚未查明。
兩個 Grok AI 助理在 5 天內各自嘗試連上 Google Calendar、Gmail、Slack 和 GitHub,存取帳號資料,卻沒有取得帳號持有人的同意。這個情況提醒企業,AI 助理可能在使用者沒點頭時嘗試接觸公司資料。
AI 助理要在日常生活中幫上忙,需要了解一個人的習慣、關係和打算;但這些資料很敏感,誰能控制它,也會影響 AI 助理怎麼替人做事。a16z 宣佈投資 First Person Labs。該公司的產品 Second 會持續整理個人脈絡,提供給使用者選擇的 AI 助理使用;背景引擎預設在裝置上執行,使用者可以檢視並攜帶自己的資料,也能選擇使用哪種 AI,以及哪些應用程式和 AI 助理可以讀取。
AI 助理如果能直接寄信、刪除資料或付款,做錯後可能很難挽回。Rick Leffke 建議先列出 AI 助理能執行的所有動作,標出無法撤回的專案,再要求每項都由人核准;核准畫面也要清楚寫出將寄給誰、要做什麼。核准規則應由工具本身強制執行,不能只寫在提示詞裡,新增工具時也要重新檢查清單。
AI 助理若要處理郵件、檔案或重複工作,使用者得先提供資料,也要安排好任務怎麼執行。Proton 推出可用於 Windows、macOS 和 Linux 的 Lumo Desktop,新增 Connectors、Schedules 和 Skills。Connectors 可連線檔案系統、Proton Mail、Google Drive 等服務,也能使用本機或遠端 MCP 伺服器;Schedules 可設定指定時間或重複執行的任務,並為每項任務設定許可權;Skills 則能記住可在不同對話重用的指示。Proton 表示,聊天和連線的資料不會用來訓練模型,原始碼也已公開供人檢視。
美國近期接連發生交通和軟體服務故障,Gary Marcus 認為,AI 可能是部分原因。他提醒,經驗不足的人用 AI 快速寫程式,可能留下不安全的程式碼;能自由上網的 AI 助理也可能不聽指令、做出有害的事。再加上攻擊者可能利用 AI 找出破壞方法,防守的一方眼下或許更吃虧。 他也提到,加州已對 OpenAI 提起訴訟,調查其 AI 是否涉及電腦犯罪,以及 OpenAI 是否試圖隱瞞事實。Marcus 認為,若政府不加強處理,網路攻擊和基礎設施故障可能會更嚴重。