AI 助理答對數字卻用錯資料,作者檢查評判器的四種誤判
AI 助理有時會答出看似合理的數字,卻把其他工具回傳的資料當成答案。作者用一題訂單查詢說明:訂單工具回傳的兩筆資料欄位都是空的,但 AI 助理從另一個客戶查詢工具拿到帳戶餘額 1,240.50 EUR,誤當成訂單總額;正確總額是 438.90 EUR。作者也檢查自動評判器,找出四種誤判並修正規則。這個案例提醒開發者,要對照答案應來自的工具回應,也要抽查完整回答,因為不用模型的評判器也可能判錯。
AI 助理有時會答出看似合理的數字,卻把其他工具回傳的資料當成答案。作者用一題訂單查詢說明:訂單工具回傳的兩筆資料欄位都是空的,但 AI 助理從另一個客戶查詢工具拿到帳戶餘額 1,240.50 EUR,誤當成訂單總額;正確總額是 438.90 EUR。作者也檢查自動評判器,找出四種誤判並修正規則。這個案例提醒開發者,要對照答案應來自的工具回應,也要抽查完整回答,因為不用模型的評判器也可能判錯。
在自己的電腦上能用的 AI 助理,還得部署到雲端,才能讓組織裡的使用者透過企業平臺存取。作者示範如何把 Google ADK 做的企業政策助理打包,部署到 Google Cloud Agent Runtime,再登記到 Gemini Enterprise。助理會用服務帳號讀取 Google Drive 裡的政策檔案,透過 Gemini 回答問題並提供來源。作者也提醒,服務帳號的檔案許可權要另外設定,員工原本的個人許可權不會自動套用。
把 AI 助理從同一個程式搬到遠端服務後,呼叫端可能看不到對方用了多少 token,也不一定知道工作有沒有失敗。作者用 Strands A2A 做了九次實際執行,發現遠端用了 2369 個 token,呼叫端卻顯示 0;工具發生錯誤時,工作仍可能被標成完成;回覆逾時時,檔案也可能早已寫好。這些情況是因為兩邊沒有共用用量紀錄,錯誤資訊不夠完整,回覆也無法和已完成的寫入核對。文章整理了需要自行補上的用量傳遞、錯誤回報、寫入確認與防止重複執行等做法。
填財務規劃表格很麻煩,Goldcrest 改用聊天方式詢問收入、花費、存款和退休時間,再把回答整理成資料,檢查數字和專案是否合理。遇到「我大概賺 8 萬」這種說法時,AI 助理會確認這是年收入還是月收入;資料確認後,交給不使用 AI 的計算系統,模擬不同市場情況下的財務變化。像是比較租屋和買房,系統會算出未來資產可能的變化。這樣能少填表格,也讓 AI 負責整理答案、由計算系統負責算數;不過,如果使用者填錯了看似合理的數字,結果還是可能不準。
訓練 AI 助理處理需要長時間、多步驟完成的工作,往往要準備大量任務,也得投入不少 GPU 資源。RadixArk 發布首款模型 DaisyRose-27B,以 Qwen3.8-27B 為基礎,使用 1,200 項整理過的任務進行強化學習訓練。和原始模型相比,它在文中列出的各項基準都拿到較高分;Terminal-Bench 4.1 的 pass@1 從 5.6% 提升到 12.0%。RadixArk 也表示,自家訓練後端比可比的開源訓練器少用 57% GPU 時間。
推薦理由:DaisyRose-27B 與 Qwen3.8-27B 的多項基準成績可供對照,其中 Terminal-Bench 4.1 的 pass@1 從 5.6% 提升到 12.0%。
AI 助理能寫出不少程式碼,但做出來的功能可能只差一點就對,也可能遇到少見情況就出錯。Erik Hanchett 認為,前端和全端開發者仍要會規劃程式架構、找出錯誤、確認程式真的照預期運作,也要檢查無障礙設計,並判斷畫面和功能是否合用。他建議先訂好架構和規則,再用自動檢查、Playwright 測試及人工審查把關;無障礙檢查也要搭配讀屏軟體實際測試。重點是讓 AI 幫忙寫程式,人仍負責判斷和確認成果。
兩臺電腦上的 AI 助理要交換內容時,常得由人來回複製、貼上。這篇教學用 ACQ 示範免安裝的做法:一方用 HTTPS 開房間,把邀請連結或程式碼交給另一方加入,再用文字訊息互傳內容。每個房間只容納兩方,訊息只有文字,訪客房間最多保留 24 小時,到期後會刪除。這適合臨時交換工作內容;若需要多人共用長期資料,就不符合它的設計。
自己寫的程式或 AI 助理透過 YouTube Data API v3 上傳影片時,如果 Google 專案停在 Testing 模式,OAuth 更新權杖可能 7 天後失效。這篇教學說明如何在 Google Cloud Console 填好應用程式首頁、隱私權政策和授權網域,再把專案切到 In production;接著在 OAuth 2.0 Playground 使用自己的 Client ID 和 Client Secret,交換真正的 refresh_token。已在 Testing 模式取得的舊權杖不能沿用,必須重新產生。文章也列出權杖可能失效的情況,例如連續 6 個月沒有 API 請求、撤銷授權或同一帳號建立超過 100 個權杖。
同一個專案若換不同 AI 助理接著做,常得重講目標、試過的方法和改過的檔案。AgentDrive 會同步 Claude Code、Codex、OpenCode、Cursor 和 Antigravity 的工作紀錄,讓另一個 AI 助理檢視近期進度,再接著處理;它也會記下每份檔案由哪個工具產生。同步內容會上傳到工作區,系統會嘗試遮掉常見的金鑰,也能關閉對話紀錄同步,或在上傳前先加密。作者提醒,遮蔽不保證萬無一失。免費方案每月有 10 次雲端接續工作額度,Pro 為每月 $20。
不同 AI 助理接手同一個專案時,常需要知道前一個助理做了什麼,也要避免把敏感資料傳出去。AgentDrive 會在背景整理各工具的工作紀錄與修改過的檔案,再用規則排除可能含有機密的檔案,並遮蔽部分常見金鑰;作者也提醒,這種比對可能漏掉看起來不像機密的內容。開啟私人工作區後,資料會先在本機加密,伺服器只會收到加密內容,但 AI 助理要接續工作時,得在終端機執行指令解密。
模型價格較低,做事就一定比較划算嗎?作者用三項工作測試 Qwen4-Max 和 Claude Opus 5.5,涵蓋跨工具處理公司工作、調查事故和修補程式。Qwen4-Max 的費用約是 Claude Opus 5.5 的三分之一,但總共花的時間約是 3.14 倍,183 分中拿下 170 分,少於對方的 179 分。查事故資料時,Qwen4-Max 多拿 1 分;修程式時則漏掉一個會讓付款少 1 美分的問題。每項測試都只跑一次,結果不能代表其他工作也會有相同差距。
把自己的回憶寫進遊戲後,這些故事要怎麼變成可探索的內容?Will Wright 的 Gallium Studios 正與 Artificial Agency 合作開發 MyMems,利用生成式 AI 把玩家輸入的回憶轉成遊戲場景和角色。合作方表示,MemDNA 會在玩家同意後,從回憶建立個人行為模型與知識圖譜,資料在本機處理;這也引來對個人隱私的疑慮。Wright 說,採用現成 AI 工具能省下自行成立 AI 研究團隊的成本,也比昂貴的前沿模型更適合這個專案。
企業想讓 AI 助理回答問題、幫忙處理工作,得先確保資料可信,也要能從同一個地方找到需要的資訊。Financial Independence Group 把客戶、財務等表格資料,以及內部檔案整合到 AWS Quick,讓員工能直接查資料、取得分析,並用 AI 助理處理一連串工作。活動中,參加者還在 50 分鐘內做出 AWS Quick 應用程式,也用 AWS Quick Flows 把重複的資料工作串成自動流程。這些例子顯示,做好資料整理和管理,團隊就能更快把想法變成實用工具。
企業若要求所有子網路由網路團隊管理,且不同網路間的流量都要經過中央防火牆,AI 助理連線內部 API 和 MCP 伺服器就得符合這些規定。AWS 示範把 VPC Lattice 資源閘道放在網路團隊管理的專用 VPC,再透過 Transit Gateway 轉送請求和回覆,並用 AWS RAM 分享後端設定,讓 AgentCore Gateway 連線私有服務。文章也說明如何在負載平衡器檢查呼叫憑證,以及如何驗證防火牆確實檢查雙向流量。這種做法檢查的是流量資訊和 TLS 主機名稱,無法檢視加密後的請求內容;文中建議先在自己的網路環境測試。
推薦理由:文章整理了網路團隊集中管理子網路與防火牆時,讓 Amazon Bedrock AgentCore Gateway 連線私有 API 的架構做法,並說明流量檢查的範圍與限制。
維護大型開源專案時,團隊得花不少時間處理問題回報、規劃工作和檢查程式碼。Mastra 團隊推出 Factory,讓 AI 助理依照看板流程處理這些工作,也能在 Slack 用標記方式交辦任務,並參考附有來源的公司檔案。Factory 每週會開啟並合併數百個 PR;上週它合併了 238 個,人類則合併了 630 個。Factory 已開源,可在自己的基礎設施上運作,也有代管版本。
推薦理由:研究顯示,具備簡單工具的模型可能自行摸索改進方法,為評估模型能力與安全風險提供具體案例。
在 iOS 和 Android 推出 Teammates 和 Multiagent。透過 Teammates,你口袋裡的 Perplexity 行動版 App 就能變成迷你工作作業系統。好好享受!
聊天紀錄太長時,直接保留最後幾則訊息,可能會留下工具回覆,卻刪掉 AI 助理發出工具呼叫的訊息,讓 API 拒絕請求或讓模型看不懂前因後果。作者示範依完整對話回合裁切:保留 system 提示詞和最新一輪,再從最近的舊回合開始加入,直到接近 token 預算。若最新一輪本身太長,裁切舊紀錄也沒用,應縮短工具輸出或把大型結果放到上下文以外;接近上限時,則要用實際的 token 計數方式,並預留模型回答所需的空間。
長時間使用 AI 助理會花掉大量 token,Microsoft 因此一次推出 7 款模型,涵蓋寫程式、資安、圖片、語音、搜尋和工作流程判斷,主打用較低成本完成工作。Microsoft 表示,MAI Code 2 在多項測試中接近 GPT-6.1 Sol 和 Claude Opus 5.5,價格則低得多;MAI Image 2.7 可修改圖片中的個別物件,MAI Realtime 1 則能處理語音對話中的插話和背景噪音。各模型的開放方式不同,有些已能使用,有些仍在預覽或只提供特定客戶。文中的效能與價格比較主要來自 Microsoft 的測試和說法。
AI 助理能快速寫出大量程式碼,但團隊也得想辦法確認成果可靠、避免出錯。CodeRabbit 執行長 Harjot Gill 分享,他讓 AI 助理處理修測試、改善系統等工作,並說公司上個月送出超過 5,000 個程式碼變更;他認為團隊應檢查整批發布成果,也要用測試、模擬和分階段上線來確認品質。這種做法每月花費約 $250,000 至 $275,000,作者指出,對想靠 AI 工具加快推出新產品的 CodeRabbit 來說,這筆支出可視為研發,但不一定適合其他公司。
推薦理由:CodeRabbit 的經驗呈現高額 AI 支出如何用來加快新產品開發,也說明這種做法較適合靠 AI 工具創造新收入的軟體新創。
澳洲企業開始把 AI 用在更多工作上,但員工擔心技能跟不上,學校也得留意學生資料外洩。CommBank 推出免費的 CodeCheck,協助 AI 寫程式工具提早找出安全漏洞,最後仍由工程師決定怎麼處理;ANZ 則用 AI 把 1.7PB 的資料搬到 AWS,花的時間只有原先預估的三分之一。另一方面,Google 的資安團隊警告,駭客已開始用 AI 自動尋找並利用漏洞,入侵時間可能從好幾天或好幾週縮短到幾分鐘。企業在享受 AI 省時便利的同時,也得管好它能連到哪些資料和系統。
剛有 AI 創業點子的人,常需要釐清要做什麼、誰會需要,也得找到資源把產品做出來。Vercel 推出 Vercel X,邀請 40 個團隊到舊金山參加六週計畫,接受 Vercel 團隊的技術指導與產品回饋,並可使用 Vercel、AWS、Anthropic、OpenAI 等夥伴提供的超過 $9M 點數,用於主機、運算和模型 API。申請者須是 Vercel 客戶,並全程到場;計畫不收股權,獲選團隊還有機會取得 Vercel Ventures 資金與合作夥伴獎項。
推薦理由:Project Genie 把即時改動世界、對話式創作與作品分享放進同一套體驗,呈現從生成到交流的完整流程。
AI 助理執行指令時,可能讀到敏感檔案或把資料傳到網路上。OpenAI 說明,Codex 沙盒會依許可權設定限制指令能讀寫哪些檔案,以及能連到哪些網域;預設的 workspace 設定允許修改工作資料夾、讀取其他有許可權的檔案,並關閉網路。Codex 會使用 macOS、Linux 和 Windows 各自的系統防護,在使用者原本的電腦環境裡執行指令,也提供設定檔讓個人或企業調整限制。不過,沙盒無法防住所有風險,例如惡意程式若被編輯器在沙盒外執行,仍可能造成問題,因此 OpenAI 也搭配模型訓練與對齊來保護使用者。
推薦理由:文章說明 Codex 如何用許可權設定限制檔案與網路存取,也提醒沙盒無法阻止所有透過本機工具觸發的風險。
一顆草莓動畫後來變成程式生成的水果外掛和片頭影片,這段合作裡人和 AI 助理各做了多少,光看成品很難回答。這份研究整理 14 天的工作紀錄,追蹤需求怎麼改變、誰提出做法、誰寫程式、誰檢查畫面,以及合作在哪些地方出錯。紀錄中,AI 助理有時回報檢查通過,使用者看畫面後仍發現問題;也有多個助理同時工作,訊息送錯物件的情形。研究提醒,提示詞和工具操作次數不能直接換算成誰對成果貢獻多少。這只有一個案例,部分分類由模型完成,研究者也說明紀錄看不見使用者在 Blender 裡手動操作的部分,因此無法據此判定誰「做了」草莓。
一種機器學習改進方法,往往不能直接搬到另一個廣告排名模型上,工程師得花時間逐一調整,訓練也會消耗大量運算資源。Meta 用 AI 助理找出值得嘗試的模型、調整技術做法、安排訓練工作,並協助診斷和處理失敗;工程師仍會審查重要決定,並核准要推出的模型。Meta 表示,AI 助理目前負責超過 60% 的技術推廣工作;在部分模型與技術組閤中,訓練運算量中位數減少 4 倍。這套做法希望讓經過驗證的改進更快用到更多模型。
推薦理由:文章拆解 AI 助理如何找出可套用的技術、調整模型並管理訓練工作,呈現大規模推廣機器學習改進的方法。
AI 助理能模仿填問卷、註冊帳號等行為,讓網站很難判斷活動是不是真人需求。文章引用研究指出,AI 生成的問捲回答可能通過注意力測試;也用一個假設案例說明,自動註冊若增加,網站可能誤以為新版頁面更受歡迎,即使真人註冊反而變少。作者主張依照行動的風險設計防護,例如替付款和帳號變更加上更嚴格的確認,同時考慮誤擋真人、無障礙需求與隱私。Notabot 提供的手勢驗證只是整體防護中的一層,網站仍須自行設定其他限制。
用 AI 助理寫程式可以省下配額,但便宜模型也可能寫出難以收拾的錯誤。作者做了一個 Python 路由工具,先從最便宜且配額未超過 90% 的模型開始;模型若在啟動後 60 秒內失敗,就改試同一級的下一個模型。實際使用時,有模型寫出會一直跑、吃掉 9 GB 記憶體的測試,也有模型一次用掉每週配額約 30%。因此,路由工具不會自行升級到更大的模型,作者會先檢查工作範圍和提示詞,再決定是否改用更高一級。
團隊想降低 AI 成本時,除了調整預算,也可以檢查 AI 助理每次工作的紀錄。Databricks 推出 Unity Gateway Insights,會分析工作紀錄和公司的業務資料,找出 MCP 工具反覆出錯、簡單工作用了昂貴模型,以及值得整理成共用技能的重複流程。每個發現都能連到相關工作紀錄,也會依浪費的 token 成本排序;團隊還能加入自己的問題,檢視哪些流程值得改善。Databricks 表示,他們曾從 7 個 MCP 小錯誤中估計出每年 $1.2M 的浪費。
推薦理由:Databricks 說明 Insights 如何從 AI 助理的工作紀錄找出重複錯誤與模型使用浪費,並把可節省的 token 成本連結到實際工作流程。
把銀行帳戶交給 AI 助理處理帳單或交易,若發生錯誤或帳戶遭駭,責任該由誰承擔?花旗本週更新使用條款,表示客戶若授權第三方 AI 工具使用帳戶,相關活動由客戶負責;即使工具洩漏登入資料或遭駭,駭客造成的損失也可能由客戶承擔。摩根大通和美國銀行上月已宣佈類似政策,PNC 本日也修改條款,Citizens 則寄信提醒客戶。Anthropic 推出的個人理財工具標明只能讀取資料,不能移動、管理或投資資金。
AI 助理寫程式時,有些錯誤看起來像成功,例如測試根本沒跑、改動只在未提交的工作目錄裡通過,或擅自做出難以收回的操作。作者根據團隊遇過的問題,將原因整理成驗證、隔離與許可權三類,並提出實用做法:確認檢查確實執行、在乾淨環境測試準備提交的版本、讓每個 AI 助理使用獨立工作目錄,並在寄信、刪除或購買前取得明確同意。文章也提醒,過時的說明檔案、外洩的秘密資料和超出任務範圍的修改,都可能讓工作出問題。
剛接手一個陌生專案,常會找了半天還不知道從哪裡開始。作者拿開源專案 HyperFrames 示範 Kiro Crew bots:先給它一個清楚的小目標,機器人就把工作拆成有完成條件的專案,讓多個工作階段分頭閱讀程式碼,再整理出架構報告和適合新手參與的任務。作者表示,從下載專案到拿到報告約花 10 分鐘;隔天回來,機器人也能接續先前的進度。不過,核准工作專案後它曾停下來等待指示,作者需要再傳訊息讓它繼續。
企業想讓顧客透過 AI 助理聯絡客服、完成購買,還得讓服務接上大家常用的通訊方式。Linq 提供工具,讓開發者打造能透過訊息服務顧客的 AI 助理,也處理背後的營運工作。DoorDash 正與 Linq 合作,讓消費者能在 Apple Messages for Business 的同一段對話中找餐點、建立購物車並結帳。Linq 也支援 RCS、WhatsApp 等平臺。a16z 表示將領投 Linq 的 Series B,並提到公司從數位名片轉向通訊基礎設施,是因為客戶主動要求使用原本產品背後的訊息技術。
把 AI 助理放上雲端後,團隊常得自己處理環境設定、休眠喚醒、故障復原和費用控制。Maritime 為每個 AI 助理提供獨立且能保留資料的微型虛擬機器,也把排程、監控、網路設定和更新等管理工作整合進服務。團隊表示,2 GB RAM 的 AI 助理每月 $1,可不限使用時間;需要更多資源時也能加購。這項服務想減少團隊為了讓 AI 助理穩定上線而得自行建置和維護的雲端基礎設施。