Maritime 推出雲端服務,協助管理正式環境中的 AI 助理
把 AI 助理放上雲端後,團隊常得自己處理環境設定、休眠喚醒、故障復原和費用控制。Maritime 為每個 AI 助理提供獨立且能保留資料的微型虛擬機器,也把排程、監控、網路設定和更新等管理工作整合進服務。團隊表示,2 GB RAM 的 AI 助理每月 $1,可不限使用時間;需要更多資源時也能加購。這項服務想減少團隊為了讓 AI 助理穩定上線而得自行建置和維護的雲端基礎設施。
把 AI 助理放上雲端後,團隊常得自己處理環境設定、休眠喚醒、故障復原和費用控制。Maritime 為每個 AI 助理提供獨立且能保留資料的微型虛擬機器,也把排程、監控、網路設定和更新等管理工作整合進服務。團隊表示,2 GB RAM 的 AI 助理每月 $1,可不限使用時間;需要更多資源時也能加購。這項服務想減少團隊為了讓 AI 助理穩定上線而得自行建置和維護的雲端基礎設施。
讓 AI 助理讀取正式環境紀錄、甚至自動修復,該給它多少許可權?作者根據 OpenSRE 的檔案整理出操作方式與風險:它能檢視 CI/CD 失敗、分析原因,並提出供人審核的修正;專案目前標示為公開 Alpha,作者沒有實際安裝或測試。檔案建議為每個資料來源使用唯讀權杖,先在測試環境接上一個來源,並關閉自動修復。若紀錄未先遮蔽敏感資料,就會送到所選模型;安裝指令會下載遠端指令碼,執行前應先檢查。
專案開會時大家都點頭,不代表半年後做出來的東西真的能解決問題。像 AI 專案,工程團隊可能完成了規格,業務團隊卻覺得產品沒用;問題往往是大家對「要做什麼、怎樣才算成功」沒有共識。文章建議先整理哪些人會受影響、他們在意什麼,再一起訂出技術表現、使用情形和商業成果等成功標準,也要說清楚意見卡住時由誰做最後決定,並持續收集回饋。 例如,匯入 AI 回覆客服訊息時,客服主管和資料科學家先約定準確度要達到 92%,才能用來回覆真實案件;若對 AI 的說話口氣有爭議,則由客服體驗主管決定。這樣能讓團隊更清楚要往哪裡走,也避免大家各自忙完,成果卻沒有解決真正的問題。
在 ECS 上測試程式,通常得先建置映像檔、部署,再等服務更新;如果程式有問題,就得重來一次。MetalBear 推出 mirrord for ECS,設定好後,開發者或 AI 助理可在自己的電腦或執行環境中啟動程式,使用測試環境的網路、環境變數和 IAM 工作角色,連到服務原本能存取的資料庫與 API。帶有指定工作階段標頭的請求會送到自己的程式,其他請求仍由已部署的服務處理。它需要在服務設定中加入一個安裝用容器,部署一次;之後測試程式修改不必再部署。
數學家和 AI 助理一起研究證明時,可能很難看出工作進展到哪裡,也不容易知道卡住的部分會影響哪些後續工作。TheoremOS 把研究過程畫成任務圖:數學家先檢查題目和 Lean 4 的寫法,AI 助理提出計畫,數學家可以檢視、修改並核准;遇到卡關時,也能檢視先前嘗試和 Lean 的回饋。候選證明完成後,還會再交給 Lean 獨立檢查。公開的平面 Anderson 運算元案例可以檢視任務分支、最終證明和驗證紀錄;線上工作區目前採邀請制預覽。
兩位 AI 助理同時看到庫存有 10 件,一位要保留 7 件,另一位要保留 6 件;各自看起來都判斷正確,合在一起卻可能答應賣出 13 件。問題出在兩人讀完庫存後,資料可能已被另一人改過,後寫入的結果還可能蓋掉先前的更新。 解法是讓資料庫在同一個動作裡檢查庫存並扣除數量:先成功保留 7 件後,剩下 3 件,另一筆要保留 6 件的要求就會被拒絕。這也提醒我們,AI 助理負責提出要求,真正修改庫存時仍要由資料庫把關;安排工作流程的系統,也不能取代保護資料的機制。
企業團隊常知道哪裡需要改善,卻得先換工具、搬資料,才能把想法做成軟體。Replit 宣佈與 Microsoft 擴大合作,讓團隊可用 Fabric 的受管資料打造應用程式,並部署到企業的 Fabric 租戶;Replit Desktop 也能在 Windows、Mac 和 Linux 存取使用者指定的資料夾,讓人檢查本機修改。Replit 與 Microsoft Teams 的整合將讓團隊從對話開始提問和開工;Azure 部署則進入早期存取,管理員可設定每個工作區的發布位置。這些功能讓團隊能在熟悉的工具中建置和發布,同時由企業管理資料與部署環境。
推薦理由:Replit 這次把建置、部署與工作對話接上企業既有的資料和系統,也交代各項整合的開放狀態與管理方式。
一個人要打造和維護很多大型軟體,往往得花上大量時間。作者分享他如何安排 AI 助理分工,做出 30 個開源程式庫,涵蓋資料庫、遊戲引擎、檔案處理和 AI 工具等。每個專案由不同 AI 助理規劃和寫程式,並用測試或相容性檢查把關;助理不能自行發布,通過檢查後由作者按下發布按鈕。作者也說明,AI 助理會接手處理使用者回報的問題。
推薦理由:作者以自己維護的 30 個開源程式庫為例,說明 AI 助理如何分工開發、用外部測試把關,並由人決定何時發布。
查帳工作要檢查大量財務資料,也得追問可疑之處;KPMG UK 試著讓 100 多個 AI 助理一起參與英國一家上市公司的查帳。它們能蒐集資料、分析並記錄結果、草擬觀察和建議後續步驟,有時找到需要深入調查的問題,也問出人類查帳團隊沒提出的問題。不過,這次試驗不是正式審計,結果沒有用來核准公司帳目;一名查帳人員也曾介入,修正 AI 助理未能正確比對法規要求與公司檔案的情況。KPMG 計畫把試驗擴大到最多 20 項較大型審計,但資料品質和人工監督仍是實際使用時的重要條件。
AI 助理需要查資料或執行動作時,模型會提出工具呼叫,但真正執行的是你的程式。文章用四個步驟說明整個流程:送出工具說明、由模型選工具、程式檢查並執行,再把結果交回模型,直到它回答或達到步數上限。作者也提醒,程式必須檢查引數和使用者許可權;刪除、付款或寄信等動作要先取得確認。工具名稱和錯誤訊息寫得清楚,加上步數與費用限制,也能減少誤操作和意外支出。
AI 助理在基準測試中表現良好,不代表上線後能長期穩定工作,也不代表出錯時能恢復或發現攻擊。作者和共同作者檢視了 88 項宣稱與實際部署有關的研究,發現長期可靠度、監控、故障恢復和抵抗惡意輸入這四種測試,有 73% 的研究都沒有報告。這不一定表示團隊完全沒做,只能確定論文沒有寫出來。作者建議團隊把這些測試納入發布流程,並在上線後持續觀察,再把發現的問題加回測試。
AI 助理有時會把工作範圍弄錯,例如只要求說明程式,卻開始規劃改寫;要求先規劃,又直接動手改程式。作者示範如何設計一項只負責規劃修正到期錯誤的技能,並用不同請求檢查 AI 助理是否讀取了技能說明、完成該做的事,也遵守使用者要求的範圍。這些是建議的測試案例,並非實測結果;分開記錄技能是否載入、工作範圍是否守住和任務是否完成,能幫助找出問題出在哪一步。
公司資料分散在不同工具裡,員工常得自己找表格、核對數字,也不一定知道哪些資料能看。Databricks 擴大 Genie 在 Microsoft 工具中的使用方式:在 Teams 裡,員工可用訊息詢問資料、檢視圖表、分析檔案或安排定期分析;在 Excel 裡,可用白話提問、把結果載入活頁簿,並建立會更新的樞紐分析;Copilot Chat 和 Copilot Cowork 則能把資料問題交給 Genie 查詢。答案會附上資料來源,並依使用者許可權提供內容,管理員也能透過 Unity Gateway 管理工具使用、支出和操作紀錄。
推薦理由:Genie 把受治理的企業資料帶進 Teams、Excel 與 Copilot,並以許可權、引用來源和管理工具串起工作流程。
公司把 AI 用在工作上,卻不一定知道 AI 助理做的事安不安全、合不合規,這讓企業不敢放心推出服務。總部位於都柏林的 Disseqt AI 募得 800 萬美元,打算拓展海外,也會招募業務、營運和技術人員。這家公司協助企業在推出 AI 應用和 AI 助理前先做測試,並讓企業能檢查它們是否符合規定。像是 AI 助理要處理銀行交易時,企業得先確認它做事可靠。Disseqt AI 希望用這筆資金,把這類檢查服務帶給更多企業。
寫程式的人常會在筆電、建置伺服器等不同電腦間切換,搬工作時還得複製檔案、重新開始對話。Beep 是一款開源工具,能同步多臺電腦上的專案,讓你選一臺電腦執行 Claude Code、Codex 等程式開發 AI 助理,也能從同一個視窗開啟各臺電腦的終端機。電腦之間會直接建立加密連線,無法直連時才使用中繼。Beep 可搭配既有的 Syncthing 設定;目前支援 Apple silicon Mac、Windows x64 和 Linux x64,沒有 Intel Mac 版本。
這次 CrewAI 更新讓 ChromaDB 可以選擇安裝,並把預設知識資料改存到本機 Qdrant;AI 助理也能先挑選工具,之後再加入。更新還修正了多種資料處理問題,例如避免日期寫入 JSON 時出錯、正確讀取含 BOM 的 JSON 檔,以及不再漏掉串流回傳的內容。這些調整讓設定與資料讀寫更可靠,也讓使用者能依需求選擇儲存方式和工具。
AI 助理可能把顧客的正常問題當成不支援的內容,卻照樣回傳 200 OK,讓一般監控看不出問題。作者用一個支援退換貨的系統說明做法:先檢查分類結果格式,再用 RoBERTa-base 判斷助理是否把問題分錯;兩者有落差時,就交給人員處理並發出警示。作者表示,這套檢查曾抓到一段提示詞把換鞋尺寸的問題誤判為超出服務範圍,系統因此在 2 分 36 秒內回復舊版。這種監控也可能漏掉助理和判斷器同時犯下的錯誤。
AI 助理有時一次測試成功,換個時間卻把工作交錯地方,單次通過不代表每次都可靠。Wasim Sheikh 建議每個測試案例用準備上線的同一組模型、提示詞和工具版本各跑五次,只有五次都成功才算通過。保險理賠案例中,40 個案例單跑都過關,重跑五次後卻只有 31 個每次都成功;不穩定的案例都和掃描附件或信件裡有兩個保單號碼有關。先找出這些共同原因,再修正輸入處理或交由人員確認,能讓測試更接近實際上線後的可靠程度。
人工核准能管住會花錢的 AI 助理,但如果核準放太久,情況可能已經變了。一家網路零售商的客服 AI 助理要退款超過 $200,必須先經主管同意。一筆 $480 的退款卡在佇列裡過了週末,主管週一按下同意時,顧客已經收到補寄商品,另一個 AI 助理也退了部分款項;結果同一個問題被付了三次,多付約 $700。 問題在於核准沒有期限,而且 AI 助理付款前沒有重新確認訂單狀況。做法可以是讓核准 24 小時後失效、付款前重新檢查出貨與退款紀錄,並替每筆訂單設定所有人和 AI 助理共用的退款上限。這個例子提醒我們:舊的「同意」不一定符合現在的情況,AI 助理動手前應先確認資料有沒有變。
AI 助理產生的 JSON 看起來可能正確,裡面的欄位卻缺漏、型別錯誤或不符合規則;若程式一直叫模型重試,就可能浪費時間和費用,還是無法完成工作。這篇教學用 Python 和 Pydantic 示範如何分開檢查 JSON 格式與資料內容,只在適合的錯誤下重試,並設定呼叫次數、重複錯誤次數和時間上限。它也提醒,付款等外部操作發生後,不能只因為沒收到確認就重做;AI 助理的整體步驟和工具呼叫也要各自設限。
公司要把 AI 助理用在工作上,卻不一定能確認它們是否安全、守規矩,因此有些 AI 應用遲遲無法上線。Disseqt AI 募得 800 萬美元,打算用來拓展海外、招募業務、營運和技術人員,也協助企業在 AI 應用上線前先做測試,並管理 AI 助理的部署與擴大使用。這輪募資由 Gresham House Ventures 領投,Sure Valley Ventures、Delta Partners、Enterprise Ireland 和天使投資人也參與。企業因此能在推出 AI 應用前多一層檢查,降低把不可靠工具交給大量使用者或用來處理銀行交易的風險。
AI 助理提供越多工具,任務成本就一定越高嗎?作者整理 THOL 的實測資料,比較 Claude Code 在相同任務下使用 0、8、13 和 30 個工具的成本。30 個工具的每項解決任務成本和不用工具差不多,13 個工具則高出 41%;作者認為差異和工具實際怎麼被使用、工作多出幾個回合有關。這批資料裡,多數 token 花在每個回合重讀逐漸變長的上下文。不過,實測沒有 200 個工具的清單,而且任務幾乎都成功,因此還看不出真正困難、會多次失敗的任務要花多少成本。
告警如果直接交給 AI 助理處理,程式途中當掉或通知重送時,可能會漏掉調查,也可能重複花費模型用量。作者用 Go 做出開源工具 Pagedog:它先把告警存進 Spooler 佇列,再由工作程式呼叫 LLM,搭配可讀取記錄和指標的工具找出可能原因,最後把報告存起來並通知相關服務。工作程式中斷時,佇列會在租約到期後重新交付告警;調查完成後,也能一次完成舊工作確認和新報告交接,避免中途故障造成報告遺失。通知採至少一次送達,因此部分目的地可能收到重複報告。作者也說明,這套流程可套用到其他需要分階段執行、重試和交接工作的任務。
推薦理由:Pagedog 把告警調查拆成可重試的佇列步驟,並用原子交接避免調查完成後遺失報告,呈現分散式 AI 工作流程的設計取捨。
用小型模型分析 CSV 時,讓它分好幾步規劃、寫程式、執行,再修正錯誤,聽起來比較周全,結果卻可能更差。作者用同一個 1.5B 模型做 DABench 測試,單次提示詞產生程式、執行一次,40 題答對 0.70;AI 助理流程答對 0.55。AI 助理常在呼叫工具或修正程式時出錯,難題尤其容易卡住,花的 token 也約多 5.6 倍。這次測試題數不多,差距還不能算達到統計上的顯著程度;結果也只適用於這個小型本機模型。
推薦理由:這項研究比較三種修改 AI 助理工作架構的方法,呈現逐一檢查修改如何兼顧任務表現與 token 用量。
讓 AI 助理寫完程式後再自己檢查,可能會漏掉它以為仍然存在的內容。作者曾遇到付款按鈕已從程式碼中刪除,AI 助理卻認定它還在,於是改讓三個不同模型分工:Claude 負責訂出規格和驗收方式,Antigravity 負責寫程式與測試,Codex 或固定測試則只看程式碼差異來審查。若改動不符合規格,工作就退回重做。作者認為,清楚的規格和彼此獨立的檢查,能減少模型只看見自己預期內容的問題。
和 AI 助理一起處理重要決定時,常會不清楚當初根據什麼判斷,也難以確認事情後來有沒有做好。The Upper Hand Method 用純文字檔記下決定、預期結果和可能推翻判斷的證據,並替每次查核標記正確、錯誤或尚早;每項例行工作也要訂日期和測試,過期未證明就算有缺口。系統還會記錄狀態變動,並讓另一位讀者從匯出的檔案重建現況。作者說明,這套方法刻意尚未完成評分,部分測試預計在 12 月 1 日公佈結果。