研究測試 AI 程式助理在模擬職場中能否完成工作
AI 程式助理在單獨的程式測試中分數很高,但放進有同事、專案看板和聊天紀錄的模擬軟體公司後,能完成的工作少得多。這項新實驗測試了包括 Claude Opus 5.5 和 GPT-6 Astra 在內的 AI 助理,兩者完整完成的任務都不到十分之一。結果提醒我們,單項測試表現好,不一定代表 AI 助理能在較貼近日常工作的環境中把事情做完。
AI 程式助理在單獨的程式測試中分數很高,但放進有同事、專案看板和聊天紀錄的模擬軟體公司後,能完成的工作少得多。這項新實驗測試了包括 Claude Opus 5.5 和 GPT-6 Astra 在內的 AI 助理,兩者完整完成的任務都不到十分之一。結果提醒我們,單項測試表現好,不一定代表 AI 助理能在較貼近日常工作的環境中把事情做完。
寫給 AI 助理的規則常塞滿「絕對不要這樣做」,但規則太多,模型可能反而漏掉真正重要的細節。這次測試讓 Gemini 3.8 Flash 修改一套付款程式:一組提示詞列出 25 多條禁令,另一組則提供一份示範正確寫法的程式碼範例。前者做了 3 次才通過 20 項檢查中的 16 項;後者一次就全數通過,執行速度快 2.85 倍。結果顯示,直接示範希望 AI 助理怎麼寫,可能比一再提醒它不能做什麼更有效。
AI 助理能快速寫程式、補測試,但工作變快後,檢查和決定「這功能到底有沒有幫上忙」反而容易塞車。這份白皮書提出 Agentic PDLC:把工作從一張張待辦事項,改成可以驗證的成果假設,讓人和 AI 助理一起從瞭解需求、設計、開發到上線後觀察。比如,團隊可以先假設「讓回來的顧客重用已確認的資料,能減少他們放棄設定帳號」,再檢查完成率有沒有提高、風險有沒有增加。AI 助理可以提出做法,但重要決定仍由負責的人把關;每一步都要留下證據,確認真的對顧客有幫助。
AI 助理收到 bug 回報後,常會先猜原因、直接改程式,再跑原有測試;但舊測試可能沒碰到真正出錯的情況,讓錯誤悄悄留下。這次測試比較兩種做法:一種先修改再測,另一種規定先用 5 個小測試重現問題,確認它們真的失敗後,才開放修改程式。結果,先重現問題的做法一次就通過全部 20 個檢查,輸入 token 也從 49,801 降到 2,323。 例如,測試特別檢查金額為 0 的交易能不能通過,以及多餘欄位會不會被錯誤留下;先修改再測的做法漏掉了這兩種情況。這表示先清楚看見錯誤怎麼發生,再動手修,能讓 AI 助理少走冤枉路,也更不容易漏修。
公開的 AI 助理技能會提供操作指示,有些還附帶能以使用者許可權執行的程式碼,因此可能帶來安全風險。Vyankatesh 用 SkillSpector v2.12.0 靜態掃描 618 個公開技能,沒有安裝或執行它們;63.6% 至少有一項警示,40.1% 有高或嚴重警示。附帶程式碼的技能風險分數中位數是 52,只有 Markdown 的技能則是 0。不過,作者抽查的少數警示有些看來被判得太嚴重,也沒有找到他認為蓄意惡意的技能。這項研究不是同儕審查,也無法判斷掃描漏掉多少問題;作者建議把分數用來安排檢查順序,啟用技能前仍要看清楚它如何使用你的憑證。
一般程式測試會直接告訴 AI 助理哪裡有錯;SWE-sweep 則給它一個真實程式庫,讓它自己找出問題並修好。這項基準測試涵蓋 100 個程式庫、22 種語言中的 4,068 個已知錯誤,並用隱藏測試確認修正結果。受測模型中,表現最好的只修好 4.7%。這顯示,在大型程式庫裡,找出錯誤可能比修正錯誤更難。
評估 AI 助理時,只看它在聊天裡說了什麼,可能會漏掉它透過工具實際做的事。ViKernel Scanner 會把模型放進模擬環境,讓它面對一般任務和誘導它做危險事的要求,再檢查它試著呼叫哪些工具、傳入什麼內容。測試的 20 個開放權重模型,每個都只拿到 D 或 F;表現居中的模型在 100 次檢查中,有 40 次試著做危險操作。 研究也測試了能在工具呼叫執行前攔下它的防護機制;重播同一批測試結果時,897 次危險呼叫都被擋下。這提醒工程師,AI 助理嘴上拒絕,不代表它沒有試著動手;評測時也要檢查它實際發出的操作。
AI 助理做一串工作時,常會忘記前面學到的事;如果每次都靠人先寫好記憶方法,也不一定適合每種任務。Meta FAIR 做出 Self-Improving Memory,讓 AI 助理先從工作中找出整理和讀取筆記的方法,再把這些本領教進模型。像處理程式專案時,它會保留快速入門說明、問題索引和各項修正紀錄,之後接手工作時就能查閱。 在 3 種測試任務中,AI 自己找到的記憶方法平均得到 56.0 分,高於人寫的方法 44.6 分;程式專案任務的分數更高出 20.6 分。把部分本領教進模型後,即使改用一般提示詞,平均仍有 43.1 分,高於直接用一般提示詞訓練的 37.6 分。這表示 AI 找到的整理方法能帶來幫助,但不是每次嘗試都有效:44 次修改中有 37 次沒有超過前一次的最佳結果。
推薦理由:GUARD 會先檢查修改提示詞與記憶後造成的行為變化,並優先修復新出現的問題,可用來理解自我改進 AI 助理如何降低舊能力受損的風險。
AI 助理能幫忙寫程式、檢查實驗,但不同工作做得好不好差很多,研究人員也得持續把關。OpenAI 這份內部研究報告整理了研究團隊使用 AI 助理的情況:截至 10 月中旬,超過三分之二的受訪研究人員每天最忙時至少有 4 個 AI 助理同時工作;在部分研究任務中,AI 助理能獨立完成約七成,但寫推論與服務程式碼的成功率估計為 25%。訪談也提到,AI 助理會產生品質不佳的程式碼和資料,因此研究人員常先檢查一份成果,再讓它繼續處理。報告呈現了 AI 如何加快部分研究工作,也指出人類監督仍是研究流程的一環。
推薦理由:報告比較研究助理在不同任務上的成功率,也呈現研究人員如何檢查與修正成果,能看出 AI 加速研究的助力與瓶頸。
AI 寫完程式後,常會被要求自己再檢查一次,但它可能沿用原本的想法,只測常見情況,漏掉容易出錯的邊界。這次實驗讓同一個 AI 助理自我檢查,並和「另一個 AI 助理專門找碴」的做法比較:前者寫出的測試程式用了環境裡沒有的 pytest,無法執行,6 個隱藏錯誤一個也沒抓到;後者則用 Python 內建功能寫測試,抓出全部 6 個。 兩種做法寫出的程式都通過了 20 個功能測試。多加一次找錯步驟,花費增加 $0.0052、時間多 6.92 秒。這個結果顯示,讓不同 AI 助理分開寫程式和找錯,可能更容易發現邊界條件、型別和格式問題;找錯用的測試也應鎖定,避免後續修改把測試放寬。
AI 助理能幫忙做研究工作,但不同任務的完成情況差很多。OpenAI 根據內部資料整理研究流程的變化:從 3 月到 10 月,原本估計要花 2 到 4 小時的任務,AI 助理不用人幫忙就成功完成的比例從 23% 升到 46%;監看訓練進度的成功率是 79%,寫推論與服務程式的成功率則是 25%。報告也提到,研究人員仍會檢查和修改 AI 助理的成果,並指出這些數字只呈現部分情況,不能直接代表研究進展一定加快。
推薦理由:報告比較不同研究工作的自主完成率,呈現 AI 助理能加快部分流程、也可能卡在特定工作的差異。
API 有時回傳空白、資料不完整或一堆零,卻仍顯示呼叫成功,AI 助理可能因此把錯誤資料當真,甚至做出不對的操作。作者用四種 AI 助理框架和模擬 API,比較在指示中加上一句提醒,或讓工具附上資料缺漏註記,能不能減少這種問題。測試中,那句提醒讓助理在回答問題時不再編造資料,也能避免對看起來明顯有問題的資料採取行動;但空清單、截短清單和被歸零的數字看起來很正常,提醒仍擋不住錯誤判斷。作者也說明,測試只用了單一模型、單一服務和少量模擬任務。
推薦理由:研究顯示,具備簡單工具的模型可能自行摸索改進方法,為評估模型能力與安全風險提供具體案例。
一顆草莓動畫後來變成程式生成的水果外掛和片頭影片,這段合作裡人和 AI 助理各做了多少,光看成品很難回答。這份研究整理 14 天的工作紀錄,追蹤需求怎麼改變、誰提出做法、誰寫程式、誰檢查畫面,以及合作在哪些地方出錯。紀錄中,AI 助理有時回報檢查通過,使用者看畫面後仍發現問題;也有多個助理同時工作,訊息送錯物件的情形。研究提醒,提示詞和工具操作次數不能直接換算成誰對成果貢獻多少。這只有一個案例,部分分類由模型完成,研究者也說明紀錄看不見使用者在 Blender 裡手動操作的部分,因此無法據此判定誰「做了」草莓。
AI 助理在基準測試中表現良好,不代表上線後能長期穩定工作,也不代表出錯時能恢復或發現攻擊。作者和共同作者檢視了 88 項宣稱與實際部署有關的研究,發現長期可靠度、監控、故障恢復和抵抗惡意輸入這四種測試,有 73% 的研究都沒有報告。這不一定表示團隊完全沒做,只能確定論文沒有寫出來。作者建議團隊把這些測試納入發布流程,並在上線後持續觀察,再把發現的問題加回測試。
用小型模型分析 CSV 時,讓它分好幾步規劃、寫程式、執行,再修正錯誤,聽起來比較周全,結果卻可能更差。作者用同一個 1.5B 模型做 DABench 測試,單次提示詞產生程式、執行一次,40 題答對 0.70;AI 助理流程答對 0.55。AI 助理常在呼叫工具或修正程式時出錯,難題尤其容易卡住,花的 token 也約多 5.6 倍。這次測試題數不多,差距還不能算達到統計上的顯著程度;結果也只適用於這個小型本機模型。
推薦理由:這項研究比較三種修改 AI 助理工作架構的方法,呈現逐一檢查修改如何兼顧任務表現與 token 用量。
年輕人會找 AI 聊天、滑短影片,也會和朋友見面,但這些連結和孤獨感的關係並不單純。Gallup 與波士頓兒童數位健康實驗室調查 16 個國家、超過 16,000 名 15 至 22 歲的年輕人;約 93% 的受訪者有至少一位親近的現實朋友,33% 曾把 AI 當成陪伴。把 AI 當朋友的人也比較常感到孤獨,但研究無法判定是孤獨讓人轉向 AI,還是 AI 影響了人際生活。研究者指出,現實中的友誼和身邊是否有可信任的大人,也和年輕人的孤獨感有關。
推薦理由:研究把測試情境分成直接要求違規與只設定業績目標,呈現兩種測法可能揭露不同的金融規則風險。
AI 程式開發助理能寫出更多程式碼,但多寫的部分不一定能更快變成完成的工作。哈佛研究人員分析 718 家公司的資料,發現匯入這類工具後,新增程式碼約多 30%,完成的工作量沒有明顯增加,程式碼從送審到合併的時間則多了 49%。作者認為,更多程式碼湧入審查流程,以及草稿需要更多修改,都可能造成塞車。這份研究是尚未完成同儕審查的工作論文,研究物件是軟體開發,不能直接當成法律工作的結論;不過,文中建議評估法律 AI 時,也追蹤審查時間、退回修改的比例和核準的工作成果。
推薦理由:研究把程式碼增加、完成工作沒有明顯變多與審查時間拉長放在一起比較,並整理出評估法律 AI 工具時可追蹤的審查指標。
同一個模型搭配不同的程式開發助理執行環境,花費可能差到 5 倍。Runta 和 Baseten 比較 22 種設定與 5 個開放權重模型,發現省錢排名會隨模型改變;有些設定搭配一個模型最便宜,換了模型卻可能變得很貴。估算費用中,52.7% 花在未通過檢查的任務,另有 11.8% 花在逾時執行。測試也發現,成功完成一項任務所需的步數和成本有明顯關聯,但研究沒有單獨驗證簡單的工具使用方式是否能降低費用。
程式能跑、測試也通過,不代表這次修改適合放進正式系統。Surge AI 推出 sudo L7,使用 60 項由資深工程師設計的任務,評估 AI 助理能否看懂真實程式庫、注意安全風險,並確認需求是否已有解法。例子中,Astra 照要求記錄完整金流通知,卻沒提醒這可能讓敏感資料曝光,也可能讓重要更新遺失;Opus 5.5 則重做了應用程式原本已有的捐款分配功能。測試結果顯示,Claude Opus 5.5 和 Sonnet 5.5 各完成約 45% 的任務,仍有超過一半未能完成。
AI 助理會改程式,不代表能在公司裡獨立完成工作:它還得找出散落在檔案和聊天紀錄中的需求、和同事溝通,再確認成果真的能用。SWE-CoWork 讓 11 個模型處理真實專案中的工作,表現最好的 Claude-Opus-5.5 和 GPT-6 Astra 雖然通過約 63% 的測試,完整完成的工作卻不到 8%;而且最後回報已完成的需求中,仍有 31% 沒通過實際測試。這顯示 AI 助理目前比較會照著明確指示改程式,還不太會一路追蹤需求、合作並確認交付成果。
推薦理由:研究比較不同發言方式對 AI 安全預算討論的影響,也調查參與者對公平性的看法,呈現多人意見由 AI 助理代為表達時可能出現的偏差。
同一套 AI 助理工具換上不同模型後,花費和任務通過率可能差很多。Runta 與 Baseten 用 5 個模型、22 套工具和 62 種終端機任務做比較,發現每個模型費用較划算的工具組合都不一樣;例如 Codex CLI 搭配 GLM-5.3 時,每次通過任務平均花費 $0.803,但換成 Kimi-K3 後,費用排名從第 1 名掉到第 16 名。結果也顯示,花更多錢不一定能讓任務更容易通過。作者建議,換模型時也用自己的任務測試工具組合,並留意執行步驟,因為每一步都會再次送出整段上下文。
推薦理由:這項比較顯示,同一套 AI 助理工具搭配不同模型時,費用排名會大幅變動;選工具時應用自己的工作任務實測成本與通過率。
有些網站已能讓 AI 搜尋工具讀取資料,但缺少網站自己的價格、退貨和服務規則,AI 可能只能從其他地方猜答案。這項調查檢查了 40 個網站,發現 10 家 Shopify 商店中有 8 家開放 /api/ucp/mcp,卻沒有一家自訂 /agents.md;其中 6 家使用 Shopify 提供的範本,裡面沒有商店自己的免運門檻和退貨期限。調查也發現,40 個網站都沒有在 /robots.txt 禁止 GPTBot 或 PerplexityBot,但有 2 個網站仍在網路防護系統擋下這些爬蟲。這表示網站看起來允許 AI 讀取,不代表 AI 一定能順利取得資料;網站也需要清楚寫出自己的重要資訊。