哈佛研究:AI 程式開發助理讓程式碼審查多花 49% 時間
Harvard researchers find AI coding agents shifted the bottleneck to code review
AI 程式開發助理能寫出更多程式碼,但多寫的部分不一定能更快變成完成的工作。
- 哈佛研究人員分析 718 家公司的資料,發現匯入這類工具後,新增程式碼約多 30%,完成的工作量沒有明顯增加,程式碼從送審到合併的時間則多了 49%。作者認為,更多程式碼湧入審查流程,以及草稿需要更多修改,都可能造成塞車。這份研究是尚未完成同儕審查的工作論文,研究物件是軟體開發,不能直接當成法律工作的結論。
- 不過,文中建議評估法律 AI 時,也追蹤審查時間、退回修改的比例和核準的工作成果。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
研究把程式碼增加、完成工作沒有明顯變多與審查時間拉長放在一起比較,並整理出評估法律 AI 工具時可追蹤的審查指標。
編者按:根據哈佛大學博士候選人 Fiona Chen 與 James Stratton 的工作論文,採用 AI 程式碼代理的企業,其工程師新增的程式碼約多出 30%,但已完成的工作量沒有顯著增加,程式碼通過審查所需時間則增加 49%。這份論文涵蓋 718 家企業,目前是求職市場論文,沒有跡象顯示已完成同儕審查;它衡量的是草擬速度提升後,人類檢查關卡的情況。Harvey 的駁回動議工作流程,以及 Cooley 正與 Google Cloud 開發中的訴訟檔案遮蔽代理,都在類似的檢查關卡保留律師把關;兩項公告都未提供該審查階段的量化指標。
對電子化證據開示、隱私與法遵專業人士而言,這項研究提出一種評估法律 AI 採購案的方法:除了草擬產出,也應考量核准的工作成果、修訂率與審查者耗時。研究也顯示,AI 撰寫內容可能在協作系統中留下中繼資料,紀錄管理與法律保全計畫可能需要將其納入範圍。可留意論文修訂版,以及是否有法律科技供應商公佈審查階段的資料;同時須注意,這項研究探討的是軟體開發,並非法律工作。
資訊 - 92%
洞察 - 90%
相關性 - 88%
客觀性 - 90%
權威性 - 92%
90%
優秀
以百分比簡短評估近期 ComplexDiscovery OÜ 文章〈哈佛研究人員發現,AI 程式碼代理將瓶頸轉移到程式碼審查〉所呈現的質性效益,表達正面評價的百分比。
新聞分析-人工智慧專題
哈佛研究人員發現,AI 程式碼代理將瓶頸轉移到程式碼審查
ComplexDiscovery OÜ 編輯部
一份哈佛工作論文發現,採用 AI 程式碼代理的企業,其工程師新增的程式碼約多出 30%;但已完成的工作量沒有顯著增加,程式碼通過審查所需時間則增加 49%。
研究資料顯示,額外撰寫的程式碼並未帶來可觀察到的已完成工作量增幅,程式碼審查反而成為瓶頸。哈佛大學博士候選人 Fiona Chen 與 James Stratton 分析了 718 家公司的 725,938 名工作者,測得這項趨勢。本月公佈的兩項法律 AI 計畫——Harvey 的駁回動議工作流程,以及 Cooley 正與 Google Cloud 開發的法院檔案遮蔽代理——都在類似的審查環節安排律師把關,兩者都未提供該環節的量化指標。
哈佛研究衡量了什麼
這項趨勢能有多大參考價值,取決於資料的來源。Chen 與 Stratton 使用 Jellyfish 的資料進行研究;Jellyfish 銷售追蹤工程活動的分析平臺,研究人員再將資料與 Revelio Labs 蒐集的 LinkedIn 就業紀錄串接。樣本涵蓋 2021 年 1 月至 2026 年 3 月,物件為同意將資料用於研究的 Jellyfish 客戶企業。論文表格列出 6,830 萬筆 Jira 議題、2.009 億筆提交紀錄、4,910 萬筆提取要求與 2,130 萬筆行事曆事件;不過,718 家企業中只有 213 家提供行事曆資料。
這項研究採用錯開式差異中的差異比較,逐月追蹤已採用工具的公司與尚未採用的公司,成果如何變化。這類比較的可信度取決於採用時間不同的原因,而作者指出,法務與資安團隊會認得這個流程,因為他們就在其中。論文表示,採用時間主要取決於公司何時得知這些工具,以及採購流程耗時多久,包括尋找供應商、法務與資安審核,以及試辦計畫。一位受訪者表示,他們公司約一天就核准了一項工具;另一位受訪者則說,平均審核時間為六到 12 個月。
作者認為,這些採購延誤可能與公司成長速度無關,因此支援比較較早與較晚採用工具的公司。他們承認一項已知差異:規模較大的公司較早採用,並在分析中控制了公司規模。作者表示,如果仍有未觀察到的差異,更可能會讓 AI 看起來比實際上更能提升生產力,而不是更差。若偏誤確實朝這個方向,那麼產出持平的結果甚至是對 AI 有利的估計。
目前版本的論文日期為 2026 年 8 月 4 日,初版則標示為 1 月 7 日。Chen 將論文作為求職市場論文流傳;本篇報導審閱的版本沒有任何資訊顯示論文已獲期刊接受或完成同儕審查。她的網站列出《華爾街日報》和《經濟學人》的報導連結,法律產業媒體本月也跟進報導,包括 Doug Austin 於 10 月 12 日在 eDiscovery Today 發表、轉述 Ars Technica 報導的文章。
草稿增加了,完成的工作卻沒有
瞭解這項研究的背景後,程式碼相關資料的增幅相當可觀。每位員工每月新增的程式碼行數比基準值 5,017 行多出 1,494 行,約增加 30%。提交紀錄增加 20%,而供審查的程式碼變更集(pull request)則增加 23%。作者指出,這些估計反映的是已經使用 AI 程式碼助理的公司匯入代理程式後,額外產生的效果,而非從零開始匯入 AI 的效果。
產出方面的增幅到此為止。論文以已解決的 Jira 議題數量計算完成的工作;議題中的程式碼部署到正式環境後,才算完成。代理程式讓這項指標每位員工每月增加 0.12 個議題,基準值為 3.67 個,標準誤為 0.17。這項結果在統計上與零無異;95% 信賴區間也排除了超過基準值約 12% 的增幅,遠低於程式碼撰寫量 30% 的增幅。
作者檢驗了一種直接的解釋:如果工程師改做規模較大的任務,議題數量持平就會低估實際產出。因此,研究人員用 GPT-4o 標註 0.5% 的議題樣本,依規模分類,再利用文字嵌入模型將標註結果延伸至所有議題。他們發現議題平均規模沒有變化,程式碼變更集也沒有變大;作者據此排除了審查階段發生狀況的最簡單解釋。
差距出現之處:審查佇列
論文指出,瓶頸出在程式碼審查。從送出提取要求到合併的時間,在基準值 7.03 天上增加了 3.45 天,增幅達 49%。收到正式修改要求的提取要求比例,從 13% 的基準值增加約 12 個百分點,幾乎翻倍;每個提取要求收到的審查留言也增加 35%。有參與程式碼審查的工作者比例,從約 29% 的基準值增加 14%;撰寫程式碼的工作者比例則沒有可測量的變化。
AI 審查工具並未消除瓶頸。到了 2026 年 3 月,近 80% 的公司都已使用這類工具,但 AI 產生的審查留言僅佔 23.3%,而收到至少一則 AI 留言的提取要求只有 10.8%。作者寫道,公司採用這類工具後,瓶頸依然存在。論文中的訪談呈現了團隊實際面臨的情況:一名初階軟體工程師描述某個專案只有一名資深工程師能核准變更,而且每週只能審查受訪者的程式碼一次。「發生幾次由 AI 產生的提交所造成的服務中斷後,團隊也訂出新規定,要求 AI 產生的程式碼必須經資深工程師核准,讓審查瓶頸更加嚴重。」作者表示,這段引言經過輕微編輯,以求表達清晰。
這段經歷符合作者用來解釋資料的雙管道模型。第一種情況是,起草速度加快,讓固定數量的審查者面對更多程式碼;將人力轉投入審查,大致上可以紓解這個問題。第二種情況是,修改要求和留言增加;單靠起草速度加快無法解釋這項變化,而依照模型來看,這顯示初稿品質下降。作者指出,這個問題需要更好的技術才能解決。任何考慮採用代理程式的人都應關注哪種情況佔主導地位,因為兩者需要不同的投資方向。
就業也沒有變化
程式碼撰寫效率提升,也沒有帶來裁員。估算結果排除了整體就業人數下降超過 2.9% 的可能性。另一項較不精確的估算則排除了工程職缺下降超過 13.8% 的可能性。作者提醒,這些是區域性均衡下測得的短期影響,可能掩蓋競爭公司流失的職缺;此外,工程職缺的助理工具估算在介入前就已呈現上升趨勢,因此很難將結果解讀為因果關係。
法律 AI 工具的設計也採用類似的關卡
當法律 AI 工具採用相近的設計時,這些軟體研究結果也接踵而至;Harvey 和 Cooley 的公告都循著同一做法:先自動化初步處理,再由律師把關。Harvey 與 LexisNexis 共同開發的工作流程於 10 月 7 日公佈,著重於起草。Harvey 表示,閱讀訴狀、研究並起草駁回動議的多步驟流程「通常需要 40 到 50 小時以上」,而其工具能「在數小時內」完成研究並產出初稿。公告提到,流程會在「最需要律師判斷的環節設定人工檢查點」,但未說明律師在這些檢查點上需要花多久,也未說明多久才能完成可提交法院的動議。
Cooley 10 月 8 日的公告將相同的做法套用在另一項工作上:其代理程式負責建議刪除哪些內容,而非撰寫論點。Cooley 表示,該代理程式仍在開發中,且律師會在檔案送交法院前判定所有刪除內容,因此人工檢查設在提交前的最後一步。據 ComplexDiscovery 於 10 月 10 日報導,這項公告未提供錯誤率。
向聯邦法院提出動議時,這個檢查關卡是法律義務,而非設計選擇。根據《聯邦民事訴訟規則》第 11 條第 (b) 款,提出動議的律師須就動議內容作出多項宣告,依其所知、所掌握的資訊與所信,並且「在情況所需的合理調查後」作出。其法律主張必須「有現行法律依據,或是以非輕率的論點主張擴張、修改或推翻現行法律,或制定新法」。其事實主張必須有證據支援;若明確標示為尚待查證,則在有合理機會進一步調查或進行證據開示後,可能取得證據支援。初稿或許幾小時內就能完成,但調查責任仍在律師身上,而軟體研究的證據顯示,審查可能會耗去部分節省下來的撰寫時間。
這篇論文的方法還帶來第二項啟示,與資訊治理團隊有關。研究人員部分透過事務所內部系統留下的痕跡,辨識出代理程式的使用情況,包括與 AI 工具連結的機器人帳號,以及提交訊息和提取要求說明中的「Co-authored-by」等簽名。AI 撰寫內容可能會在協作系統中留下自己的中繼資料軌跡。這些軌跡屬於紀錄,儲存期限政策與法律保全可能也必須涵蓋。
這些結果不代表法律工作會和軟體工作呈現相同行為,兩者比較的限制也很重要。檔案審查不是程式碼審查,製作交付資料也不是提取要求,而 Chen 和 Stratton 並未研究法律工作。美國國家經濟研究局另一篇工作論文於 2026 年 9 月修訂,根據超過 500,000 名 GitHub 開發者的資料,指出類似的落差。作者 Mert Demirer、Leon Musolff 和 Liyuan Yang 發現,自主代理程式產生的提交次數累計增加 240%,但實際釋出次數的增幅縮小至 30%。該論文也揭露一項利益關係:Demirer 和 Musolff 過去都曾在 Microsoft 擔任博士後研究員;Microsoft 擁有 GitHub,兩人目前則都受聘為該公司的研究顧問。兩項軟體研究指出的是軟體領域的模式,並未對律師事務所作出結論。
檔案審查提供部分先例
證據開示領域的實務工作者過去也曾討論過類似問題,Austin 的文章便提出這項比較。他寫道,證據開示領域對生成式 AI 審查也曾有類似辯論:有些實務工作者認為,人工驗證抵銷了效率提升;另一些人,包括他本人,則認為,採用預測式編碼所使用的統計抽樣就已足夠。不過,他寫道,對於程式碼代理程式而言,額外的審查時間或許值得投入,因為正確率達 90% 的程式碼仍可能無法執行。
他的比較指出,法律產出的驗證方式可分為兩類。初步相關性審查等大規模工作,可以透過抽樣驗證。單一份訴訟檔案則不同,因為其中的引註、事實陳述與敏感資料通常都需要直接檢查;只要出現一筆捏造的引註,或漏掉一組社會安全號碼,就足以造成問題。採購方可以把這項區分轉化為測試:詢問供應商,其 AI 代理產出的是哪一類成果,再追問後續成效指標,而非起草指標,例如從上傳資料到核准工作成果需要多少小時、審閱律師退回多少比例的草稿,以及每件案件的審閱時間。擴大起草量之前,先預留審閱人力,並記錄審閱者修改了哪些內容,因為這些紀錄能看出瓶頸在於產量還是品質。
仔細檢視論文的限制,也要仔細看它的研究結果
這些問題也適用於論文採用的資料來源。資料合作夥伴在這個主題上有商業利益,而雙方的關係不只是資料授權。Jellyfish 自稱是「AI Impact Platform」,作者也曾在其部落格發表文章:Chen 和 Stratton 在 2025 年 9 月 25 日的文章稱,這是「我們與 Jellyfish 持續合作的一部分」。論文感謝 Jellyfish 團隊「提供合作」,並表示 Jellyfish 僅審閱手稿是否揭露專有資訊,未審閱科學內容,結論則由作者自行負責。資助來源包括 Stripe Economics of AI Fellowship、哈佛甘迺迪學院的財富分配計畫,以及 Schmidt Sciences 的 AI at Work 計畫。
Jellyfish 也曾宣傳這項研究的早期版本。Nicholas Arcolano 在 1 月 28 日的部落格文章中稱,這是「我們在哈佛經濟學系的合作夥伴 Fiona Chen 與 James Stratton 發表的新論文初稿」,研究物件為 500 家公司的 10 萬名軟體工程師。該文章及 Jellyfish 隨後於 3 月 17 日發布的新聞稿指出,AI 正加快程式設計速度,而且「程式碼品質似乎沒有變差」。8 月版研究採用更大的樣本,資料涵蓋至 2026 年 3 月;研究透過模型解讀變更請求數量近乎翻倍的現象,認為這可能代表草稿品質下降。兩種說法依據不同版本與樣本,因此未必互相矛盾;但只看 Jellyfish 的摘要,讀者就會漏掉目前論文提出的品質疑問。
論文也有一些細微的內部不一致,但不影響代理工具的主要估算。導言將樣本概述為約 700 家公司與 70 萬名工作者,正文則提到 17 場訪談,附錄記載的數字卻是 21。其他限制屬於研究架構本身,而非編輯疏失:底層資料為專有資料,透過個人授權使用 AI 工具的情況也未被記錄。
這些注意事項都不會推翻核心結果,不過資料截至 2026 年 3 月,後續修訂可能改變數字。這篇論文提出了一套衡量標準,而本文討論的兩項法律業界公告都未達到這個標準:列出作者姓名、揭露研究方法、提供信賴區間,並設有量化檢查點。如果 AI 代理能將 40 小時的研究與起草工作縮短到幾小時,那麼其中有多少時間會重新落到簽署聲請狀的律師身上?

新聞來源
- Artificial Intelligence in the Firm: Bottlenecks in Software Production(Fiona Chen 與 James Stratton,哈佛大學)
- Fiona Chen(Fiona Chen)
- James Stratton|哈佛大學經濟系(哈佛大學經濟系)
- 撰寫程式碼與交付程式碼:不同世代 AI 程式開發工具對生產力的影響(美國國家經濟研究局)
- 第 11 條:書狀、動議及其他檔案的簽署;向法院陳述;制裁(康乃爾法學院法律資訊研究所)
- 推出駁回動議工作流程,由 LexisNexisⓇ 共同開發(Harvey)
- Cooley 與 Google Cloud 合作開發複雜訴訟用 AI 代理(Cooley)
- Jellyfish 透過業界規模最大的持續基準研究,揭示 AI 對工程團隊的實際影響(Jellyfish)
- 哈佛與 Jellyfish 最新研究:AI 加快開發者的工作速度,商業效益又在哪裡?(Jellyfish)
- AI 輔助是否代表工程師編寫的程式碼變少?未必如此。(Jellyfish)
- AI 程式開發代理帶來的生產力提升,遭人工審查抵銷(eDiscovery Today)
- Cooley 與 Google Cloud 正開發法院檔案去識別化代理,但未公佈錯誤率(ComplexDiscovery)
延伸閱讀
- MonsterCloud 起訴案揭露:受害者自己的檔案可能不會記錄勒索款項支付情形
- 維基媒體公佈自身調查報告,說明疑似 OpenAI 代理在其維基網站上的活動
- Cyber Law Toolkit 測試 AI 欺騙、網路酷刑與平時網路義務
- ENISA《2026 年威脅態勢報告》指出,DDoS 事件數量居首,勒索軟體短期內仍最具影響
- 《網路韌性法案》將於 9 月 11 日開始申報,平臺尚未完工
- 歐洲雲端規則草案擬將供應商所有權納入稽核資料
- 八小時倒數今日開始:歐盟電子證據命令現已送達適用範圍內美國服務供應商的歐盟收件地址
- 加州《AI 透明法》與歐洲《人工智慧法》第 50 條同步登場
- 聯邦治安法官將 LinkedIn 的 Relativity aiR 工作流程視為技術輔助審查(TAR)
- 同一項基準研究,三種走勢:2026 年法律服務費率同時上漲、持平與下跌
- 信心轉弱,承諾不變:2026 年上半年電子蒐證業務信心調查完整結果
- 完整解析:ComplexDiscovery OÜ 對 2025 至 2030 年電子蒐證市場規模的綜合估算
- 電子蒐證的工作流程:探討程式與任務
來源:ComplexDiscovery OÜ

ComplexDiscovery 的使命是透過獨立、以資料為本的報導、研究與評論,讓實務工作者、政策制定者和企業領袖更容易理解數位風險、法律科技與法規變動,進而協助釐清複雜決策。
有需求嗎?
如果您有任何資訊或服務需求想向我們詢問,請告訴我們,我們會優先回覆。
ComplexDiscovery OÜ 是一家位於愛沙尼亞塔林的獨立數位出版與研究機構。ComplexDiscovery 報導網路安全、資料隱私、法規遵循與電子蒐證,並串連法律與商業科技發展(包括高成長新創公司的趨勢)與國際商務、政策及全球安全域性勢。ComplexDiscovery 聚焦跨境法規與地緣政治複雜情勢所形塑的科技與風險議題,為全球法律、法規遵循、安全及科技專業人士提供編輯報導、原創分析與精選簡報。請至 ComplexDiscovery.com 瞭解更多。
生成式人工智慧與大型語言模型的使用
ComplexDiscovery OÜ 肯定 GAI 與 LLM 工具在簡化內容創作流程,以及提升研究、寫作與編輯整體品質方面的價值。因此,ComplexDiscovery OÜ 定期使用 ChatGPT、Claude、Gemini、Grammarly、Midjourney 和 Perplexity 等 GAI 工具,協助、強化並加速新內容與修訂內容的製作及發布;相關文章與頁面自 2022 年底開始發布。

