Stanford RegLab 用 PhantomDocket 估演算法院訴狀中的 AI 寫作比例
Stanford RegLab 釋出 PhantomDocket 基準,追蹤美國州法院訴訟文書中的 AI 輔助寫作
法律文書常有固定用語,AI 偵測器可能因此難以判斷,也可能把同一批檔案算出差很多的比例。
- Stanford HAI 與 RegLab 研究者建立 PhantomDocket 基準,用已知出現 AI 幻覺引證的案件校準偵測器,並估算四個州法院的訴狀使用 AI 輔助寫作的情況。
- 研究估計,2026 年加州聖克拉拉縣與舊金山縣的比例分別為 38% 和 36%,俄克拉何馬州兩個縣則為 17% 和 16%。
- 作者提醒,這類工具較適合估算整體比例,不能可靠地判定某一份檔案是否由 AI 協助撰寫。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
研究比較不同設定下的偵測結果,並用已知 AI 幻覺案例校準工具,呈現法院文書使用率估算的可靠範圍。
Stanford HAI News·2026-11-19 00:00· 1 天前精選AI 評分65
AI Might Be Flooding State Court Houses, but Proving It Is Another Matter
AI 導讀
Stanford HAI 與 RegLab 研究者釋出論文 Detection Objection 和 PhantomDocket 基準,基於 Damien Charlotin 的 AI 幻覺案例資料庫校準 AI 檢測器,追蹤四個州法院的 AI 輔助寫作。
推薦理由
研究用幻覺案例構建 PhantomDocket 基準校準檢測器,並給出四個州法院的 AI 使用率估計,讀者可藉此瞭解法律文本檢測的可靠性邊界。
AI 或許正在淹沒州法院,但要證實這一點又是另一回事
日期
2026年11月19日
主題

斯坦福研究人員利用一套基於有據可查的 AI 幻覺案例構建的新基準,來校準檢測器,並追蹤生成式 AI 在美國四個州法院中的蔓延情況。
自 ChatGPT 釋出以來,AI 生成的文本一直在向社會各處滲透:新聞文章、政治演講,甚至聯合國的新聞稿裡都出現了它的典型痕跡。許多觀察人士指出,法院是一個顯而易見、也格外脆弱的機構:事實上,過去三年裡,虛假引證不斷出現在法庭文書中——出自律師、地方檢察官,甚至法官之手。一波 AI 生成的訴訟案件可能讓法院不堪重負,浪費法庭的時間和資源,最終使弱勢群體無法獲得或遲遲得不到司法救濟。
但 AI 輔助在法院裡究竟有多普遍?我們又該如何嚴格地檢測法庭文書中的 AI 痕跡?斯坦福以人為本人工智慧研究院與監管、評估與治理實驗室(RegLab)的研究人員收集並分析了縣法院的起訴狀,以此探究這個問題。我們發現,AI 輔助起草的跡象從 2022 年的近乎為零,上升到 2026 年受檢的聖克拉拉起訴狀中的三分之一以上。我們還發現,同一批檢測器在不同設定下會給出截然不同的估計結果。
為什麼檢測 AI 很難
AI 檢測這門科學遠非完美,在法律領域尤其如此。在我們的新論文《檢測異議:記錄、校準與檢測美國州法院中 AI 輔助文本的興起》中,我們展示了其中的獨特挑戰。
AI 檢測器的工作原理是尋找 AI 的典型痕跡(比如“破折號用得太多”):而在語言使用方式各不相同的領域裡,這些痕跡的表現形式也可能不同。法律寫作確實與眾不同:法律用詞比日常語言範圍更窄,還充斥著重複的套話模板,留給 AI 檢測器的訊號因此更少。商用檢測器的訓練資料也可能並未包含法律寫作。
綜合這些因素,我們發現檢測率(1)在專業領域尤其糟糕,(2)可能對模型選擇高度敏感。例如我們發現,對同一批 2026 年聖克拉拉起訴狀,某個 AI 檢測器判定為 AI 撰寫的比例會隨所用設定的不同,從 10% 到 98% 不等。這對所有針對不同細分領域的 AI 檢測工作都是一個警示。
構建基準真相
突破口出現在我們審視一類尤其惡劣的 AI 違規行為時:幻覺和捏造的案例檢索。在這些案例中,我們確知 AI 一定被使用過,因為錯誤實在錯得太離譜。事實上,這已經是一個受到嚴密審視的領域:法律研究員 Damien Charlotin 於 2025 年 4 月建立了Charlotin AI 幻覺案例資料庫,專門追蹤法官指控或訓誡當事人使用虛構引證的案件。
我們發現,這類案件裡充斥著各種新的破綻。現有的 AI 檢測工具,比如 Pangram 和 EditLens,要麼無法自動識別 AI 生成內容,要麼需要大量調校才能用。我們把 Charlotin 的資料庫與一套精心設計的對照組結合起來,做成了一個專門檢測法庭文書 AI 痕跡的新基準,名為 PhantomDocket。
此外,我們還開發了一種叫 ScoreMix 的方法,用來校準 AI 檢測工具的輸出,並統計那些與幻覺文書更相似、而非 ChatGPT 出現之前所寫文書的提交佔比。兩者結合,讓我們對法庭文書中的 AI 使用情況得出了經過校準、穩健且偏保守的估計。
主要發現:三分之一的案件
藉助這些方法,我們得以較完整地描繪出生成式 AI 進入四個州法院的圖景。
到 2026 年,聖克拉拉縣和舊金山縣(加利福尼亞州)的 AI 使用率分別升至 38% 和 36%(不含債務催收案件)。
不同法院的使用率存在差異。在可比案件中,塔爾薩縣和奧克拉荷馬縣(奧克拉荷馬州)的 AI 使用率明顯更低,分別為 17% 和 16%。
自行應訴的當事人(pro se litigants),也就是在法庭上自己代理自己的人,採用率更高。在聖克拉拉,有 AI 使用跡象的自訴狀佔比從 2024 年的 19% 升至 2026 年的 72%;相比之下,由律師提交的訴狀這一佔比從 5% 升至 34%。
AI 使用率還因案件型別而異。加利福尼亞州的勞動和商業類訴狀使用率最高,而債務催收類訴狀幾乎見不到 AI 使用——這類文書是模板化的,在某些法院佔了近一半的提交量。
AI 使用情況也因法庭文書的不同部分而異,更常出現在事實陳述和訴訟請求部分。
資料能告訴我們什麼,不能告訴我們什麼
AI 輔助文本正悄然進入法庭,自行應訴者的使用率更高,不同司法轄區的使用率也各不相同。
基於我們的論文,我們要提醒:AI 檢測最可靠的用途是估計總體使用率,而不是精確指出哪份具體文書用了 AI。在我們的基準資料集中,即便是最好的檢測工具,假陽性和假陰性率也仍然不低;在語言用法獨特的專業領域,直接使用現成檢測工具是有風險的。
我們的研究也提出了切實的問題:AI 究竟是在幫助請不起律師的當事人,還是在讓法院被不合格的法律服務淹沒?迄今為止,已有超過 1,500 起美國案件被記錄存在法律幻覺。這些證據凸顯出司法系統有必要正視 AI 在法律行業的興起。我們主張各法院改進披露政策,以便未來更好地問責和衡量生成式 AI 的輔助使用情況。
Javokhir Arifov 是斯坦福 RegLab 的研究員。
Alexander Spangher 是斯坦福大學博士後學者,隸屬於 RegLab、斯坦福人工智慧實驗室(SAIL)和斯坦福 HAI。
Jonathan Hennessy 是斯坦福 RegLab 的高階研究經理。
Diya Karan 是斯坦福 RegLab 的研究助理,也是斯坦福大學學生。
Emaan Hariri 曾是斯坦福 RegLab 的法律學生研究員,並在斯坦福法學院獲得 J.D. 學位。
Daniel E. Ho 是 William Benjamin Scott and Luna M. Scott 法學教授、政治學教授,併兼任電腦科學教授;他還是斯坦福 HAI 高階研究員兼副主任、斯坦福經濟政策研究所(SIEPR)高階研究員,以及斯坦福監管、評估與治理實驗室(RegLab)主任。
本研究部分得到斯坦福 HAI 和斯坦福影響力實驗室(Stanford Impact Labs)的支援。作者感謝 Damien Charlotin 維護 AI 幻覺案例資料庫,感謝 Pangram Labs 提供其模型的研究訪問許可權。Pangram Labs 未參與研究設計、分析或本項工作。
分享
連結已複製到剪貼簿!
貢獻者
Javokhir Arifov、Alexander Spangher、Jonathan Hennessy、Diya Karan、Emaan Hariri 和 Daniel E. Ho
相關新聞
斯坦福 HAI 通過 2026 年 Hoffman-Yee 資助計劃支援雄心勃勃的 AI 專案
Nikki Goth Itoi
2026年11月16日
新聞
七支跨學科研究團隊共獲得 350 萬美元,在醫學、科學、法律和教育領域探索大膽的以人為本的 AI 方法。
新聞
斯坦福 HAI 通過 2026 年 Hoffman-Yee 資助計劃支援雄心勃勃的 AI 專案
Nikki Goth Itoi
經濟、市場生成式 AI科學(社會、健康、生物、物理)勞動力、勞工11月16日
七支跨學科研究團隊共獲得 350 萬美元,在醫學、科學、法律和教育領域探索大膽的以人為本的 AI 方法。
AI 繁榮的參差邊緣
2026年11月15日
新聞
斯坦福 AI Index 的新發現顯示,隨著 AI 投資突破 1 萬億美元,公眾情緒和勞動力市場結果比此前認為的更加參差不齊。
新聞
AI 繁榮的參差邊緣
斯坦福 AI Index 的新發現顯示,隨著 AI 投資突破 1 萬億美元,公眾情緒和勞動力市場結果比此前認為的更加參差不齊。
世界已經改變:新 AI100 報告的洞見
2026年11月10日
新聞

從戰場目標定位到合成媒體,第三份 AI100 報告發現,這項技術的發展已經超出了預期和治理能力。
新聞

世界已經改變:新 AI100 報告的洞見
經濟、市場教育、技能倫理、公平、包容金融、商業生成式 AI國際事務、國際安全、國際發展監管、政策、治理11月10日
從戰場目標定位到合成媒體,第三份 AI100 報告發現,這項技術的發展已經超出了預期和治理能力。
AI 可能正在淹沒州法院,但要證明這一點又是另一回事 | 斯坦福 HAI
來源:Stanford HAI News · hai.stanford.edu