開放網路無法阻止惡意機器人：立法需兼顧資訊自由

Late last month, 超過 300 名主要媒體代表出席國會山莊，為 Stealth Bot Prohibition Act 進行倡議。他們帶著合法的訴求。新聞室正被大量自動化流量衝擊，主要來自 AI 開發者。AI 開發者提取巨量網路內容，並可能透過生成式 AI 功能與訓練於該內容的聊天機器人，剝奪網站擁有者的推薦流量與廣告收入。這是一個值得真正解決的實際問題。但該法案並未直接針對濫用爬蟲造成的傷害。相反，它會強制任何自動存取網站者必須辨識自身身份及收集公開資訊之目的。該法案不僅未保護記者，反而威脅到他們以及其他人依賴的基礎工具，以線上收集資訊。

尖端調查性新聞依賴自動化資料收集。2022 年，獲普利策獎的《華爾街日報》調查分析了超過 31,000 篇財務披露檔案，涵蓋 12,000 名高階政府職員，發現近四分之一的聯邦官員在其機構監管的產業中交易股票。為進行此規模的調查，《華爾街日報》依賴網頁抓取：一個自動化過程，軟體機器人（稱為爬蟲）瀏覽網際網路並收集資訊。這個開放網路的基礎工具如今正受到聲稱針對「隱匿爬蟲」的法案威脅，實際上會妨礙合法的公共利益活動，包括儲存、新聞、研究與安全。

再次，積極的大規模抓取是一個真實問題——尤其是 AI 訓練與內容需求激增時。它可能使網站超載、增加成本，並威脅到知識產出與儲存機構，包括商業出版社、Wikipedia、圖書館以及Internet Archive，其中本篇作者之一在此工作。

表面上為了減少或消除有問題的抓取做法，提議的法案，如聯邦的 Stealth Bot Prohibition Act 與紐約的 Stealth Crawler Prohibition Act，將對匿名抓取施加全面禁令，但未針對實際傷害。

兩項法案皆將「機器人」或「爬蟲」定義為「檢索、掃描、索引、抓取或以其他方式存取網站或其他網際網路來源」的軟體。若機器人未披露其身份及「機器人的具體性質與目的」，則視為「隱匿」。根據聯邦法案，FTC 可對使用隱匿機器人且「合理可能對網站的技術或商業運營造成損害、削弱或負擔」的行為處以最高 53,000 美元罰款。該法案未定義或標準化「合理可能削弱」的具體標準。根據紐約法案，僅適用於受保護的新聞網站，出版商可取得傳票揭露爬蟲身份，無需證明任何傷害。

瞭解爬蟲背後的身分只能告訴我們其行為是否有害的資訊有限。根據紐約法案，一家公司若公開其身分後每分鐘存取網站 10,000 次，即算符合法律，儘管它仍對網站造成巨額且可能不合理的成本。但匿名使用爬蟲調查科技公司可能具反競爭行為的記者則不屬於此。許多最具社會價值的爬蟲用途都需要匿名。揭露爬蟲的身分與目的會改變所收集資訊的本質；若研究物件知道自己被觀察且被誰觀察，其行為將改變。這就是匿名研究的意義。

此外，並非所有自動化資料蒐集都是濫用，也並非全部用於訓練 AI，但這些提案法案可能因擔憂責任而阻礙檔案學家、研究人員及公民科技工作者使用自動化資料蒐集工具。記者使用抓取來分析公共紀錄，例如《華爾街日報》報導。研究人員則利用它研究線上歧視與錯誤訊息。

Internet Archive 的 Wayback Machine 已使用爬蟲存檔超過一兆個網頁，建立了原本會不斷變動或消失的網路歷史紀錄。這份檔案記錄為數千則新聞故事提供事實背景，成為全國數百件法庭案件的證據，亦常作為事務失敗時的備份。

不只是檔案學家依賴抓取推動公共利益。殘障倡議者已使用抓取自動評估超過一百萬個網站，以偵測無障礙問題。公共衛生研究人員使用抓取追蹤鴉片類藥物流行病，以及錯誤訊息，關於成癮與治療。聯邦政府依賴爬蟲掃描威脅偵測，提供免費的網路安全服務給全國各組織。對於這些使用者而言，匿名對其工作完整性與安全至關重要。例如，環境研究人員從公開企業披露或衛星影像入口收集資訊，可能擔心被調查物件公司報復。

我們的內容已送至您的收件箱。

加入我們的時事通訊，探討科技與民主交叉的議題與想法

第一修正案歷來保護我們免於政府強加與接收資訊相關的身份確認要求。 在 Lamont v. Postmaster General 案中，最高法院推翻了一項要求收件人在接收特定政治出版物前必須主動確認身分的法律。相同原則同樣適用於網路爬蟲：將身份確認作為存取公開資訊的條件，會負擔接收資訊自由。

當法律使用模糊語言時，這種擔憂會升高。若研究人員難以輕易理解「以禁止方式部署」爬蟲的意義，或何種行為「合理可能負擔或損害」網站，便可能選擇避免抓取，而非冒著違法風險。

正如我們在寄給紐約州長 Kathy Hochul 的 信件中所寫，‘去匿名化威脅到開放網路的核心，卻未真正解決 AI 相關爬蟲所帶來的技術與潛在經濟危害。’將爬蟲去匿名化並不會減少它向伺服器傳送請求的數量，也不會補償其內容被用來打造 AI 產品的出版商，更不會恢復因使用者轉向 AI 聊天機器人尋求資訊而可能流失的推介流量。

事實上，現行法律可用來處理許多爬取資料的有害用途。例如，隱私法可限制敏感資料的處理方式；版權法可回應侵權的 AI 生成輸出；消費者保護法則可針對詐欺性資料收集或使用進行規範。

為了應對激進 AI 爬取所提出的特定問題，政策制定者可支援開發標準化、互通的技術方案，以協助網站更有效管理自動化流量。標準機構如 Internet Engineering Task Force 正在探索管理機器存取網路內容的新協議，並開發匿名驗證良好爬蟲行為的機制。政策制定者應允許這項工作繼續發展，而非過早施加會傷害「好」機器人且「壞」機器人會迅速迴避的法律與技術措施。

若政策制定者認為需要新立法，責任應聚焦於造成可辨識危害的行為，例如以過多請求淹沒伺服器、從事詐騙或收集資料進行被禁止的用途。

AI 爬蟲的普及為出版商與網站運營者帶來合法挑戰，需慎重的政策回應。然而，政策制定者不應將匿名視為本身錯誤。開放網路依賴於在不揭露身份且不先徵得每位網站擁有者同意的情況下，存取、分析及儲存公開資訊的能力。

想要抑制濫用爬蟲且維護健康資訊生態系的政策制定者有更好的選擇，我們也樂於協助。邀請州級及聯邦級立法者與我們聯絡，探討替代方案如何針對有害行為，同時保護記者、研究員、檔案館員及公民長期以來使用的導航數位世界的工具。