網際網路擁有第二個受眾

在網際網路歷史的大部分時間裡，都有一個為其買單的受眾：人類。我們閱讀文章、觀看廣告、購買訂閱。機器人一直存在，但它們大多是大型的自動化程式，不看廣告、不買任何東西，也無法以任何有意義的方式閱讀。

這種情況正在迅速改變。在 2024 年底，Cloudflare 平均每秒處理 6300 萬次 HTTP 請求。如今，這一數字幾乎翻了一番，達到 1.15 億次，峰值超過 1.5 億次。在過去的一年裡，我們網路上來自 AI 代理的每日請求增長了 1,700% 以上。今年，網際網路流量中首次有一半以上不再屬於人類。

人類的網際網路並沒有為了騰出空間而萎縮。第二個受眾隨之出現：代理，即代表人類行事的軟體。它們介於人類和傳統機器人之間。它們不響應廣告，但它們背後通常都有一個有工作要完成的人。對於學會為它們服務並從中捕獲價值的企業來說，代理是增量的。而對於那些沒有做到的企業來說，它們是掠奪性的。

我們的客戶所需的東西並沒有改變：被發現、講述精彩的故事、打造出色的體驗以及銷售。改變的是，你現在有一半以上的訪客是軟體。我們的工作是幫助你同時服務好這兩類受眾。

流量更多，收入更少

三十年來，網際網路一直依靠一種契約運轉：你允許搜尋引擎抓取你的網站，它們向你傳送訪客，而你將這些訪客轉化為業務。被發現和獲得報酬是一回事。

人工智慧導致這種微妙的平衡被打破。現在，答案引擎閱讀網頁併為讀者提供摘要。這消耗了網站的頻寬，卻沒有引導人類訪問能夠產生廣告或付款的網站。機器源源不斷地湧來，而為網際網路付費的受眾卻不再訪問這些網站了。一些被抓取最多的類別，例如零售、計算機軟體、IT 與服務以及金融服務，在不到一年的時間裡，人類流量下降了高達 40%。

結果是，每個請求的收入正在下降，而成本卻在上升。每一個自動化請求仍然會消耗頻寬、計算和源站容量，並且其中越來越多的請求不帶來引流、沒有廣告展示、也沒有訂閱。我們的第一直覺是阻止所有自動化流量。去年，我們建議在新域名上阻止 AI 訓練爬蟲，以便網站所有者至少可以對他們的內容被用於構建模型說不。在 2025 年春季，我們看到的爬蟲請求中有 22% 是用於 AI 訓練的（根據爬蟲宣告的目的）。到 2026 年 6 月，這一比例達到了 52%。問題在於，一刀切的“不”對於當前正在構建的網際網路經濟來說，並不是一種足夠細緻的方法。

迎合代理的機會已經來臨。做對了，你就站在了新商業模式的最前沿。然而，如果做錯了，結果將與歷史上那些站在搜尋引擎演算法更改錯誤一側的網站一代又一代遭遇的命運相同。

其中一部分流量是客戶

代理預訂桌位、比較保險報價或為研究人員購買資料集，它就是一個客戶。它只是不是人類客戶。

自動化流量中增長最快的部分不再是爬蟲。而是代理：代表個人獲取網頁的軟體，通常是因為人類向聊天機器人詢問了某些事情。這種代理流量遵循人類的作息規律，具有周節奏，並且在暑假期間會有所下降。拒絕一個代理，你可能就拒絕了派遣它的那個人。

代理的行為也與訓練爬蟲不同。訓練爬蟲收集你的網頁來構建模型。每當有人詢問該內容時，代理就會再次訪問，因此這種流量隨著人們提出問題的多少而增長，而不是隨著你釋出內容的多少而增長。

你無法與一個你看不見、分辨不出、無法為其設定條款且無法收費的受眾做生意。直到最近，對於網路上絕大多數非人類流量來說，這四點都無法做到。

看看誰在真正訪問

“AI 機器人”不再具有任何有用的含義。重要的是機器人的行為。Cloudflare 的 AI Crawl Control、Business Insights, 和 BotBase 向網站所有者展示誰在抓取、他們拿走了什麼、返回了什麼以及他們最想要你的哪些 URL。

機器人的名字只有在你能信任它時才有價值。藉助 Web Bot Auth，包括 OpenAI、Google 和 AWS 在內的運營商對其代理的請求進行加密簽名，因此網站可以區分真正的代理和冒充者，而無需從 IP 地址或使用者代理字串進行猜測。我們每週看到超過 5000 億次經過驗證的機器人請求。 

設定你的條款

7 月份，我們將單一的“阻止 AI 機器人”開關替換為了獨立的 搜尋、代理和訓練控制，這些功能適用於包括 Free 在內的所有套餐。資料表明了為什麼需要這種區分。Cloudflare 上只有不到 1% 的網站阻止搜尋爬蟲，而 17% 的網站阻止訓練。網站所有者從來都不是想隱藏自己。但隨著代理流量的興起以及代理使用資訊的新方式，他們突然對自己的內容如何被使用失去了透明度或選擇權。被 發現不再能確保他們獲得報酬，他們希望在不被剝削的情況下被發現。

這在混合用途爬蟲的情況下尤其困難。當一個機器人同時進行搜尋和訓練時，拒絕其中一個就意味著拒絕另一個。 9 月 15 日，我們推出了 禁止 AI 訓練。它使你保持在搜尋索引中，同時使用爬蟲特定的機制來指示運營商不要將你的資料用於訓練。Apple、Google 和 Microsoft 已承諾遵守此規定。Cloudflare Radar 還公開追蹤爬蟲行為。

現在，新域名會根據網站的盈利方式（而不是訪問的是哪款軟體）看到推薦的配置。對於廣告支援的網站，你可以輕鬆禁止訓練並在投放廣告的網頁上阻止代理，因為廣告只有在人看到時才有收益。你可以隨時更改這些設定。

獲得報酬

2026 年 8 月，我們將 正在構建的代理網際網路 描述為可讀、可發現、可呼叫和可支付的。最後一個詞——可支付，決定了開放網路能否實現自我造血。網路需要一種方式來表示“付費則行”，而不是二選一的“行”或“不行”。

許可市場既展示了需求的規模，也揭示了缺口所在。自2023年以來，已有超過50份出版商與AI公司的協議簽署。幾乎全部都是定製且雙邊的，涉及大型出版商與大型AI公司。這證明內容具有價值。 但它們並未覆蓋大部分網路，也未觸及大多數買家。

並非所有資產都應以相同方式出售。高價值內容和資料集需要一個可信網路，在那裡買家被識別並報告作品的使用方式。像API和MCP工具這樣的服務並非如此：每一次請求即視為使用。

因此我們正在為 兩者構建。

Pay Per Use 能夠觸達直接許可無法覆蓋的網站。大多數出版商永遠無法與每家AI公司簽訂定製協議，也沒有任何AI公司能與數百萬站點談判。Pay Per Use 是橋梁。它不對爬取收費。只有當內容真正被使用時才付款。每個買家都是經過驗證的爬蟲，這使其成為可信網路，每個買家都定義何為使用以及將支付多少。

出版商會看到該方案，決定是否加入，並能在其不再適用時隨時退出。買家報告每一次使用，Cloudflare 核查報告，然後向買家計費並支付給出版商。報告與付款同等重要。出版商可以看到哪些內容被使用、何時使用以及賺取了多少；當買家報告時，還能獲得哪些問題觸發了他們的作品。許可協議很少展示這些資訊。它形成了反饋迴圈：出版商瞭解人們真正需要什麼，並據此決定覆蓋哪些內容、更新哪些內容，以及哪些內容可以輕鬆提供給代理。

使用並沒有統一定義。搜尋引擎引用來源、研究代理引用段落、購物代理完成購買都產生不同型別的價值，每種都需要自己的商業模式。買家可以通過多種商業模式使用同一套基礎設施參與，無需為出版商做新的整合。以面向海事工程師的行業期刊為例，訂閱者僅數千人，AI許可協議的前景不大。它會從每一家使用其內容的參與AI公司獲得報酬。

Monetization Gateway 捕獲了從未有過轉手方式的價值。賬戶、API金鑰和訂閱適用於你已知的客戶，而非想要從未使用過的服務中進行一次查詢的代理。我們的閉門測試允許符合條件的美國 Cloudflare 客戶為任何通過我們傳遞的內容設定價格，使用他們已熟悉的 Rules 語言。當規則匹配時，我們返回 HTTP 402 Payment Required，採用開放的 x402 協議，代理直接向賣方付款。

這不僅能彌補失去的收入。代理本身就是客戶：他們為所使用的資料、API和工具付費，無論請求是完整購買還是更大任務中的一步。

Monetization Gateway 按請求、按查詢或按 token 收費，採用固定價格或封頂價格。一個基於廣告的體育統計網站可以在每次代理詢問“誰是聯盟助攻王？”時收取幾分之一美分。當我們宣佈推出 Monetization Gateway 時，數千名賣家加入了候補名單，他們最常見的請求是“向代理收費，而不是向人類收費”。我們也是自己的第一個客戶。Cloudflare 的 AI Gateway 使用 Monetization Gateway 讓代理為推理付費，因此我們在客戶之前就發現了粗糙的邊緣。

對於買家來說，這兩個產品都比攔截頁面（block page）更好：它們提供可靠的訪問許可權，並且能夠訪問數百萬個網站，而無需一次簽訂一個許可協議或獲取一個 API 金鑰。每個付費請求都會留下收據，顯示購買了什麼以及已付款。

Pay Per Use 和 Monetization Gateway 都是與客戶基於共同的基礎元件（身份、計量、定價、結算和分析）構建的押注。它們協同工作，因此釋出商可以通過一個儀表盤禁止訓練、允許搜尋、從 AI 回答中獲利，以及按文章向代理收費。定價和發現機制尚未完全解決，這就是為什麼這兩者都作為測試版推出，由真實的客戶和真實的交易來塑造。

讓每個請求更便宜

支付是解決收入下降問題的答案。成本上升是一個不同的問題，其中很大一部分純粹是浪費。大多數爬蟲仍然一遍又一遍地下載為人造的頁面，以提取幾段文字。通常情況下，機器人會抓取自上次嘗試以來沒有發生任何變化的網站。這會消耗網站的頻寬和爬蟲的算力，而且這一切發生在編寫任何回答之前。我們正與客戶和爬蟲合作開發能夠提供幫助的工具。今天，您可以在我們的儀表盤中檢視每個運營商使用的頻寬消耗。

今年 7 月，我們宣佈了一項與 OpenAI 的聯合研究專案，這是一項首創的試點，旨在探討來自 Cloudflare 全球網路的洞察如何幫助 AI 搜尋引擎更高效、更有效地發現和索引開放網路上的相關內容。我們計劃在未來幾週內分享我們的初步結果。

對於我們的客戶，我們正在推出工具和一鍵式體驗，使其網站針對這種新型流量進行最佳化。 Markdown for Agents 允許代理在不讀取為人眼設計的額外樣式的情況下閱讀頁面，而 WebMCP 允許網站直接暴露操作，而不是讓代理去猜該按哪個按鈕。

為什麼在 Cloudflare 上構建

超過 20% 的網路位於 Cloudflare 的網路背後，將近 80% 的領先 AI 公司也是如此。我們看到了這個市場的兩面。我們為可見性、身份、控制和結算構建軌道，並讓市場弄清楚事物的價值。

舊的交易已經不復存在，新的交易仍在書寫中。我們可以共同塑造接下來發生的事情。

在一個版本中，少數公司控制著代理如何找到事物、證明自己的身份以及付款，而其他所有人都要通過它們。在另一個版本中，這些部分是任何人都可以實現的開放標準，任何規模的網站都可以設定自己的條款並獲得報酬。我們更喜歡後者。

這就是為什麼這些軌道執行在 x402 和 Web Bot Auth 等開放標準上，因此任何人都可以基於它們構建。域名所有者可以選擇自己的身份提供商、自己的支付處理商、自己的代理合作伙伴。Cloudflare 只是一個選項，而不是整個技術棧。

幾十年來，網路的使用費用是由訪問者自己支付的。現在，代表他們訪問的軟體也可以支付它的一份費用。