Cloudflare 與 OpenAI 合作最佳化 AI 內容發現

若 AI 找不到你的網站，將網站最佳化以供 AI 使用幾乎沒有意義。有人提問的答案可能已經在你的網站上：你花一週時間撰寫的安裝指南，或是使用產品的第一手經驗，裡面的細節決定了他們是否會購買。隨著越來越多人求助於 AI，你希望這些系統能找到你的內容、準確呈現，並把感興趣的人引導到你這裡。你亦希望掌控他們如何存取你的網站。

Cloudflare 與 OpenAI 於 2026 年 7 月啟動了一項研究試點，考量到上述需求。我們想了解 Cloudflare 網路的訊號是否能協助 ChatGPT 使用者更有效地發現新內容。

今天，我們將分享初步結果。迄今為止，答案是顯著肯定：試點已將之前未知的頁面納入 OpenAI 的搜尋索引，為 ChatGPT 提供更多來源，協助使用者尋找相關且即時的資訊。在此過程中，我們也更瞭解哪些頁面值得被發現，以及 AI 系統如何使用網路。

發現更多網頁

網路充斥著具體細節。修理洗衣機的人需要其精確型號的說明書；申請護照的人需要最新的條件與費用；選擇本地餐廳的人需要其最新選單與營業時間。找到正確的頁面往往能決定答案是否正確，是否真正有幫助。即使很少其他網站連結到這些頁面，它們仍可能具備價值。

在以前的網路版本中，能被發現就是在搜尋結果頁面上排到頂端。此時，訪問你頁面的使用者才決定資訊的價值、是否預訂餐桌、是否申請護照。隨著人們越來越依賴 AI 來尋找資訊並完成任務，發現度以新的方式變得重要。AI 系統必須找到合適的來源，瞭解哪些內容有用，並將使用者與相關資訊連結——無論是透過答案、引用，或是直接造訪網站。

Cloudflare 的網路提供訊號，協助 OpenAI 的搜尋爬蟲發現更多有用的網頁，並呈現在 ChatGPT 使用者面前。OpenAI 接著獨立評估並排序這些頁面，依據其相關性與實用性。兩者共同構成一個回饋迴路，可提升發現度與使用者所尋得資訊的品質。

這項合作試點，採用約 1% 的 Cloudflare 總網路作為參與樣本，已使 OpenAI 能發現並索引數億新的網頁，協助使用者發現更有用的內容，並透過 ChatGPT 解答更多問題。透過鏈結回相關來源，ChatGPT 搜尋亦提供使用者探索原始內容、發現背後網站與出版者的方式。

透過 GPT‑6 與 Intelligent UI，OpenAI 也在使 ChatGPT 成為更佳的購物、學習與尋找答案的平臺，提供更視覺化、互動式的體驗，量身打造符合使用者需求。此工作補充了上述進展，協助 ChatGPT 從網路各處發現更多有用且最新的資訊。

從發現到實用答案

尋找 URL 只是起點。我們需要了解它是否導向使用者可存取的頁面，該頁面是否提供獨特內容，以及它可能協助使用者完成什麼。

我們已經瞭解到，例如自動化流量如何輕易讓不存在的頁面看起來有趣。機器人會重複請求不存在的檔案。某些網站會將幾乎任何位址重定向到首頁。其他位址則導向相同內容的複製。辨識這些模式能讓我們在爬蟲抓取頁面之前就切斷無謂工作，並以對網站擁有者有利的方式提升效率。

我們也在測試能識別並標記潛在有害頁面的訊號，為更安全、更可靠的發現提供額外資訊層。合法網站可能只有一個被攻擊者植入的假登入表單等被妥協頁面。只標記那一頁，而非整個網域，可以在不懲罰網站擁有者的情況下保護使用者。早期結果顯示這些訊號能協助辨識應排除於索引之外的頁面。

簡化發現

隨著越來越多人使用 AI 來尋找資訊，網站擁有者有機會觸及感興趣的受眾。對於選擇將內容提供給 AI 系統的網站，這些改進使發現更容易、更高效。

經常抓取每一頁會讓所有人都付出高昂成本。對網站擁有者而言，爬蟲重複下載未變更的頁面只會增加負載，卻不帶來任何好處。

上述訊號就是我們避免這種情況的方法。過濾能讓爬蟲遠離不存在或重定向到其他位置的頁面。變更訊號告訴它們何時某頁值得再次訪問，何時則不值得。

需要找到適當的平衡。發現新頁面最初會增加抓取量，因為這些頁面需要被評估和編入索引。目標是持續發現並保持最新，同時減少所需工作。對 Cloudflare 使用者而言，這意味著減少不必要的負載；對 OpenAI 而言，則意味著更多搜尋資源投入於對人們有幫助的資訊。

讓參與更具價值

下一階段將基於我們已學到的知識：改進頁面選擇、測試更快、更可靠的變更訊號，並衡量內容發現後的後續影響。

我們持續與 OpenAI 合作，瞭解更佳網站發現如何轉化為實際商業成果，並將持續分享我們的學習。

網域擁有者的選擇在整個過程中都很重要。針對頁面的訊號並不授予存取權。此研究使用網路相關元資料進行搜尋與發現，而非分享頁面內容作為模型訓練。

您可以使用 Cloudflare’s AI Crawl Control 瞭解並管理 AI 系統如何存取您的網站。