跳到正文
Dev.to Top Tech(dev.to)· Santiago Griman·· 2 天前品質評分53

Cloudflare 可能擋住 AI 搜尋爬蟲,作者教你快速檢查網站設定

Is Cloudflare Blocking ChatGPT From Your Site? Check in 30 Seconds

重點導讀

網站可能允許 AI 搜尋工具讀取頁面,卻不讓它們用內容訓練模型;也可能在防火牆擋住搜尋爬蟲,讓網站無法出現在 AI 回答裡。

  • 作者教你先檢視 robots.txt,再用 curl 比較一般訪客和搜尋爬蟲收到的回應碼,檢查 Cloudflare 是否擋住它們。文中也提醒,假冒爬蟲身分測試不一定和真正的爬蟲結果相同。
  • 若看到 403,可再到 Cloudflare 設定確認。搜尋和訓練爬蟲可以分開設定,網站管理者能依自己的選擇開放或封鎖。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Is Cloudflare Blocking ChatGPT From Your Site? Check in 30 Seconds

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論