Cloudflare 可能擋住 AI 搜尋爬蟲,作者教你快速檢查網站設定
Is Cloudflare Blocking ChatGPT From Your Site? Check in 30 Seconds
重點導讀
網站可能允許 AI 搜尋工具讀取頁面,卻不讓它們用內容訓練模型;也可能在防火牆擋住搜尋爬蟲,讓網站無法出現在 AI 回答裡。
- 作者教你先檢視 robots.txt,再用 curl 比較一般訪客和搜尋爬蟲收到的回應碼,檢查 Cloudflare 是否擋住它們。文中也提醒,假冒爬蟲身分測試不一定和真正的爬蟲結果相同。
- 若看到 403,可再到 Cloudflare 設定確認。搜尋和訓練爬蟲可以分開設定,網站管理者能依自己的選擇開放或封鎖。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Is Cloudflare Blocking ChatGPT From Your Site? Check in 30 Seconds
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文