如何檢查 AI 爬蟲是否真的能讀取您的網站
How to check whether AI crawlers can actually read your site
重點導讀
本文說明如何快速驗證 AI 爬蟲（如 GPTBot、ClaudeBot 等）是否能存取您的網站，並提供兩種檢查方法。
- robots.txt 檢查：使用 curl 讀取各 AI 爬蟲的規則，確定是否允許存取。
AI 伴隨問答
針對這篇報導有疑問？可直接點選快捷問題或向 AI 追問背景脈絡與技術細節：
信源出處dev.to
How to check whether AI crawlers can actually read your site
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論，請前往原始網站。
來源： Dev.to Top Tech (dev.to)
開啟原文