ChatGPT 能讀取你的網站嗎?作者如何找出 robots.txt 未顯示的封鎖
Can ChatGPT Read Your Website? How I Found a Block My robots.txt Didn't Show
重點導讀
作者發現自家網站雖允許爬蟲,伺服器仍封鎖 ChatGPT 等 AI 爬蟲,並以 Cloudflare Worker 轉送請求後確認頁面可讀取。
- - 檢查方式:登出 ChatGPT,請它開啟並摘要指定頁面。
- 再用
curl搭配OAI-SearchBot/1.3比較 HTTP 狀態碼。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Can ChatGPT Read Your Website? How I Found a Block My robots.txt Didn't Show
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文