跳到正文
Dev.to Top Tech(dev.to)· Yunus Ertürk·· 14 天前品質評分68

ChatGPT 能讀取你的網站嗎?作者如何找出 robots.txt 未顯示的封鎖

Can ChatGPT Read Your Website? How I Found a Block My robots.txt Didn't Show

重點導讀

作者發現自家網站雖允許爬蟲,伺服器仍封鎖 ChatGPT 等 AI 爬蟲,並以 Cloudflare Worker 轉送請求後確認頁面可讀取。

  • - 檢查方式:登出 ChatGPT,請它開啟並摘要指定頁面。
  • 再用 curl 搭配 OAI-SearchBot/1.3 比較 HTTP 狀態碼。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Can ChatGPT Read Your Website? How I Found a Block My robots.txt Didn't Show

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論