網站如何設定 robots.txt,決定哪些 AI 爬蟲能讀取內容
robots.txt for AI Crawlers: Which Bots to Allow and Which to Block
重點導讀
想讓網站出現在 AI 搜尋結果裡,又不想讓內容拿去訓練模型,不能只封鎖一種爬蟲。
- 作者整理 OpenAI、Anthropic 和 Perplexity 各自用於訓練、搜尋和使用者即時查詢的爬蟲,並示範如何用 robots.txt 分別設定。封鎖 GPTBot 不會讓網站從 ChatGPT 搜尋消失,但封鎖 OAI-SearchBot 可能讓網站不出現在搜尋答案中。使用者要求 AI 助理讀取網頁時,有些抓取工具可能不理會 robots.txt。
- 作者提醒可搭配流量限制或 WAF 規則,並逐一檢查各網域的設定。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
robots.txt for AI Crawlers: Which Bots to Allow and Which to Block
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文