如何用 robots.txt 擋住 AI 訓練爬蟲,同時保留 ChatGPT 搜尋引用
How to Block AI Training Bots in robots.txt (and Keep ChatGPT Search Citing You)
重點導讀
網站管理者可能想阻止 AI 公司拿文章訓練模型,卻又希望 AI 搜尋能找到並引用網站。
- 這篇教學把爬蟲分成訓練用、搜尋索引用,以及有人提問時才抓取單一頁面的三類,並示範如何在 robots.txt 擋住訓練爬蟲、保留搜尋爬蟲。Google-Extended 是 Google 用來判斷頁面能否用於 AI 訓練的標記。
- 擋住它不會讓網站退出 Google 搜尋。robots.txt 只是請求,部分抓取工具可能不遵守,llms.txt 也不能阻擋爬蟲,必要時還要透過主機或 CDN 封鎖。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
How to Block AI Training Bots in robots.txt (and Keep ChatGPT Search Citing You)
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文