跳到正文
Dev.to Top Tech(dev.to)· GeekSpark·· 4 天前品質評分58

如何用 robots.txt 擋住 AI 訓練爬蟲,同時保留 ChatGPT 搜尋引用

How to Block AI Training Bots in robots.txt (and Keep ChatGPT Search Citing You)

重點導讀

網站管理者可能想阻止 AI 公司拿文章訓練模型,卻又希望 AI 搜尋能找到並引用網站。

  • 這篇教學把爬蟲分成訓練用、搜尋索引用,以及有人提問時才抓取單一頁面的三類,並示範如何在 robots.txt 擋住訓練爬蟲、保留搜尋爬蟲。Google-Extended 是 Google 用來判斷頁面能否用於 AI 訓練的標記。
  • 擋住它不會讓網站退出 Google 搜尋。robots.txt 只是請求,部分抓取工具可能不遵守,llms.txt 也不能阻擋爬蟲,必要時還要透過主機或 CDN 封鎖。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

How to Block AI Training Bots in robots.txt (and Keep ChatGPT Search Citing You)

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論