CiteProof 教你用 robots.txt 放行搜尋爬蟲、擋住訓練爬蟲
robots.txt for AI crawlers: let search bots in, keep training bots out
重點導讀
網站管理者可能想擋住收集資料來訓練模型的爬蟲,又不想讓網站消失在 AI 助理的回答和引用中。
- CiteProof 建議把爬蟲分成搜尋與回答用、訓練用兩組,在 robots.txt 裡逐一列出名稱,放行前者、封鎖後者。
- 若只封鎖訓練用爬蟲,依文章說法不會因此失去引用機會。文章也提醒,robots.txt 只是請求,CDN、防火牆或主機設定仍可能擋住爬蟲,因此要檢視相關設定和伺服器紀錄,並確認來訪 IP,因為爬蟲名稱可以偽造。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
robots.txt for AI crawlers: let search bots in, keep training bots out
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文