User-agent: * 在 robots.txt 中不適用於你命名的爬蟲
User-agent: * doesn't apply to crawlers you named in robots.txt
重點導讀
User-agent: * 在 robots.txt 中不適用於你命名的爬蟲，導致已被允許的爬蟲仍能抓取被禁止的路徑。
\n- 原因：爬蟲只讀取與其名稱匹配的群組，* 只作為未命名爬蟲的回退，已命名的群組不會繼承 Disallow。
AI 伴隨問答
針對這篇報導有疑問？可直接點選快捷問題或向 AI 追問背景脈絡與技術細節：
信源出處dev.to
User-agent: * doesn't apply to crawlers you named in robots.txt
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論，請前往原始網站。
來源： Dev.to Top Tech (dev.to)
開啟原文