跳到正文
Dev.to Top Tech(dev.to)· tong zhang·· 13 天前品質評分63

作者實測 114 個網站的 robots.txt:7 種爬蟲中 2 種未被封鎖,Baiduspider 收到 520

Our robots.txt bans 31 crawlers. I tested 7: two got through, and Baidu got a 520.

重點導讀

作者稽核 114 個網站的 robots.txt,並實測爬蟲請求,發現檔案中的封鎖宣告與實際回應並不一致。

  • \n\n- 規則與回應:每份檔案都列出相同的 31 種封鎖物件。
  • 作者測試其中 7 種,5 種收到 403,PetalBot 與 GoogleOther 仍取得完整頁面。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Our robots.txt bans 31 crawlers. I tested 7: two got through, and Baidu got a 520.

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論