作者實測 114 個網站的 robots.txt:7 種爬蟲中 2 種未被封鎖,Baiduspider 收到 520
Our robots.txt bans 31 crawlers. I tested 7: two got through, and Baidu got a 520.
重點導讀
作者稽核 114 個網站的 robots.txt,並實測爬蟲請求,發現檔案中的封鎖宣告與實際回應並不一致。
- \n\n- 規則與回應:每份檔案都列出相同的 31 種封鎖物件。
- 作者測試其中 7 種,5 種收到 403,PetalBot 與 GoogleOther 仍取得完整頁面。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Our robots.txt bans 31 crawlers. I tested 7: two got through, and Baidu got a 520.
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文