跳到正文
熱點事件持續更新

User-agent: * doesn't apply to crawlers you named in robots.

1 篇報導1 個報導來源2 小時前更新

先了解這件事

重點綜述

User-agent: * 在 robots.txt 中不適用於你命名的爬蟲,導致已被允許的爬蟲仍能抓取被禁止的路徑。

\n- 原因:爬蟲只讀取與其名稱匹配的群組,* 只作為未命名爬蟲的回退,已命名的群組不會繼承 Disallow。

根據報導自動生成 · 1 小時前更新

報導時間線

沿著報導,瞭解事件的不同面向。

11月2日
  1. Dev.to Top Tech
    User-agent: * 在 robots.txt 中不適用於你命名的爬蟲

    User-agent: 在 robots.txt 中不適用於你命名的爬蟲,導致已被允許的爬蟲仍能抓取被禁止的路徑。\n- 原因:爬蟲只讀取與其名稱匹配的群組, 只作為未命名爬蟲的回退,已命名的群組不會繼承 Disallow。

本事件熱度趨勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。

讀者討論

針對此事件的各方觀點與即時反饋