跳到正文
熱點事件持續更新

Python 比較部署前後 Googlebot 爬取量

1 篇報導1 個報導來源12 小時前更新

先了解這件事

重點綜述

網站改版後,如果 Googlebot 突然少爬某些頁面,光看整個網站的統計圖很難找出原因。

  • 作者提供一支 Python 程式,讀取 Nginx 或 Apache 紀錄,只留下 Googlebot 的請求,再依網址第一層路徑,比較部署前後每天的爬取次數和回應狀態。文中的例子顯示,/docs/ 的爬取量下降,剩下的請求則多了重新導向和找不到頁面的錯誤。
  • 另一個區塊也出現伺服器錯誤。這能幫忙縮小檢查範圍,但要留意爬蟲次數本來就會變動,假冒 Googlebot 和 CDN 紀錄也可能影響結果。

根據報導自動生成 · 12 小時前更新

報導時間線

沿著報導,瞭解事件的不同面向。

11月22日
  1. Dev.to Top Tech
    用 Python 比對部署前後的紀錄,找出 Googlebot 少爬取的網站區塊

    網站改版後,如果 Googlebot 突然少爬某些頁面,光看整個網站的統計圖很難找出原因。作者提供一支 Python 程式,讀取 Nginx 或 Apache 紀錄,只留下 Googlebot 的請求,再依網址第一層路徑,比較部署前後每天的爬取次數和回應狀態。文中的例子顯示,/docs/ 的爬取量下降,剩下的請求則多了重新導向和找不到頁面的錯誤;另一個區塊也出現伺服器錯誤。這能幫忙縮小檢查範圍,但要留意爬蟲次數本來就會變動,假冒 Googlebot 和 CDN 紀錄也可能影響結果。

本事件熱度趨勢

當前熱度 7·可比範圍峰值 10(11月22日 17:00)·近 24 小時可比範圍變化 –

02.557.51011月22日17:0011月22日21:0011月23日00:0011月23日04:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點選圖表檢視每小時熱度;鍵盤可用左右方向鍵切換。

讀者討論

針對此事件的各方觀點與即時反饋