用 Python 比對部署前後的紀錄,找出 Googlebot 少爬取的網站區塊
How to find which sections Googlebot stopped crawling after a deploy (compare two weeks of access logs in Python)
重點導讀
網站改版後,如果 Googlebot 突然少爬某些頁面,光看整個網站的統計圖很難找出原因。
- 作者提供一支 Python 程式,讀取 Nginx 或 Apache 紀錄,只留下 Googlebot 的請求,再依網址第一層路徑,比較部署前後每天的爬取次數和回應狀態。文中的例子顯示,/docs/ 的爬取量下降,剩下的請求則多了重新導向和找不到頁面的錯誤。
- 另一個區塊也出現伺服器錯誤。這能幫忙縮小檢查範圍,但要留意爬蟲次數本來就會變動,假冒 Googlebot 和 CDN 紀錄也可能影響結果。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
How to find which sections Googlebot stopped crawling after a deploy (compare two weeks of access logs in Python)
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文