跳到正文
Dev.to Top Tech(dev.to)· drake·· 6 天前品質評分68

scrapy-playwright 教學:用真實瀏覽器抓取需要執行 JavaScript 的網頁

scrapy-playwright

重點導讀

有些網頁要先執行 JavaScript 才會顯示內容,普通的 HTTP 請求可能抓不到。

  • scrapy-playwright 讓 Scrapy 交給 Playwright 驅動真實瀏覽器載入這些頁面,其他請求仍可用 Scrapy 原本的下載方式,拿到的網頁也能照常解析。需要自己操作頁面時,記得用完就關閉,否則瀏覽器頁面可能越堆越多,讓爬取卡住。這種做法比較耗時和記憶體,也不保證能通過網站的反爬蟲檢查。
  • 如果一般請求已經夠用,直接使用瀏覽器通常不划算。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

scrapy-playwright

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論