scrapy-playwright 教學:用真實瀏覽器抓取需要執行 JavaScript 的網頁
scrapy-playwright
重點導讀
有些網頁要先執行 JavaScript 才會顯示內容,普通的 HTTP 請求可能抓不到。
- scrapy-playwright 讓 Scrapy 交給 Playwright 驅動真實瀏覽器載入這些頁面,其他請求仍可用 Scrapy 原本的下載方式,拿到的網頁也能照常解析。需要自己操作頁面時,記得用完就關閉,否則瀏覽器頁面可能越堆越多,讓爬取卡住。這種做法比較耗時和記憶體,也不保證能通過網站的反爬蟲檢查。
- 如果一般請求已經夠用,直接使用瀏覽器通常不划算。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
scrapy-playwright
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文