MiniSERP 如何避免把搜尋結果解析失敗,誤回成「查無結果」
My search scraper returned zero results, and HTTP 200 said everything was fine
重點導讀
作者做了 MiniSERP,把 Google 搜尋結果整理成 JSON。原本解析器只認一種網頁格式,遇到另一種格式時,明明讀不到結果,API 卻回傳 HTTP 200 和空清單,看起來就像真的查無結果。後來解析器改成依序嘗試不同的頁面格式;都找不到時,再看網頁結構來抓結果,也會排除「大家也在問」之類的區塊。最重要的改動是把「搜尋真的沒有結果」和「解析器看不懂網頁」分開:前者回傳空清單,後者回傳 502,讓問題能被發現和修好。這提醒我們,HTTP 200 不一定代表資料抓取成功;測試多個真實網頁,也能提早看出解析器是否只適用於單一格式。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
My search scraper returned zero results, and HTTP 200 said everything was fine
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文