跳到正文
Dev.to Top Tech(dev.to)· FetchSmith·· 7 天前精選品質評分76

Shopify 商品目錄可先查總數,再平行抓取商品

We said you can't pre-compute Shopify's catalog page count. We were wrong — the number was in the other endpoint

重點導讀

逐頁抓 Shopify 商品時,原本得一頁頁查到空頁才能知道何時停止,既多一次請求,也無法預先平行處理。

  • FetchSmith 重新實測後發現,/meta.json 裡的 published_products_count 會提供商品總數,可用每頁最多 250 件的上限算出頁數,再同時抓取各頁。
  • 兩家商店的結果都和總數相符。作者也提醒,回應裡的 Link 標頭指向 UCP,不代表還有下一頁。
  • UCP 檔案則列出可免登入查詢的 MCP 工具。抓取失敗時也要看狀態碼和內容型別,因為停用商品目錄的商店可能回傳 HTML 錯誤頁,不能當成零件商品。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

作者重新實測 Shopify 商店的商品目錄 API,發現總數可先從 /meta.json 取得,讓分頁能預先計算並平行抓取。

信源出處dev.to

We said you can't pre-compute Shopify's catalog page count. We were wrong — the number was in the other endpoint

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論