作者檢查 58 家新商店,發現 AI 爬蟲多半進得去
I measured 58 stores registered in October. Two block AI crawlers.
重點導讀
新開的網路商店想讓 AI 爬蟲找到商品,問題可能不在爬蟲能不能進網站。
- 作者檢查 58 家近期註冊網域的商店,只有 2 家擋住爬蟲。
- 更常見的缺漏是頁面沒有用文字清楚寫商品資訊,也沒有標示哪一段回答哪些問題。作者建議把商品是什麼、適合誰、價格多少寫在頁面上方,並用買家會問的問題當標題,再替已有的問答加上標記。若首頁不執行 JavaScript 時只剩 300 字以下,爬蟲看到的內容可能很有限。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
I measured 58 stores registered in October. Two block AI crawlers.
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文