我檢查了 31 個大型網站 robots.txt 中對 AI 爬蟲的規定，發現自己工具的錯誤
I checked what 31 big websites tell AI crawlers in robots.txt, and found a bug in my own tool
重點導讀
summary_zh: 我檢查了 31 個大型網站的 robots.txt，發現多數網站對 AI 搜尋/助手爬蟲設定阻擋，並在此過程中發現我自己的 PageSignal 工具在解析 robots.txt 時存在兩個錯誤。
AI 伴隨問答
針對這篇報導有疑問？可直接點選快捷問題或向 AI 追問背景脈絡與技術細節：
信源出處dev.to
I checked what 31 big websites tell AI crawlers in robots.txt, and found a bug in my own tool
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論，請前往原始網站。
來源： Dev.to Top Tech (dev.to)
開啟原文