AI crawler robots.txt study

1. 06:59
   Dev.to Top Tech

   我檢查了 31 個大型網站 robots.txt 中對 AI 爬蟲的規定，發現自己工具的錯誤

   summary_zh: 我檢查了 31 個大型網站的 robots.txt，發現多數網站對 AI 搜尋/助手爬蟲設定阻擋，並在此過程中發現我自己的 PageSignal 工具在解析 robots.txt 時存在兩個錯誤。

當前熱度 9·可比範圍峰值 10（11月6日 08:00）·近 24 小時可比範圍變化 –

趨勢僅比較持續完整觀測到的相同主體，範圍可能小於當前熱度統計。移動指標或點選圖表檢視每小時熱度；鍵盤可用左右方向鍵切換。