快速定位 robots.txt 及其對抓取規則的洞察

在任何網站的根目錄下，直接輸入 example.com/robots.txt 即可取得 robots.txt，這份檔案揭示了搜尋引擎如何抓取與索引該站。 - 定位方式，直接在瀏覽器地址列輸入裸域名 + /robots.txt，避免使用子資料夾或搜尋引擎結果。