robots.txt 重定向處理指南

導語：本文說明當 robots.txt 透過重定向到另一主機時，如何完整追蹤 HTTP 路徑並評估回傳規則，確保抓取決策基於原始主機的許可權。 - 追蹤流程：從原始網站的 robots.txt 開始，記錄每一次 3xx 轉址、狀態碼與 Location 標頭，直到達到最終政策檔案。