驗證機器人持續責任追蹤

駕照告訴你一個人是誰以及他已通過駕駛考試，但並不說明他將來是否會負責任地駕駛。對機器人亦同理：確認操作者可以建立責任感，但信任取決於其後續行為。即使是已知的機器人，也可能忽略網站偏好、過載來源或繞過控制。它並不一定是惡意的——往往只是設定錯誤或程式缺陷。

如我們在先前的部落格文章中所述，針對機器人行為，我們努力驗證兩個問題：『你確實是你所說的人嗎？』以及『我們能信任你嗎？』要成為 Cloudflare Verified Bot，基本上你需要符合三項準則：

準確且安全地識別自己
只執行你所說會做的事
不要從事濫用行為

機器人使用 Web Bot Auth 來簽署建立其身份的請求，然後由 BotBase 以開放格式編目。身份確認後，我們的重點轉向 Verified Bot 的第二條核心規則：不可作害。

今天我們推出一套系統，用於評估並報告 Verified bot 行為何時偏離此規則，確保對『我們能信任你嗎？』的回答仍為『是』。

此時，風險與信任的區別變得重要：

風險描述某個請求或瞬間行動可能造成傷害的可能性，且它可能隨時間變化。
信任是透過持續且一致的行為隨時間累積而成。

例如，我們將 Perplexity 的機器人下架從我們的 Verified bot 列表中，發生於 2025 年，當它試圖存取已選擇不允許抓取的網站資源，並在請求被封鎖後試圖繞過控制時。

不要從事濫用行為

這個簡單的要求聽起來像是免費禮物，但其中包含許多細微差別。當爬蟲不尊重網站偏好時，會削弱信任。當網站請求爬蟲不要抓取或減速，而爬蟲忽略這些請求時，也會削弱信任。

我們開發了一套系統，用於衡量爬蟲尊重網站偏好的頻率。這些觀察將轉化為可解釋的信任區間：一個範圍顯示機器人多麼一致地尊重網站偏好，以及哪些觀測行為促成了該評估，而非對機器人或其操作者的永久判斷。最初我們評估的訊號如下：

機器人是否遵守指示？
它是否回應了直接反饋？

我們將這些視為『常識』規則，對提供機器人所需資訊的操作者表示禮貌。未來，我們將在 Radar 上公開這些分數，並擴充我們的測量方式。此分數為負責任的機器人操作者提供一種方式，證明信任隨時間得到維護。驗證，但持續重新驗證。

身處羅馬，應效法羅馬人

robots.txt 檔案是傳達網站擁有者偏好的主要方式。我們的系統會考慮機器人觀察到的流量是否隨時間與已公佈的偏好相符。

Robots.txt 告訴所有（或特定）機器人只抓取網站的特定部分。孤立違規與其他一次性事件可能不具顯著性。我們尋找的是忽視網站偏好設定的重複行為模式。期望只是負責任的機器人參考並遵守網站公佈的偏好，符合 RFC 9309。

僅為澄清，robots.txt 設定了機器人和代理不應該執行的最低規則。但並不意味未說明的行為即允許。例如，robots.txt 並不需要說明當網站能透過其他訊號傳達不歡迎持續存取時，機器人必須停止。

你不願意自己承受的，別強加於他人。

機器人即使完全停留在允許的路徑，也可能對其訪問的網站造成相當大的負載。網站回應 HTTP 429（"Too Many Requests"）是最明確的回擊方式之一。429 是指示訪問者降低請求速率的指令，有時還會提供再次嘗試前應等待的時間。

我們的系統會檢視機器人在收到該訊號後是否調整流量。它是減速、暫停，還是繼續以相同速率傳送請求？接著，我們將此行為納入機器人隨時間累積的信任帶：持續減速或暫停會提升信任，而反覆忽略訊號則會降低信任。

隨時間建立信任

觀察這些訊號只是讓經過驗證的自動化隨時間負責任的第一步。將機器人身份與持續行為證據配對，我們能讓網站擁有者更有信心，確信他們允許的機器人尊重其偏好；也為機器人操作者提供證明其值得信任的方式，並為網站擁有者提供關於抵達其網站的自動化流量的背景資訊。

此係統與Bot Preference Sync及Bot Management共同構成自動化流量的問責迴圈。Bot Preference Sync 幫助網站擁有者公佈其偏好，觀察機器人如何與這些偏好互動，可顯示經過驗證的機器人是否持續遵守。Bot Management 讓網站擁有者決定如何處理該流量。兩者共同確保信任是透過透明、負責任的行為獲得，而非僅憑身份假定。

我們已在內部使用此係統評估經過驗證的機器人對網站偏好的遵守程度。由於信任是隨時間建立，我們評估的是持續的模式，而非孤立事件。此初期階段用於建立歷史並精煉這些觀察成為實用指引。基於此基礎，我們計畫將此係統提供給全部 Cloudflare 客戶，讓他們能選擇用於決定如何處理經過驗證機器人流量的信任門檻。我們的目標很簡單：保持網站偏好有意義，並確保信任是透過持續行為獲得。

想了解如何處理機器人嗎？Cloudflare 客戶已經可以使用 Bot Management 來管理自動化流量，並使用 Bot Preference Sync 以將已釋出的偏好與已設定的政策對齊。想探索不斷增長的已驗證機器人族群，請檢視 Radar 上的趨勢。

如果您有興趣協助打造機器人身份與責任的未來，請探索 open roles at Cloudflare。