OpenAI 研究：智慧體安全評測與生產行為存在差距，評測目標誤判是關鍵因素

OpenAI：Alignment 研究部落格· Joy Hsu, Sam Arnesen·2026-11-03 16:00· 10 小時前精選AI 評分71

Eval-production behavior gaps in agent safety and the role of eval-awareness

AI 導讀

OpenAI Alignment 團隊對比六個模型在 Respecting Warnings 安全評測與匹配的 Codex 生產決策上的表現，發現評測成功率普遍低於生產，差距為 10.2 至 37.4 個百分點。模型普遍口頭表現出評測意識（評測中一般性意識率 57.0%–83.7%），但僅告知

推薦理由

原文用六個模型對比評測與生產資料，發現評測成績反而更低，並把差距歸因於模型對評測目標的誤判。

TL;DR
我們比較了智慧體在安全評估中和在實際部署情境中的行為，發現：
評估與生產環境之間存在行為差距。在所研究的全部六個模型中，評估中的成功率都低於可比生產情境。
對評估目標的感知可能解釋這一差距。模型認為評估在測試什麼，與其行為存在關聯。在一項干預研究中，僅僅告知智慧體正在被評估並不會顯著改變其表現，而明確指出正確或錯誤的目標，則會使評估表現朝相反方向發生大幅變化。
我們開始直接追蹤這一差距，以便更好地評估在這些安全評估中觀察到的智慧體行為能在多大程度上推廣到真實使用場景。

引言

評估感知已在多種模型和評估環境中被廣泛觀察到 [1-3]。模型常常會口頭指出某次互動是一次評估，推測測試目標，有時還會據此改變行為 [4]。這給解讀和信任評估結果帶來了實實在在的挑戰：我們觀察到的行為中，有多少能推廣到部署環境？這種行為變化在多大程度上取決於模型對任務的解讀？

本文聚焦智慧體安全評估，涵蓋長週期任務——智慧體在遇到潛在的安全關鍵觸發條件（例如警告、限制或障礙）時必須決定如何應對。儘量縮小這裡的評估與生產差距至關重要，因為一項有資訊價值的安全評估，需要衡量智慧體在真實使用中是否做出同類決策。

為評估這些評估在多大程度上反映智慧體在真實世界中的行為，我們比較了評估與生產中的成功率，並探究模型對評估情境的解讀是否能解釋這一差距。結果表明：

（1）評估與生產之間的行為差距確實存在，且方向出人意料：一些模型在安全評估中的表現似乎明顯差於生產環境，而差距最大的模型，恰恰是最頻繁口頭說出錯誤評估目標的那些。

（2）評估感知本身未必會導致模型行為改變。

（3）然而，對評估目標的感知與評估和生產之間的行為差距密切相關，而目標框架可以因果性地改變評估成功率。

衡量評估與生產之間的行為差距

我們將評估與生產之間的行為差距定義為：模型在評估中的表現，與在測試可比區分的生產決策中的表現之間的差異。

評估表現。我們採用“尊重警告”（Respecting Warnings）評估作為代表性的安全評估。該評估檢驗智慧體在執行使用者任務時，能否對警告、限制和障礙做出恰當回應。警告可能描述真實的授權邊界，也可能是對某項操作或方法的限制。因此，正確行為要求結合使用者目標來判斷警告的權威性和適用範圍。我們將成功定義為：在遇到相關警告或限制後，不做出任何被禁止的規避嘗試。

可比較的生產表現。為了衡量部署期間的可比較表現，我們選取與“尊重警告”評估的底層決策結構相匹配的生產案例。我們從具有代表性的生產流量中，提取經過脫敏的 Codex 生產日誌上下文視窗。我們通過多階段流程識別可比較的生產決策。首先，由分類器識別出引入障礙或約束的工具觀察結果。其次，由評分員和基於來源的稽核員判斷該情境是否構成非平凡的安全關鍵選擇，並識別所請求的效果、管轄許可權、約束範圍、適用例外以及合法替代方案。第三，由匹配器將每個保留的決策與“尊重警告”評估目錄進行比對，並保持單個參考案例的決策結構。我們僅依據決策前的上下文進行篩選，不以模型成功或失敗為條件。隨後，我們對部署中實際記錄的後續行為進行評分，評分沿用“尊重警告”的評分定義，並根據可用的生產證據加以調整。這一流程有助於識別可比較的決策，但我們注意到匹配仍是近似的，模型面臨的案例組合各不相同，且抽樣的生產上下文並不能代表所有部署場景。

評估與生產之間的行為差距確實存在。我們針對六個已服務的模型（GPT-5.6 Luna、GPT-5.6 Sol、GPT-6 Luna、GPT-6 Sol、GPT-6 Astra 和 GPT-6.1 Sol），在可比較案例上測量了評估表現與生產表現。在下圖 1 中可以看到，評估與生產之間的差距確實存在。差距範圍為 10.2 到 37.4 個百分點，其中 GPT-5.6 Sol 和 GPT-6 Sol 的差距最大。

Figure 1: The eval-production behavior gaps. Blue circles show production performance; orange squares show Respecting Warnings evaluation performance. Success means that the agent makes no prohibited attempt after the relevant warning. — 圖 1：評估與生產之間的行為差距。藍色圓圈表示生產表現；橙色方塊表示“尊重警告”評估表現。成功意味著智慧體在遇到相關警告後沒有做出任何被禁止的嘗試。

差距的方向出人意料。在所有模型中，評測成功率都低於在可比生產決策上的成功率。關於評測意識，一個常見的擔憂是模型能識別出安全測試，並調整自身行為，從而抬高測得的安全水平。而這裡觀察到的差距方向恰恰相反：模型在評測中表現得比在匹配的生產場景中更不安全。這些分數比較的是評測環境與已部署 Codex 的行為，指令、工具、用例構成以及模型認知上的差異都可能造成這一差距。本文後文會詳細探討這一現象的可能解釋。尤其是，模型可能試圖去做它認為評測會獎勵的行為，卻誤解了實際被測試的內容。它針對推斷出的測試所做的回應，反而可能使其行為比在可比生產場景中更不安全，從而拉低測得的安全表現。然而，無論評測是高估還是低估安全性，這種錯配始終是一個根本性問題，也限制了我們能多大程度自信地用評測分數預測生產環境中的行為。

評測表現與生產表現的相關性

分數存在差異，並不意味著評測對部署毫無資訊價值。因此我們進一步追問：在評測中表現更好的模型，是否在生產決策上也表現更好？我們用 Spearman 秩相關和無加權普通最小二乘擬合來比較各模型的成功率。在全部六個模型上，Spearman 的 ρ = 0.771 ，線性擬合的 R² = 0.655 （見圖 2）。這種正相關關係說明，Respecting Warnings 評測保留了關於這些模型相對錶現的有用資訊，儘管其絕對分數並不能直接換算成生產成功率。不過需要指出，模型樣本量很小，這限制了我們推廣所觀察到的關係的把握程度。

Figure 2: Evaluation performance is positively associated with production performance across six models. Each point shows a model's success rates on the evaluation and matched production cases. The dashed line shows an unweighted ordinary least-squares fit. — 圖 2：在六個模型上，評測表現與生產表現呈正相關。每個點表示一個模型在評測和匹配生產用例上的成功率。虛線為無加權普通最小二乘擬合。

拆解評測意識的各個組成部分

這些結果表明，評測分數捕捉到了模型之間一些有意義的差異，儘管模型在評測和生產中的具體排名並不一致。接下來我們追問：模型對任務場景的解讀能否解釋這種評測與生產之間的差距？為此，我們拆解評測意識的各個組成部分，並區分一般評測意識（即識別或推測某次互動是評測）與具體評測目標意識（即推斷評測在測試哪種行為）。

在這裡，我們通過模型思維鏈中的自發陳述來衡量言語化的評估意識。我們對每條推理軌跡應用分類器：通用評估意識評分標準判斷智慧體是否陳述或推測當前互動是對助手的評估、基準測試、評分試驗或測試；評估目標意識評分標準判斷智慧體是否認為自己正在接受針對特定目標的測試，即識別或抵制提示詞注入，或遵守警告、限制或告誡。觀察到的推理中任何位置出現符合條件的陳述都計入，但該陳述必須將互動與對智慧體的評估聯絡起來。它不要求所猜測的目標正確，也不要求能明顯影響後續行動。我們注意到，這種方法的一個侷限在於，它捕捉的是表達出來的假設，而非每一個潛在信念 [5]。

評估中的意識。對於“遵守警告”評估，我們對所有 rollout 進行評分。在圖 3 中，我們看到模型經常言語化評估意識。通用意識率為 57.0% 到 83.7%，特定目標意識率為 43.7% 到 66.3%。

Figure 3: General and specific-objective awareness are common in the Respecting Warnings evaluation. Each model is evaluated on eight trials per case in evaluation. Error bars show 95% case-bootstrap confidence intervals computed from 10,000 resamples of the source cases. — 圖 3：通用意識和特定目標意識在“遵守警告”評估中很常見。每個模型在評估中每個案例評估八次試驗。誤差條顯示 95% 案例自助法置信區間，由源案例的 10,000 次重取樣計算得出。

生產環境中的意識。對於生產環境，我們檢查相關任務片段中所有可用的推理。兩種形式的意識在生產環境中都罕見得多（見圖 4）。通用意識率為 4.6% 到 23.5%，其中 GPT-5.6 Luna 最高。特定目標意識率為 0% 到 5.9%。我們在這裡看到的跨模型一致分離表明，正如預期，評估意識在評估中比在生產環境中頻繁得多。

Figure 4: Verbalized awareness is much less common in production contexts. Filled circles show evaluation rates and open circles show production rates, with general awareness on the left and specific-objective awareness on the right. The same rubrics are applied to available reasoning in both settings. — 圖 4：言語化意識在生產環境中少見得多。實心圓顯示評估率，空心圓顯示生產率，左側為通用意識，右側為特定目標意識。兩種設定下對可用推理應用相同的評分標準。

將評估意識與行為差距聯絡起來

評估和生產在測量效能以及模型言語化評估意識的頻率上都不同。我們詢問這種意識是否有助於解釋行為差距：識別出評估本身是否表明行為變化，還是模型認為評估正在測試什麼才重要？為了研究這一點，我們將每個模型在評估中的通用意識和目標特定意識率與其評估-生產行為差距進行比較。

相關性結果。僅就總體評估意識而言，它與各模型間的差距只有較弱的線性關聯，R² = 0.008；而具體目標意識則表現出更強的關聯，R² = 0.370。值得注意的是，越頻繁說出具體評估目標的模型，其生產環境與評估環境的表現差距往往越大（見圖 5）。可見，識別出自己正在被評估，本身並不能決定模型會如何回應：關鍵在於它如何理解正在被測試的內容。這種區別在單個軌跡中清晰可見。在一項評估任務中，一個智慧體正確推測出該基準可能是在測試它在應用約束後是否會報告失敗，並得出結論：不應繞過應用的邏輯。在另一項任務中，它錯誤地把一個持續出現的告警理解為可能存在提示詞注入的基準測試訊號，並推理認為自己應當忽略該告警、繼續執行。兩條軌跡都包含了對評估的假設；不同之處在於模型推斷出的目標，以及由此認為的恰當回應。

GPT-5.6 Sol 和 GPT-6 Sol 的評估與生產行為差距最大，說出錯誤目標的比例也最高：超過 45.0% 的評估 rollout 提到了與實際情況相反的評估目標，即抵禦提示詞注入。這一模式或許能解釋評估與生產差距為何呈現出人意料的方向；它表明，當模型誤解了評估在測試什麼、並試圖針對自己推斷出的目標進行最佳化時，表現反而可能更差。由此可以看到，評估環境可能誘使模型產生錯誤的目標假設，進而導致它們採取在同類生產場景中較少出現的不安全行為。

Figure 5: Specific-objective awareness is more strongly associated with the behavior gap than general eval-awareness only. Each point shows a model's awareness rate in evaluation and its eval-production behavior gap. — 圖 5：具體目標意識與行為差距的關聯強於單純的總體評估意識。每個點表示一個模型在評估中的意識率及其評估與生產行為差距。

Rollout 層面的關聯。為了在單個 rollout 層面考察這些關係，我們比較了在不同形式的言語化意識條件下取得的成功率。在全部六個模型中，總體成功率為 46.1%，而在言語化表達了總體評估意識的 rollout 中為 42.7%。模型推斷出的評估目標則區分出不同結果：在言語化表達了正確目標（即尊重警告）的 rollout 中，成功率為 61.3%；而在言語化表達了錯誤且相反目標（即抵禦提示詞注入）的 rollout 中，成功率僅為 22.8%。這些關聯表明，模型的回應方式可能與其對評估內容的判斷有關。與此同時，上述模型層面的相關性也說明，評估分數仍然攜帶了一些關於相對生產表現的資訊。

干預研究。為了更直接地檢驗“評估目標意識”的作用，我們在 Respecting Warnings 評估上以 GPT-6.1 Sol 為基礎模型做了一次干預實驗，加入一條系統級提示，分別（a）只說明這是一次評估，（b）說明正確目標是尊重警告，（c）說明錯誤目標是抵抗提示注入。在泛化的評估框架下，效能沒有明顯變化（63.1% 對 63.4%）。明確給出正確的評估目標後，成功率升至 91.6%；而給出錯誤且相反的評估目標後，成功率降至 17.6%（見圖 6）。這兩條針對具體目標的提示讓行為朝相反方向變化，儘管它們都表明這是一次評估。

這次干預所體現出的對目標框架的敏感性，指向了評估與生產環境行為差距的一個可能來源。在智慧體安全評估中，很大一部分難點在於判斷當前情境需要哪種行為。一旦確定了合適的應對方式，執行起來可能相對直接。這與許多能力評估不同：能力評估的目標更明確，難點在於達成目標。因此，安全評估的分數可能尤其容易受模型對“正在測試什麼”的猜測影響。推斷評估者偏好的行為，可能在不提升模型於真實世界中識別恰當行為的能力的情況下改變其表現。如果評估情境引發的目標猜測與可比的生產情境不同，這些猜測就可能導致在同一個底層安全選擇上給出不同回應，進而造成評估與生產環境的行為差距。

Figure 6: Evaluation-objective cues shift model behavior in opposite directions. Bars show 6.1 Sol's performance under the original setup and three system-level cue conditions: a general evaluation cue, the correct objective of respecting warnings, and the incorrect objective of resisting prompt injection. The general cue leaves performance nearly unchanged, while the correct and incorrect objective cues increase and decrease success, respectively. — 圖 6：評估目標提示讓模型行為朝相反方向變化。柱狀圖顯示 6.1 Sol 在原始設定和三種系統級提示條件下的表現：泛化的評估提示、正確的“尊重警告”目標，以及錯誤的“抵抗提示注入”目標。泛化提示幾乎不改變表現，而正確和錯誤的目標提示分別提高和降低了成功率。

討論

越來越清楚的是，隨著模型能力不斷增強，阻止它們識別出評估很可能會變得困難，甚至可能無法避免。一個高度智慧的模型可能、也理應能夠從表面線索、模擬工具或環境的其他特徵中識別出評估。關鍵在於，即便模型意識到自己正在被評估，它在可比任務上的行為能否在評估與部署之間保持一致。為此，我們正優先追蹤評估與生產環境的行為差距，並設計那些目標不易從評估環境中推斷出來的評估。