跳到正文
Hacker News (official RSS)(anthropic.com)·· 3 小時前精選AI 評分75

Anthropic 以員工式存取授權 METR 等獨立評估者,推動 AI 風險透明化

An update on independent evaluators

AI 導讀

Anthropic 於今日宣佈,已授予非營利組織 METR 員工式存取權,並將其風險評估公開。

  • 獨立評估者合作:已與 METR、SecureBio、Accenture 及 Hugging Face 等合作,並簽署 White House Accord 以確保外部審核。
推薦理由

Anthropic 以員工式存取方式授權 METR 及其他獨立評估者,推動 AI 風險透明化並符合 White House Accord 之規範。

正文 · AI 翻譯

譯文尚未完整,完整內容請切換至原文。

Last month, we committed to stronger independent, third-party assessment of our models and safety practices. We also signed the White House Accord on Super Intelligence, in which companies pledged to partner with independent external auditors or evaluators. Today, we’re announcing that we’ve started to give employee-like access to a team from METR, a nonprofit that evaluates frontier AI models.

METR 將公佈其風險評估結果。 在過去一年,我們已與 METR 合作完成 多份風險報告審查。 我們亦與 SecureBio 和 Accenture 作為評估者合作,並正在與多家其他組織進行初步討論,包括 Hugging Face。

在此,我們說明與評估者合作的方式。

為何我們與獨立評估者合作

隨著模型變得更強大,它們需要更嚴格的安全防護與更具挑戰性的風險評估。我們希望對外公開負責我們所做的決策。然而,我們無法公開分享所有與安全工作相關的資訊,因為其中一些可能對惡意行為者有用,或屬於商業敏感資訊,例如運算資源或訓練資料。相反,我們讓第三方評估者深入存取我們的資訊,並讓他們分享有證據且有理據的結論,說明在構建模型時所涉及的風險。我們的目標是縮小評估者對前沿 AI 公司系統的理解與公司自身理解之間的差距。

為評估前沿模型,評估者需要以下條件:

  • 專業知識 以評估前沿模型的能力,包括瞭解評估可能出錯的方式,例如 對齊偽裝。
  • 獨立性:他們不應持有被評估公司的股權,亦不應在財務或運營上依賴該公司。
  • 足夠的 存取權 以進行有意義的風險評估。除了存取最新模型外,評估者還需要了解這些模型的訓練方式、我們的安全防護如何運作,以及其他相關資訊。
  • 釋出自由 對模型或流程的觀察與評估 。

雖然類比並非完全相符,但銀行監管遵循類似邏輯。銀行對自身風險狀況的瞭解遠超外部人士,因而監管機構會指派常駐審查員進入最大銀行內部工作。若銀行的風險行為可能威脅公眾,第三方會提前發現。

對於 AI 產業而言,這是邁向 強健安全監督 的一步。 我們正迅速與多位評估者合作,並積極學習各種合作模式。 我們承諾在程序中持續分享更新。

我們所說的「類似員工的存取權」是指

我們已將六位 METR 員工納入,並提供公司硬體、辦公空間,以及與我們自身風險評估團隊相當的內部工具與系統存取權。 除了少量明確定義的類別(例如客戶資料、律師‑客戶特權資訊或我們模型架構資訊),Anthropic 員工被鼓勵與他們分享資訊,方式與與同事處理對齊風險時相同。1

METR 將發布其對我們風險水平、事件或實踐的分析。Anthropic 無法否決發布,但我們可以要求他們在資訊屬於上述狹窄、預先定義的類別時進行刪除。METR 可自由公開說明我們的刪除情形,並表明其認為刪除是合理的,只要不透露被刪除的資訊。

我們與 METR 的合作僅限於一支在可執行協議下運作的小團隊。其他 METR 員工與該團隊的工作相互隔離,包括與我們合作其他專案的研究人員。嵌入式評估讓少數符合 Anthropic 安全標準的人員能近距離觀察我們的運作方式。這並非讓其他組織取得我們或我們客戶、合作夥伴的資訊的途徑。

我們其他的評估者合作夥伴

我們正在進行多項其他合作夥伴關係。由於這些合作仍處於早期階段,我們向評估者提供更有限的資訊,並限制其發布許可權。我們在這些早期接觸中的目標是確保合作夥伴保護機密資訊,並具備評估我們模型所需的資源與專業知識。隨著合作進展並建立信任,我們希望能完全嵌入更多獨立評估者。

我們正在為評估者開發三個存取層級。隨著時間推移,我們希望在第三層級擁有多位評估者,每個團隊都能發布對我們風險姿勢與關鍵決策的分析。

在第一層級,評估者進行範圍有限的風險調查。我們決定為第一層級評估者提供何種存取許可權,並且評估者可在取得我們批准後發布其發現。

在第二層級,評估者可在未經我們批准的情況下發布,且擁有更多資訊存取。雖然我們仍可要求刪除特定類別資訊,但評估者可發布對我們刪除是否合理的看法。

第三層級是我們與 METR 所描述的安排,具備類似員工的存取與發布許可權,與第二層級相近。

SecureBio 目前處於第一層級。它正在審查我們八月風險報告中的化學與生物武器章節,完成並發布先前風險報告的試點審查之後。完成此審查後,我們將考慮轉向擁有更高存取與發布許可權的專案。

與 Accenture 和 Faculty,我們正致力於一項雄心勃勃的合作夥伴關係,包括評估和紅隊測試模型、執行對齊評估、測試模型安全防護以及在我們的組織中建立能力。

我們自願嵌入評估者,並相信每一家前沿 AI 公司都應該採取相同做法。

相關內容

為 2026 年美國中期選舉做準備

今年早些時候,我們分享了關於選舉安全措施的更新。此處,我們說明在今年美國中期選舉前,我們如何繼續加強這些安全措施。

閱讀更多

Anthropic 在新加坡開設辦公室並簽署與新加坡政府的備忘錄

Anthropic 已在新加坡開設辦公室,並與該國政府簽署備忘錄,以推動安全、負責任的 AI 採用。

閱讀更多

2026 使用政策更新

我們正在發布新版使用政策。在這篇文章中,我們總結了我們所做的更改。

閱讀更多

來源: Hacker News (official RSS) (anthropic.com)
開啟原文