跳到正文
aihot(aihot.news)· noreply@aihot.news (OpenAI:官網動態)·· 6 天前精選品質評分76

OpenAI 推出 CSAM 影像分類器,並在 ChatGPT 加入兒少安全警告

OpenAI 釋出免費 CSAM 檢測影像分類器並升級 ChatGPT 兒童安全乾預

重點導讀

兒少安全團隊要找出網路上的性虐待材料,常得花時間檢查大量影像。

  • OpenAI 推出影像分類器,可標記疑似 CSAM,也會提示內容是否可能由 AI 生成。
  • 經審核的組織可透過 API 免費申請使用。OpenAI 評估指出,工具標記的影像數量可減少 48%,找到的虐待影像數量與原有工具大致相同。
  • fal 的測試中,人工確認高信心標記有 72% 是新型 CSAM。ChatGPT 也會在使用者試圖尋找這類內容時顯示警告、引導求助,並暫停使用 24 小時。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

分類器透過 API 免費提供給經審核的組織,測試也比較了人工複核量與標記命中情形,可看出工具如何接入兒少安全流程。

正文

OpenAI:官網動態·2026-11-17 01:00· 1 小時前精選AI 評分65

Strengthening the fight against online child sexual abuse with new tools and support

AI 導讀

OpenAI 釋出可檢測 CSAM(含 AI 生成內容)的影像分類器,通過 API 向稽核機構免費開放,測試顯示可將需複審影像減少 48%,fal 實測 72% 高置信標記確認為新型 CSAM。同時 ChatGPT 上線新警告,在使用者嘗試查詢涉兒童性剝削內容時打斷並暫停訪問 24 小時,還發布了面向開發者的 CSAM 治理指南和執法調查支援工具。

推薦理由

原文給出 CSAM 檢測工具的具體測試資料和開放方式,以及 ChatGPT 內的干預機制,讀者可瞭解其落地效果。

以新工具和新支援加強打擊網路兒童性虐待

新工具、實用指南和合作夥伴關係將有助於預防、檢測和應對網路兒童性剝削與性虐待。

分享

今天,我們釋出了一款新工具,用於檢測兒童性虐待材料(CSAM),同時推出能夠打斷有害行為並引導人們尋求幫助的干預措施、面向開發者的實用資源,以及對兒童安全執法調查人員的支援。這些工作建立在我們的兒童安全藍圖以及持續開展的檢測、攔截和舉報虐待行為的工作基礎之上。對家長來說,目標很簡單:讓技術幫助保護兒童安全,同時由人來掌控。

眾所周知⁠(opens in a new window)⁠(opens in a new window),打擊網路兒童侵害者需要眾多組織協同合作。像 OpenAI 這樣的單個公司有責任防止我們的技術被侵害者利用來傷害兒童,我們也必須與更廣泛的行業、兒童安全組織和執法部門攜手,共同推進保護兒童上網安全的集體努力。

幫助更多組織檢測虐待材料

我們在現有防護措施的基礎上,釋出了一款新的影像分類器,能夠檢測潛在的 CSAM,包括 AI 生成的材料。這款新分類器會尋找虐待的視覺跡象,幫助團隊識別此前可能從未見過的新型影像。它會返回評分,幫助稽核人員判斷哪些影像可能需要優先處理。這是首個廣泛可用、並能明確提示 CSAM 是否可能由 AI 生成的 CSAM 分類器。

我們的團隊在美國國家失蹤與受虐兒童中心(NCMEC)⁠(opens in a new window)的協助下訓練、評估並設計了這款分類器,使其能夠投入實際部署。NCMEC 是一家非營利組織,運營著 CyberTipline——一個集中受理網路兒童剝削舉報的平臺。

我們通過 OpenAI API 向經過稽核的組織免費提供這款分類器的訪問許可權,讓兒童安全組織和更廣泛的行業(包括團隊規模各異的組織)更容易獲得 CSAM 檢測能力。

兒童安全是全行業的問題,需要各組織之間緊密協作,並採取多種解決方案。我們已與Tech Coalition⁠(opens in a new window)和ROOST⁠(opens in a new window)接洽,幫助我們共享這款新工具的訪問許可權;我們也大力支援由其他機構開發的工具,例如Thorn 的 Safer⁠(opens in a new window) CSAM 檢測系統。此外,我們最近開始參與 Tech Coalition 的Lantern 計劃⁠(opens in a new window),將在其中共享並接收與網路兒童性剝削和性虐待相關的訊號,以加強跨平臺協作。

NCMEC

“技術在幫助識別兒童性虐待材料(CSAM)以及最終識別其中可能出現的兒童方面,發揮著至關重要的作用。這款新分類器讓更多組織能夠使用有助於檢測此前未被識別的 CSAM 的工具,加強舉報,併為那些致力於識別和保護受害者的人提供關鍵資訊。我們感謝 OpenAI 投入資源開發技術,強化更廣泛的兒童安全生態。”

—John Shehan,高階副總裁,美國失蹤與受虐兒童中心⁠(在新視窗開啟)

Thorn

“在數字時代保護兒童免受性虐待和性剝削,靠任何單一方案或組織都不夠。需要多層防護,才能阻斷網上的有害行為,同時讓調查人員有工具識別身處危險的兒童。我們讚賞 OpenAI 在這些方面採取行動,並與兒童保護生態中的各組織合作。把技術、專業知識和協作匯聚起來,將是構建更安全數字世界的基礎。”

—Melissa Stroebel,研究與戰略影響副總裁,Thorn⁠(在新視窗開啟)

Tech Coalition

“要保護兒童免受網路性剝削和性虐待,企業必須攜手合作。通過 Tech Coalition,業內各團隊互相學習,共同應對兒童安全難題。OpenAI 團隊是這項工作的積極貢獻者,分享工具,並幫助制定其他公司可用的指引。我們很高興 OpenAI 是 Tech Coalition 及我們董事會中如此投入的一員。”

—Erin Saltman 博士,總裁兼執行長,Tech Coalition⁠(在新視窗開啟)

我們在內部和早期合作伙伴中測試了該分類器,衡量它能檢出多少虐待材料、多久會誤標其他影像,以及它如何支援安全團隊。他們的反饋幫助我們找出弱點並改進系統。

結果

早期測試表明,該分類器能幫助稽核人員聚焦虐待影像,同時減少對誤報的複核。在對使用者上傳影像的評估中,我們將新分類器與現有防護措施做了對比,發現:

  • 新分類器可以減少複核工作量:我們估計,它標記的影像將減少 48%,而發現的虐待影像數量與現有工具大致相同。

  • 被新分類器標記的影像中,含有虐待內容的可能性約為兩倍。

早期訪問合作伙伴也評估了該分類器如何支援他們自己的安全團隊。在 fal⁠(在新視窗開啟) 對經人工稽核的生產影像所做的測試中,稽核人員確認分類器高置信度標記中有 72% 屬於新型兒童性虐待材料(CSAM)。invideo AI⁠(在新視窗開啟) 的測試顯示,每四個被標記的案例中就有一個導致封禁。在 SafetyKit⁠(在新視窗開啟) 涉及將兒童性化的繪畫或動畫的評估中,分類器檢出了 90% 的案例。

SafetyKit

“兒童安全工具需要識別不同型別內容中的虐待行為。在我們的測試中,OpenAI 的分類器是我們見過最好的,能捕捉雜湊匹配漏掉的未知 CSAM,在繪畫和動畫上表現強勁,對合法成人內容的誤報率低於 1%。這些令人鼓舞的結果表明,可以在限制對合法使用者干擾的同時,提供更廣泛的防護來抵禦有害內容。”

—Samuel Wang,技術員工,SafetyKit⁠(在新視窗開啟)

invideo AI

“OpenAI 的分類器模型幫我們鎖定真正重要的案例。我們的信任與安全團隊不用再在一堆誤報裡翻找,而是拿到數量更少、更精準的案例來稽核,其中需要採取行動的比例也高得多。我們希望 invideo 成為安全的內容創作場所,這個工具幫我們朝這個目標邁進。”

—Kirkston Dsouza,產品經理,invideo AI⁠(在新視窗開啟)

fal

“對我們的安全團隊來說,一條標記必須提供有用的訊號,告訴我們該把注意力放在哪裡。OpenAI 分類器給出的高置信度標記讓我們相信,隨著平臺發展,它有望幫助團隊識別此前未曾發現的虐待性內容。”

—Antonina Vykhrest,兒童安全總監,fal⁠(在新視窗開啟)

HeyGen

“OpenAI 的稽核分類器已成為 HeyGen 兒童安全計劃的基石。它能為團隊提供快速、可靠的有害內容訊號,讓我們可以迅速而有把握地採取行動。”

—Mutasim Chowdhury,工程師,HeyGen⁠(在新視窗開啟)

Adobe

“Adobe 堅定致力於保護兒童上網安全。與 OpenAI 等公司持續創新與合作,能夠強化現有防護措施,並讓平臺有更多工具來檢測有害內容。”

—Michael Draper,全球消費者信任副總裁,Adobe⁠(在新視窗開啟)

有關該分類器的更多資訊,請參閱 CSAM 分類器模型卡⁠(在新視窗開啟)。有意使用該分類器的機構可通過我們的申請表單⁠請求訪問許可權。我們會根據使用者的反饋持續改進分類器。

打斷有害行為,引導人們尋求幫助

我們已禁止 CSAM,訓練模型拒絕相關請求,並對違反政策的賬號採取行動。在此基礎上,我們在 ChatGPT 中新增產品警告:當用戶試圖尋找虐待性內容時予以打斷,說明後果,並引導其尋求幫助以停止有害行為。

警告會明確指出,將兒童性化會造成傷害,即使所請求的內容是 AI 生成的也不例外。除警告外,我們會刪除被標記的對話,並暫停該使用者訪問 ChatGPT 24 小時,同時保持專業支援渠道可用,幫助人們停止有害行為。屢次違規可能導致更長時間的限制,最終可能關閉賬號或向有關部門舉報。

Image 1: ChatGPT warnings explain that sexualizing children is harmful and can be illegal, suspend the account for 24 hours, and offer specialist support.

我們在制定這一方案時,聽取了多家機構和學術顧問的意見,他們從事預防兒童性虐待的研究與專案開發,包括 Protect Children⁠(在新視窗開啟)、Lucy Faithfull Foundation⁠(在新視窗開啟)、肯特大學司法心理學研究員兼榮譽講師 Caoilte Ó Ciardha 博士,以及塔斯馬尼亞大學的 Joel Scanlan,後者獨立評估了一項威懾資訊試驗⁠(在新視窗開啟)。

CSAM 威懾中心

“OpenAI 在 ChatGPT 中提供了一個最佳實踐範例,展示平臺如何遏制並打擊有害的線上行為。OpenAI 邀請了多位曾設計並評估過警告資訊的外部專家,與他們一起通過基於證據的協同設計打造了這項干預措施,併力求在儘可能多的司法管轄區把使用者引導至當地的支援資源。這讓警告資訊最有可能引導使用者遠離傷害、轉向支援。”

——Joel Scanlan,副教授,CSAM Deterrence Centre⁠(在新視窗開啟)

Lucy Faithfull Foundation

“從我們的威懾工作中我們知道,一條警告能否奏效,取決於時機、準確性和語氣。OpenAI 在這三點上都下了真功夫。這條警告會在人們面臨風險的當下打斷他們,直白地說明後果,並指引他們尋求幫助。重要的是,當風險行為持續時,響應會變得更加強硬。我們的 Stop It Now 求助熱線已經經常接到有人說,是 AI 聊天機器人把他們引導到我們這裡來的。如今這條求助途徑正在走向全球,把人們連線到他們本國的支援資源。每一個選擇主動求助、而不是順從衝動行事的人,都是一個被保護的孩子。”

——Frances Frost,倡導與傳播總監,Lucy Faithfull Foundation⁠(在新視窗開啟)

為開發者提供實用支援

保護兒童上網安全並不止於檢測。我們釋出了 CSAM 指南⁠(在新視窗開啟),為開發者提供切實可行的步驟,用來預防虐待、檢測有害內容並採取行動。該指南在制定過程中採納了 Tech Coalition⁠(在新視窗開啟)、Thorn⁠(在新視窗開啟)、NCMEC⁠(在新視窗開啟) 和 Internet Watch Foundation⁠(在新視窗開啟) 的意見,面向處於安全系統建設不同階段的組織。

指南給出了明確的規則、使用者報告疑慮的途徑、檢測工具,以及審查和上報疑似虐待行為的流程。它還說明了安全識別符號如何幫助開發者將濫用行為關聯到具體使用者,以及如何為審查敏感內容的人員提供支援。開發者可以將它與我們的新影像分類器、Moderation API⁠(在新視窗開啟)、ROOST 的自託管審查控制台 Coop⁠(在新視窗開啟),以及 Thorn 的 Safer⁠(在新視窗開啟) 等專門的 CSAM 檢測服務配合使用。

我們對協作以及支援更廣泛開發者生態的承諾,也體現在我們與 Anthropic 和 Google 的合作中:我們共同委託編寫了一份關於如何應對 AI 系統中兒童性剝削和虐待披露的新指南。該指南最近由 Tech Coalition⁠(在新視窗開啟) 釋出,為開發者處理這些敏感情況提供了實用建議。

我們已經看到,這份指南促使更多開發者使用兒童安全工具,並註冊向 NCMEC 報告 CSAM。

支援兒童安全執法部門

保護兒童也意味著為專門從事兒童安全調查的人員提供支援,幫助他們找到受害者、制止虐待行為。正如我們與 Thorn 公開討論過的(在新視窗開啟),AI 可以幫助調查人員整理和排序資訊,減少不必要地接觸虐待材料。

我們還在為兒童安全執法部門提供新工具和培訓,教他們如何在調查中使用 AI,包括專用外掛、調查工具和複雜資料分析,訪問許可權由專案管理員管理。首批工具上線時將幫助調查人員審閱冗長的聊天記錄和法律程式回執,識別潛在關聯並梳理時間線,且結論可連結回原始材料。

首期培訓計劃以概覽和演示為主,並配有實用的現場指南供團隊日後參考。培訓將介紹這些工具以及它們如何融入調查工作。參與資格取決於機構授權和專案要求。後續培訓將在地區、全國和國際會議上推出。

北卡羅萊納州總檢察長

“作為 AI 工作組中的州總檢察長,我們的首要任務是保護孩子。這也必須成為科技公司的首要任務。我們必須加強防禦,OpenAI 和其他科技公司必須日夜思考並採取措施,防止合成兒童性虐待材料。我們要保護孩子們的安全。”

——傑夫·傑克遜,北卡羅萊納州總檢察長

繼續攜手推進

這些努力有著共同的目標:防止兒童受到傷害,並在虐待發生時加強應對。我們將繼續完善防護措施,同時為兒童保護組織、開發者、研究人員和調查人員提供所需的工具、資源和專業知識,幫助他們保護兒童、打擊剝削並將施害者繩之以法。通過攜手合作,我們可以藉助 AI 的力量,在打擊兒童性剝削和性虐待的鬥爭中帶來切實的改變。

作者

OpenAI

來源:OpenAI:官網動態 · openai.com

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論