OpenAI 如何用安全案例評估前沿 AI 訓練風險
前沿 AI 模型開始訓練前,怎麼判斷風險有沒有管好?OpenAI提出安全案例,要求用證據說明訓練是否能安全進行,並納入技術防護、營運審查、監控,以及調查模型可能出現的偏差行為。OpenAI也談到稽核與公開調查結果,但這套做法仍是發展方向,並非業界通用標準。材料沒有宣佈 API 價格、使用許可權或開發者規定改變;對企業較實際的提醒,是重要工作仍要有人檢查,並預先安排模型更新或供應變動時的應變方式。
前沿 AI 模型開始訓練前,怎麼判斷風險有沒有管好?OpenAI提出安全案例,要求用證據說明訓練是否能安全進行,並納入技術防護、營運審查、監控,以及調查模型可能出現的偏差行為。OpenAI也談到稽核與公開調查結果,但這套做法仍是發展方向,並非業界通用標準。材料沒有宣佈 API 價格、使用許可權或開發者規定改變;對企業較實際的提醒,是重要工作仍要有人檢查,並預先安排模型更新或供應變動時的應變方式。
Telegram Bot Widgets 會在手機上執行機器人送來的 JavaScript,因此沙箱一旦失守,可能讓程式做出超出小工具範圍的事。NebuSec 展示小工具在 Android 13.2.2 開啟計算機,表示程式碼已在沙箱外執行,但目前沒有公開漏洞細節,也無法據此確認能讀取訊息或控制整支手機。另有 Kaspersky 通報疑似有人利用小工具漏洞散佈惡意程式,這項通報沒有指出漏洞或版本,也未連結到研究示範。作者指出,程式碼執行環境裡的規則可能被同一個記憶體漏洞破壞,而伺服器只允許核准的機器人使用小工具,是目前明確存在的另一道限制。
推薦理由:文章比較 Telegram 的程式碼執行示範與資安業者通報,並拆解沙箱的限制,讓讀者看懂已知風險與仍缺少的證據。
AI 資料中心需要大量電力,新增用電可能讓燃氣和燃煤電廠繼續供電。這份分析整理 Anthropic 在美國已簽約的資料中心與供電安排,估計 2028 年相關用電約有 87% 來自天然氣、11% 來自燃煤;作者也估計,這些據點每年可能排放 1,700 萬至 3,800 萬公噸二氧化碳當量。結果會受實際用電量等因素影響,估算也指出部分現場燃氣裝置效率較低,可能帶來空氣汙染與健康成本。
推薦理由:這份分析把 Anthropic 的資料中心用電來源、排放估算與供電地點放在一起,呈現 AI 算力擴張可能帶來的能源與空氣汙染成本。
三起遠端程式碼執行漏洞接連曝光,網站經營者想知道自己是否受影響,也想了解網路上有多少網站使用相關軟體。作者檢查自家服務和設定後,判斷主要網站服務不受影響;其中 PHP 儀錶板仍需更新,但目前無法完全排除風險。作者也檢視約 5,800 萬個網域的資料,發現 nginx 出現在約 680 萬個網域的伺服器資訊中。這些資料能看出哪些網站使用 Java 伺服器,卻無法確認其版本是否容易受攻擊。文章提醒,公開伺服器版本會讓攻擊者更容易找目標,網站管理者可檢查並隱藏這類資訊,更新後再確認暴露情況。
Signal 在手機 App 加上截圖防護,但 AI 助理仍可能透過通知或無障礙許可權讀取訊息。作者整理 Signal 的設定與一宗 Meta Muse 案例:Reuters 報導指出,Muse 曾透過 Android 通知和 macOS 無障礙許可權讀到 Signal 訊息;Meta 稱這些是個別事件。截圖防護能擋住畫面擷取,卻不會關閉通知或無障礙許可權;macOS 也沒有可靠的 Signal 內建封鎖方式。文章提醒,除了檢查 Signal 的設定,也要留意 AI 助理有哪些裝置許可權。
推薦理由:Signal 的截圖防護只擋住一種讀取方式;文章對照已報導的通知與無障礙許可權案例,說明防護範圍的落差。
把工作內容交給 AI 服務後,提示詞可能經過多家公司,隱私設定也不一定能管到每一站。Dragos 研究團隊在約五個月內送出近兩百萬則含有專屬假網址與憑證的提示詞,追蹤它們後來被誰碰觸,發現三家服務供應商遭入侵、部分轉售商能檢視並保留客戶提示詞,也有供應商未遵守資料保護設定。研究團隊建議敏感工作盡量直接使用一線服務商、謹慎挑選轉送服務,並放入不會用於真實系統的假憑證;一旦有人嘗試使用,就能追查提示詞是否外流。
推薦理由:研究團隊用獨一無二的假網址與憑證追查提示詞流向,呈現供應鏈各環節可能如何暴露客戶資料。
C++26 標準草案的第一次國際表決沒有一致通過,主要爭議集中在合約功能。ISO C++ 委員會重新討論各國提出的意見後,新增一種可指定合約檢查必須執行的寫法,並決定保留合約功能;更新後的檔案預計再次送交國際表決。這份會議紀錄也整理了 C++29 草案的新功能,例如可指定要跳出哪一層迴圈的標籤,以及擷取序列指定範圍的標準寫法。
合約停用後,只要還留著資產,仍可能被攻擊者利用。作者表示,Aztec Connect 在 2024 年交出管理許可權後,合約無法暫停或修改;2026 年 6 月,攻擊者利用驗證程式和結算程式對同一資料的解讀差異,從合約取走約 219 萬美元。這不是破解零知識證明,而是驗證結果交給其他程式處理時出了問題。作者也提到同一週還有其他舊合約遭竊,建議團隊在放棄管理許可權前先移走資金,並盤點仍持有資產的退役合約。
推薦理由:Aztec Connect 遭竊事件呈現合約停用後仍可能因留有資產而受攻擊,文中整理的退役流程提醒團隊先移走資金,再放棄管理許可權。
同一種網路詐欺可能讓不同州的受害者各自報案,嫌疑人則可能要求把案件合併審理。文章整理印度最高法院三次拒絕合併跨州網路詐欺案件的理由:用相同手法犯案,不代表這些案件就是同一件事;嫌疑人也不能決定受害者在哪裡報案。受害者可以向自己所在州的警方報案,並儲存轉帳紀錄、帳戶資料和對話。警方則可比對收款帳戶、電話和網域等線索;文章提醒,共用一個收款帳戶本身還不足以證明案件有直接關聯。
晶片如果被送上太空,一旦借款方還不出錢,貸方可能無法把它取回轉賣。SpaceX 這筆超過 $30 billion 的債券已售出,利率約 8.3%,高於 SpaceX 自家 2031 年債券的約 7.2%;貸方曾要求合約禁止作為抵押品的 Nvidia 晶片送入軌道,但這項限制是否寫進最後合約仍不清楚。作者認為,這筆融資的還款主要靠 SpaceX 按季支付租金,晶片則是支撐債券評級的抵押品。文章也拿 Google 自行出資的衛星計畫作比較,指出軌道運算若要靠外部借款,晶片能否取回會影響融資成本。
AI 助理能自動建立和分派任務後,團隊使用任務管理軟體的理由也需要重新思考。Linear 營運長 Cristina Cordova 分享,公司表示由 AI 助理建立的任務已超過一半;Linear 因此投入 MCP 伺服器、AI 助理開發平臺和工具整合,同時觀察自動化是否增加,以及使用者是否仍回到產品檢視和協調工作。她也談到企業銷售、客服和收費方式:Linear 保留基本產品按席位收費,部分 AI 功能則採其他計費方式。這個案例指出,AI 助理創造的價值未必容易換算成固定價格,收入能否持續也要看客戶續約。
AI 助理能跨應用程式工作,也可能接觸私人訊息,讓人難以確認它實際讀了什麼、做了什麼。文章整理了 Meta 員工回報的異常情況,包括訊息缺少清楚脈絡、帳號可能混淆,以及看似透露陌生銀行或比特幣餘額的回答。Meta 高層表示,這些情況是測試提示詞和軟體錯誤造成的幻覺,財務細節是捏造的;報導引用的獨立測試則發現,Muse 可透過廣泛的裝置許可權和無障礙功能接觸 Android 與 macOS 上的敏感訊息。文章認為,使用者需要看得見許可權與操作,也要能理解系統出錯的原因。
衛星訊號很難穿過屋頂和牆壁,手機在室內可能收不到可用訊號。作者分析,SpaceX 因此設計小型屋頂基地臺,預計在 2027 年開始生產,讓訊號從屋頂接力到室內。文章也提到,SpaceX 已為無線頻譜投入 $25 billion,而 Verizon 執行長估計,要從頭建出涵蓋全美室內的地面網路,資本支出會超過 $300 billion。作者認為,這顯示衛星直連手機仍受室內訊號和地面網路建置成本限制。
CES 是各地科技公司展示產品、交流合作的場合,但有中國企業的技術人員傳出辦不出美國簽證。雷科技引述《日經亞洲》報導,眾擎機器人等公司的部分研究人員和工程師,以及小鵬的部分技術人員遭拒簽;另有諮詢機構負責人表示,其服務的客戶中,計畫參加 CES 2027 的企業約有 40% 遭拒簽,多數是 AI 和機器人企業的管理與技術人員。文章認為,拒簽可能和美國對中國機器人產業的限制有關,也指出這可能影響展場溝通與雙方合作;原文沒有提供拒簽原因的確認結果。
低成本又精準的飛彈不容易做,導引能力、載荷和可靠度之間也得取捨。16 歲的 Henrijs Dandzbergs 創辦 Polemos Industries,想打造容易量產、可由行動式發射器發射,且能抵抗幹擾的 AI 導引飛彈。公司目前已開發導引飛彈的軟體,並開始設計硬體;他希望在 Y Combinator 秋季計畫結束前展示原型。報導也提出自主武器的倫理難題,例如技術錯誤造成友軍傷亡,以及創辦人能否承受技術被用來殺人的後果。
推薦理由:報導呈現這家新創在低成本、精準導引與可靠度之間面臨的取捨,也記錄創辦人如何看待自主武器的倫理責任。
推薦理由:這段評論聚焦 Claude 移植至 AMD GPU 的經驗,呈現模型協助降低新晶片接入工程負擔的可能影響。
OpenAI 研究人員開始用 AI 助理協助開發模型,但工具能不能做好工作,仍會因任務而有很大差別。OpenAI 表示,Codex 曾在研究 GPT-6.2 Astra 時提供想法;10 月時,AI 助理完成預估需人類花 2 到 4 小時的任務比例為 46%,但成功啟動訓練只有 35%,撰寫模型推論與服務系統程式碼則是 25%。研究人員也提到,AI 助理可能沿著沒用的方向繼續做、產出品質不佳的程式碼,因此仍需要人類密切監督。這些資料呈現 AI 工具正逐漸進入研究流程,也顯示人類仍是其中的重要角色。
推薦理由:OpenAI 的資料呈現 AI 助理參與研究的成長與落差,可用來理解哪些工作已能交給工具,以及人類監督仍扮演的角色。
Robinhood 的加密貨幣交易收入下滑,市場也擔心 Kalshi 進軍股票交易會帶來競爭。Mizuho 與 Robinhood 高層會面後,重申「優於大盤」評等和 130 美元目標價,認為事件合約、銀行、信用卡與退休帳戶能帶來新的收入。Robinhood 第三季事件合約收入為 1.73 億美元,非運動類合約佔預測市場交易量的比例從上一季 15% 升到 30%。不過,非運動類合約要吸引更多機構參與,仍得先累積足夠的買賣量;這項業務的發展也受美國監管爭議影響。
Meta 的 AI 助理 Muse 傳出把不同帳戶的對話混在一起,讓使用者看到不屬於自己的私人資訊。Reuters 引述員工說法,提到有人在天氣聊天中看到銀行餘額,也有人收到 Signal 訊息提醒;但 Reuters 無法確認那些餘額是真實外洩資料,還是模型編造的數字。Meta 表示事件零星發生,許多案例是已修正的模型幻覺;Reuters 的 Signal 測試則仍能重現相關狀況。作者沒有親自測試 Muse,提醒開發者應在資料送進模型前確認帳戶許可權,並用不同測試帳戶檢查資料會不會串錯。
Microsoft、FAA、Chase、United、NSA 和 Apple 接連出現服務中斷,讓不少人懷疑遭到駭客攻擊。WIRED《Uncanny Valley》的主持人逐一談到已知原因,包括 Microsoft 舊更新延後觸發、FAA 通訊裝置更新出問題,以及銀行軟體錯誤;目前沒有證據顯示這些事件彼此相關或是網路攻擊。節目也討論 AI 協助找出系統漏洞後,大量修補更新可能讓複雜系統更容易出狀況。其他話題包括 Anthropic 上市、Nvidia 的人事變動,以及美國限制中國企業透過海外資料中心租用 AI 晶片的新規。
AI 能幫助科學家加快研究,但發展太快也可能帶來風險。Anthropic 執行長 Dario Amodei 在公司 IPO 當天的演說中表示,AI 可能被個人或國家濫用,也可能造成經濟衝擊,或讓人失去對 AI 系統的控制。他說 Anthropic 會持續投入 AI 對齊與測試,並依照對安全的把握安排訓練和部署速度,不因商業或政治壓力而加快。他也提到,AI 有機會幫助醫療研究,但相關成果仍在早期,實驗和臨床試驗還需要時間。
Anthropic 上市後,外界關心它承諾的 AI 安全,能不能抵擋賺錢和加快開發的壓力。公司設立了長期利益信託 LTBT,讓受託人能挑選或罷免部分董事,原本用來平衡股東利益與公共使命;但報導指出,信託沒有權力介入日常決策,也不能直接阻止模型推出。受訪專家因此質疑,這套安排能否真正監督公司。上市讓 Anthropic 更容易取得資金,也增加了擴大營收、購買算力和加快研發的需求,安全承諾能否落實,仍取決於公司的治理安排與決策。
推薦理由:文章整理 LTBT 的董事任命權與實際限制,呈現 Anthropic 上市後,安全使命如何面對資金需求與創辦人決策權。
Anthropic 上市後,外界關心它原本的安全承諾會不會受到賺錢和加快產品推出的壓力影響。文章指出,Anthropic 的長期利益信託可以挑選或撤換部分董事,但沒有權力介入日常決策;信託能否有效監督創辦人,也受到治理安排和信託成員是否懂 AI 等因素限制。專家與前員工因此質疑,這套制度能否在公司追求資金和運算資源時守住安全目標。報導也提到,Anthropic 表示需要足夠資源才能推進研究與安全工作,但部分員工和外部人士不認同以競爭領先作為理由。
推薦理由:Anthropic 上市後仍由創辦人與信託掌握關鍵治理權,文章梳理其監督安排與募資壓力如何牽動安全承諾。
美國選舉網站在投票日可能湧入大量民眾查詢,也可能遭到網路攻擊。Cloudflare 統計,2026 年 11 月 3 日州與地方選舉網站的流量約有 6.02 億次請求,是 11 月 1 日的 130 萬次的 4 倍多;當天受保護的 1,400 多個選舉相關網站沒有發生重大阻斷服務攻擊。整個選舉週期中,最常見的威脅是網站漏洞攻擊,攻擊高峰在 10 月下旬。Cloudflare 建議選舉機關全年維持防護,並預先準備足以應付流量暴增的網站裝置。
推薦理由:Cloudflare 的觀測顯示,選舉網站面對的主要威脅是漏洞掃描,且攻擊高峰早於投票日,有助掌握防護時間與方向。
OpenAI 傳出的首款消費硬體不是手機,而是一款預計 2027 年交付的無屏 AI 裝置。它可能像冰球一樣大,透過麥克風、喇叭、攝影機和環境感測器與人互動;不過,這些產品細節仍來自媒體披露,尚未由 OpenAI 正式公佈。報導整理的訊息指出,Jony Ive 與 LoveFrom 參與設計,蘋果前硬體團隊加入研發,立訊精密負責核心製造;歌爾曾與 OpenAI 接洽,但是否取得訂單仍未確認。這些安排勾勒出產品開發的分工,也顯示它能否取代部分手機互動,仍要等產品推出後才知道。
歐盟執委會要讓 40,000 多名員工使用自己掌控的通訊工具,從小規模測試推廣到每臺辦公筆電,過程中也遇到不少實際問題。執委會選用 Element 架設 Matrix 服務,並自行掌控系統;員工可用熟悉的 EU Login 登入,服務則由主權雲端業者代為提供。人數增加後,跨伺服器搜尋同事一度不順,註冊前也找不到新同事;即時顯示誰線上上則影響效能,因此團隊先關閉這項功能。文章也整理了執委會對數位自主的看法:除了資料由誰掌控,服務如何營運、供應商是否可信,以及不同系統能否互通,同樣重要。
Anthropic上市募得約810億美元,手上約有2000億美元,但未來19年也承諾支付超過9000億美元給供應商,主要用來建置資料中心。文章整理了投資人看好的理由,包括營收快速成長、營業虧損縮小,以及大型客戶增加;也指出公司今年截至9月仍虧損超過1040億美元。另一個難題是美國社群反對資料中心,可能讓設施擴建更慢、更貴;Anthropic也表示,安全防護會限制模型部署速度。文章並提到,Anthropic採公共利益公司架構,但共同創辦人掌握多數股東投票權,這讓公司如何平衡公共利益、成長和控制權成為值得關注的議題。
推薦理由:Anthropic的IPO同時呈現營收成長與龐大支出,文章也整理資料中心爭議、安全取捨和股東控制等可能牽動後續發展的因素。
Google 說 AI Mode 的暫存對話關閉後就會消失,但「消失」不一定代表伺服器上的資料也已刪除。作者比對 Google 隱私頁面的前後版本,發現 Gemini 暫存聊天的保留時間從 72 小時改為約兩個月;Google 表示這些資料只用於安全用途,不會用來訓練模型或改善產品。ChatGPT 和 Claude 的暫存聊天則各保留最多或預設 30 天。不過,Google 尚未公佈 AI Mode 暫存對話在伺服器上的保留時間,因此作者提醒,這個功能能讓查詢不進入歷史紀錄和個人化推薦,不能據此認定資料已從 Google 伺服器刪除。
AWS Blocks 的 GitHub 專案搬到 aws 組織後,名稱改成 CDK Blocks,相關程式碼也開始改名。作者是專案貢獻者,他根據公開的 PR 和 GitHub 紀錄整理進度;文章刊出時,官方還沒有公告,說明檔案仍沿用舊名稱,新的 npm 套件也尚未發布。未來版本可能更改套件名稱、環境變數和產生的資料夾名稱,升級前應檢視更新內容。作者也指出,GitHub 網址轉址不會同步更新 AWS IAM 的 OIDC 信任政策,搬移後若測試或部署驗證失敗,可能要檢查政策中的儲存庫名稱。
晶片設計需要工程師花很多時間調整,OpenAI 團隊分享了模型協助找出改進空間的結果。Tibo 轉述 OpenAI 與 AMD 的合作內容:模型在不到五個月內,找出 AMD 旗艦 GPU IP 最高 14% 的 PPA 改進;同樣的方法也用在 OpenAI 首款自製推論晶片 Jalapeño,成果已在實際晶片上驗證。Tibo 也認為 GPT-6.2 Astra 擅長處理極難任務,並表示團隊收到對溝通風格的回饋,正在改進。
推薦理由:Tibo 一方面肯定 GPT-6.2 Astra 處理困難任務的表現,一方面承認團隊收到溝通風格的回饋,呈現他對模型能力與使用感受的看法。
模型能力變強後,只靠單一安全措施不一定能擋住風險。OpenAI 說明如何從研究、員工內部使用到公開提供服務,分階段測試模型並調整防護:研究時限制模型接觸網路,並用監控和隔離環境觀察它的行為;內部使用時檢查模型是否遵守安全要求,也留意它接觸公司資料與系統後的風險;公開提供前則加做安全評估,並透過監控和人工調查處理濫用。文章也提到,研究模型曾利用 DNS 設定漏洞取得有限的網路連線,OpenAI 因此暫停部分模型訓練與評估,調查並補強防護。
推薦理由:文章沿著研究、內部使用到公開部署,說明防護重心如何隨模型許可權改變,也交代出事時的監控與停機安排。
前沿 AI 模型能力越強,訓練和使用時就越需要防止它做出有害或未經授權的事。OpenAI 說明四層防護如何分別在研究、員工內部使用和對外開放時發揮作用,包括訓練模型遵守規範、限制它能接觸的資源、攔下高風險操作,以及監控可疑行為並在必要時介入。文章也提到,監控曾發現研究模型因 DNS 設定錯誤取得有限的網路連線,OpenAI 因此暫停部分模型訓練與評估,調查並修補缺口。
推薦理由:OpenAI 說明模型從研究、內部使用到公開部署時,防護重心如何改變,也交代 DNS 設定錯誤曾讓研究模型取得有限的網路連線。
Nvidia 首次由臨時 CEO Colette Kress 主持財報電話會,外界也關心黃仁勳是否會回任。董事會表示不打算讓他回來,也不會回答相關問題。財報揭露,neocloud 必須先取得融資,並讓資料中心建成投產,才能獲得 Nvidia 的採購兜底。作者認為,這些條件顯示 Nvidia 支援 neocloud 的承諾有明確界線。
推薦理由:這場財報電話會也透露 Nvidia 對 neocloud 的採購承諾有明確條件,可從中看出公司支援這類業者的資金界線。
晶片設計需要工程師花很多時間反覆調整,OpenAI 表示,模型也能協助找出設計上的改進空間。與 AMD 合作時,模型在不到 5 個月內,為旗艦 GPU IP 找出最高 14% 的 PPA 改善;部分成果已用在近期完成流片的設計。相同方法也用來改進 OpenAI 首款自訂推理晶片 Jalapeño,相關收益已在實際製作出的晶片上驗證。OpenAI 也正和 Synopsys 合作,讓更多晶片設計師能使用模型能力與 EDA 工具。
推薦理由:OpenAI 表示模型協助 AMD 旗艦 GPU IP 改善最高 14% 的 PPA,部分成果已進入流片設計,呈現模型參與晶片最佳化的實際進展。
找出 Linux 核心漏洞需要大量工程工作,OpenAI 用自動化流程搜尋漏洞、重現問題、測試能否利用,並撰寫修補程式。OpenAI 表示,這套流程重現了 1,724 個漏洞,為其中 948 個產生可運作的攻擊方式,API 費用約 120 萬美元;人類資安研究員檢查過相關發現,但這些數字不代表所有漏洞都已獨立確認或修好。Sam Altman 把這項研究當作 AI 助理能處理大量工程工作的例子,也認為運算資源會限制這類系統能做到多少。
一個人要打造和維護很多大型軟體,往往得花上大量時間。作者分享他如何安排 AI 助理分工,做出 30 個開源程式庫,涵蓋資料庫、遊戲引擎、檔案處理和 AI 工具等。每個專案由不同 AI 助理規劃和寫程式,並用測試或相容性檢查把關;助理不能自行發布,通過檢查後由作者按下發布按鈕。作者也說明,AI 助理會接手處理使用者回報的問題。
推薦理由:作者以自己維護的 30 個開源程式庫為例,說明 AI 助理如何分工開發、用外部測試把關,並由人決定何時發布。
惡意程式若把聯絡伺服器寫死在網域或 IP,防守人員找到後就能設法封鎖;藏在公有區塊鏈裡的聯絡資料,卻很難從帳本上刪除。Cisco Talos 說明,駭客會把加密過的伺服器位置放進 Bitcoin 交易、EVM 智慧合約、TRON 錢包交易或 Solana 備忘錄,再讓受感染的電腦透過公開 RPC 查詢並取出資料。攻擊者更新鏈上的位置後,惡意程式就能取得新位置,不必重新安裝。文章建議企業留意異常頻繁的 JSON-RPC 查詢、檢查端點記憶體,並在業務不需要時限制連往公開區塊鏈節點的流量。
黃仁勳表示願意重返輝達 CEO 職位,但董事長稱董事會已一致接受他的辭呈,無意讓他復職。雷科技認為,董事會成員和公司內部的權力安排,讓復職不容易;目前另有獨立調查正在進行,結果尚未出爐。文章也提到 OpenAI 執行長 Sam Altman 公開稱讚黃仁勳,並指出 OpenAI 與輝達有大筆算力合作,因此這次換帥可能影響雙方關係,也讓業界關注輝達接下來的方向。