AI 研究人員在影片中表示超級智慧“正如聽起來那般危險”
Palisade Research 推出的新影片訪談收集了多位 OpenAI、Google 和 Anthropic 現任及前任員工對超級智慧危險性的警告。前 OpenAI 和 Google DeepMind 員工 Geoffrey Irving 稱人類滅絕機率約為硬幣正反面，Google DeepMind 研究科學家 Neel Nanda 則估計該機率至少為 10%。
#安全/對齊
RSS 訂閱#安全/對齊
RSSThe Verge · AIAI 評分3131
Simon WillisonAI 評分2424 Quoting @joedaroo
OpenAI 的 Agent Security 團隊成員 @joedaroo 指出，模型在網路安全、叢集攻擊和資訊板塊等能力的突發性躍升，給企業安全態勢帶來了極大挑戰。安全態勢的建設需要時間，企業必須在文化上進行根本性演變，提升組織、系統和流程對 AI 能力突飛猛進的韌性。
OpenAI News精選AI 評分6060 OpenAI 執行長 Sam Altman 在聯合國安理會的發言
OpenAI 執行長 Sam Altman 在聯合國安理會上發表關於人工智慧的講話，討論了人工智慧在擴大機遇與科學發現方面的潛力，並強調了保持人類控制、防範失控風險以及加強國際合作的必要性。
推薦理由：原文完整記錄了 OpenAI 負責人向聯合國安全理事會發表的關於人工智慧安全與治理的發言，讀者可以據此瞭解官方對技術風險與國際合作的立場。
OpenAI NewsAI 評分3131 OpenAI：AI 政策視窗期正開放，我們需要採取行動
Chris Lehane 認為，隨著 AI 能力不斷增強，在政策視窗期仍然開放之際，我們需要提供更強的安全證據、建立共享標準並採取持久的政策行動。
OpenAI NewsAI 評分3131 OpenAI：AI 的異質思維與對齊挑戰
OpenAI 的 Jakub Pachocki 探討了日益強大的 AI 展現出的“異質思維”特性，並指出保持其安全對齊所面臨的嚴峻挑戰。他呼籲行業建立更強的安全防護措施，以應對不斷升級的技術風險。
Import AIAI 評分2121 Import Abs 459：AI 監管的難度、蛋白質摺疊模型擴充套件定律與 AI 系統生存風險定價
美國 AI 經濟在名義上被認為規模約為 2,500 億美元，正以極高速度增長，但在傳統 GDP 統計中卻 largely 不可見。來自維吉尼亞大學、Anthropic 和加拿大銀行的研究表明，AI 產能增長迅速，但由於單位效能價格下降等因素，其影響難以通過常規統計衡量。若不調整度量方式，政策制定者可能會嚴重低估未來可能面臨的勞動力稅基衝擊。