E257｜對話Vitalik：AI安全背後的哲學思想，有效利他主義如何影響矽谷？

怎樣用有限的錢幫助更多人？有效利他主義（Effective Altruism，簡稱“EA”），就是從這個樸素的問題出發，推動人們比較不同慈善專案的效果，從捐贈蚊帳、預防瘧疾，到後來投入數億美元研究AI安全。 SBF與FTX的崩塌，曾讓這場運動陷入信譽危機。最近，AI研究員辭職、安全評估機構和捐贈網路引發的爭議，又讓EA受到關注。當一些人把防止AI毀滅人類視為最值得投入的事業，他們的判斷如何影響研究方向和資金分配？其中又有怎樣的利益與權力問題？ 本期節目，我們邀請以太坊聯合創始人Vitalik Buterin與科技記者Afra，聊聊EA和理性主義究竟主張什麼，以及這些思想如何影響了今天的AI發展。 Vitalik曾向這個圈子的機構捐贈大量資金。他在節目中回憶，一筆加密貨幣捐贈如何意外地變成數億美元，以及受贈機構後來的方向，為什麼讓他開始重新考慮當初的選擇。 節目全程以中文錄製，前半段由Afra介紹背景，後半段是我們與Vitalik的對話。本期涉及英文人名和機構名較多，為方便大家理解，我們在shownotes文末整理了名詞解釋，也在Bilibili、YouTube、影片號等平臺也上線了帶字幕版本，方便大家對照收聽。 【主播】 Yiwen，矽谷101主持人 泓君，矽谷101創始人，播客主理人 【嘉賓】 Vitalik Buterin，以太坊聯合創始人 Afra，科技記者 【你將聽到】 有效利他主義是什麼，它如何走到AI安全中心？ 02:25 兩個關鍵人物：William MacAskill與Eliezer Yudkowsky 07:54 八萬個小時：怎樣使用一生，才能幫助更多人？ 09:27 EA的四次轉向：全球健康、長期主義、信任危機與AI安全 12:58 EA與理性主義的異同：怎樣做好事，怎樣想清楚？ 15:59 AI安全如何影響前沿AI實驗室的公司選擇 18:02 METR與捐贈網路：安全評估如何引發了爭議？ 22:28 走進伯克利：Lighthaven、The Curve與矽谷思想聚會 28:09 去華爾街賺錢，再把錢捐出去：這條路出了什麼問題？ 35:18 EA與e/acc：關於AI加速與減速的爭論 Vitalik的捐贈：一筆意外的加密貨幣如何變成數億美元 39:15 如何成為一名負責任的數字遊民？Vitalik最初的EA經歷 44:19 哲學殭屍與意識：理性主義者都在討論什麼？ 50:38 當思想社群有了富豪捐贈者和專業機構 53:35 AI安全思想和P(doom)逐漸成為爭論焦點 59:09 狗狗幣的故事：意外收到大量代幣之後 01:05:10 印度疫情救助與FLI：兩筆捐贈如何落地 01:08:13 當FLI轉向AI政策，Vitalik和它的矛盾何在？ 當“幫助人類”變成機構、政策與權力 01:10:18 一個領域已經有很多錢，還值得繼續捐嗎？ 01:13:31 從救助生命到影響政策，捐贈效果為什麼更難判斷？ 01:18:46 SBF留下的問題：為什麼聰明人也會看錯人？ 01:21:01 EA、理性主義、e/acc與d/acc，分歧到底在哪裡？ 01:27:38 “好公司必須贏”：相信Anthropic，能解決安全問題嗎？ 01:30:29 安全、開源與商業利益：誰來決定AI的未來？ 01:36:06 Vitalik眼中的OpenAI：開放、安全與加速之間的變化 除了加速與暫停，還有什麼選擇？ 01:37:57 d/acc：Vitalik為什麼主張加強分散式防禦？ 01:42:04 以防疫為例：怎樣讓普通人擁有保護自己的工具？ 01:43:16 面對AI的不確定性，普通人可以怎樣理解這些爭論？ 01:45:14 Vitalik：承認我們還不知道的事情 01:48:04 AI安全也需要制衡：讓多個不完美的系統互相監督 【相關閱讀和名詞解釋】 往期相關：E233｜矽谷右翼的權力網如何形成？聊聊彼得·蒂爾的思想啟蒙拼圖 人物： • William MacAskill（威廉·麥卡斯基爾）：哲學家，曾任牛津大學哲學副教授，EA運動共同發起人之一，共同創辦了Giving What We Can、80,000 Hours等機構，也是長期主義的重要倡導者。 • Sam Bankman-Fried（薩姆·班克曼-弗裡德，SBF）：加密貨幣交易所FTX聯合創始人，曾是EA最受矚目的支持者和捐贈者之一。 • Eliezer Yudkowsky（埃利澤·尤德考斯基）：AI安全研究者與寫作者、機器智慧研究所共同創始人，也是網際網路理性主義社群的重要奠基者。他關於認知偏差、理性思考和AI對齊的文章，影響了LessWrong及部分EA社群。 • Chris Olah（克里斯·奧拉）：Anthropic聯合創始人，主要研究如何理解神經網路的內部運作，是機械可解釋性領域的重要研究者。 • Kevin Bass（凱文·巴斯）：網路評論者，曾公開追查並質疑Anthropic、METR及相關AI安全機構之間的資金和人際聯絡。 • Jacob Coxon（雅各布·考克森）：曾在OpenAI和Anthropic從事研究，2026年9月辭職並公開警告前沿AI公司的競爭可能帶來嚴重安全風險。 • Dustin Moskovitz（達斯廷·莫斯科維茨）：Facebook和Asana聯合創始人，與妻子Cari Tuna創辦Good Ventures，承諾捐出絕大部分財富。 • Jaan Tallinn（雅恩·塔林）：Skype聯合創始人，長期資助AI安全與存在風險研究，也是未來生命研究所的共同創始人。他參與支援的Survival and Flourishing Fund，是相關研究機構的重要資金渠道之一。 • Gideon Lewis-Kraus（吉迪恩·劉易斯-克勞斯）：《紐約客》記者，2022年撰寫了關於William MacAskill的長篇人物報道。 • Toby Ord（托比·奧德）：澳大利亞哲學家、Giving What We Can共同創始人，EA運動的重要早期推動者。他長期研究全球貧困、道德責任與可能威脅人類長遠未來的存在風險。 • Scott Alexander（斯科特·亞歷山大）：精神科醫生與寫作者，先後創辦Slate Star Codex和Astral Codex Ten。他的文章涵蓋科學、醫學、社會議題和認知方法，是理性主義社群的重要閱讀材料。 • Zvi Mowshowitz（茲維·莫肖維茨）：Don’t Worry About the Vase的作者，長期評論AI發展、安全與政策。 • Nick Bostrom（尼克·博斯特羅姆）：哲學家，曾任牛津大學教授、未來人類研究所創始主任，《超級智慧》作者。他對超級智慧、存在風險和人類長遠未來的研究，影響了EA及AI安全領域的討論。 • Sandeep Nailwal（桑迪普·奈爾瓦爾）：Polygon聯合創始人、印度疫情救助基金CryptoRelief發起人。本期Vitalik談到向該基金捐贈加密貨幣。 機構： • 80,000 Hours（八萬小時）：由William MacAskill和Benjamin Todd共同創辦的非營利職業研究與諮詢機構，幫助人們思考如何利用職業生涯產生更大的社會影響，是EA的重要機構之一。 • METR（模型評估與威脅研究，Model Evaluation & Threat Research）：研究與評估前沿AI能力及潛在重大風險的非營利機構。 • Coefficient Giving：前身為Open Philanthropy的慈善資助與諮詢機構，長期與Moskovitz夫婦的Good Ventures合作。它是EA相關資助網路的重要節點，支援全球健康、動物福利、疫情防範和AI安全等領域。 • Future of Life Institute（未來生命研究所，FLI）：研究並倡導降低先進技術重大風險的非營利機構，工作涉及AI等領域。它接受了Vitalik的重要捐贈。 • Centre for the Governance of AI（人工智慧治理中心，GovAI）：從事AI治理與政策研究、培養相關人才的非營利機構。 • Machine Intelligence Research Institute（機器智慧研究所，MIRI）：由尤德考斯基等人共同創辦、長期關注高階AI與人類利益如何對齊的非營利機構，與理性主義及EA社群聯絡密切，也是本期提到的Vitalik曾支援的機構之一。 • GiveWell：通過證據與成本效益分析評估慈善專案、引導捐贈的非營利機構，主要關注全球健康與發展。 • Against Malaria Foundation（抗瘧疾基金會，AMF）：主要通過資助長效殺蟲蚊帳的分發預防瘧疾的慈善機構，長期獲得GiveWell推薦。 • PopVax：印度生物技術公司，研發疫苗和癌症免疫療法。其疫苗專案獲得過Vitalik的Balvi基金支援。 • Lighthaven：由Lightcone Infrastructure運營的伯克利會議與活動園區，經常舉辦理性主義、AI安全及相關社群的聚會。 • The Curve：圍繞先進AI的發展、風險、經濟影響與治理舉辦的會議，彙集研究人員、企業界、政策界及不同立場的參與者。 • Progress Conference：由Roots of Progress Institute主辦，討論科技、經濟和社會進步的會議。 • Effective Altruism Global（有效利他主義全球大會，EA Global）：面向EA社群的系列會議，討論如何通過研究、職業選擇和捐贈更有效地改善世界。 • Zuzalu：Vitalik等人於2023年在黑山組織的臨時社群實驗，參與者共同生活、交流並開展活動。 • PauseAI（暫停AI運動）：主張在能夠確保安全並實現民主監督之前，暫停前沿AI開發的國際草根運動。 • LessWrong：由尤德考斯基等人推動形成的社群部落格，討論理性思考、認知偏差、決策與AI風險，是網際網路理性主義社群的重要平臺，與EA存在思想和人員上的廣泛交集。 作品： • Machines of Loving Grace（《充滿愛意的機器》）：Dario Amodei於2024年發表的文章，討論強大AI可能為健康、經濟和社會帶來的積極變化。 • The Sequences（《系列文章》）：尤德考斯基關於理性思考、認知偏差、信念更新、決策和AI等問題的一系列博文，是LessWrong及理性主義社群的重要基礎文本，也影響了部分EA參與者。 • Rationality: From AI to Zombies（《理性：從AI到殭屍》）：以The Sequences等博文為基礎編輯整理的尤德考斯基文集。 • Slate Star Codex（《石板星法典》）：Scott Alexander原來的個人部落格，涉及醫學、科學、政治、哲學和理性思考，是理性主義社群的重要交流與閱讀平臺。 • Astral Codex Ten（《星界法典十》）：Scott Alexander在Slate Star Codex之後開設的部落格與newsletter，繼續討論科學、社會問題和理性判斷。 • Don’t Worry About the Vase（《別擔心花瓶》）：Zvi Mowshowitz的部落格與newsletter，近年來大量追蹤AI能力、安全研究、企業動態和政策。 • Harry Potter and the Methods of Rationality（《哈利·波特與理性之道》）：尤德考斯基創作的《哈利·波特》同人小說，設想接受科學與理性思維訓練的哈利如何理解魔法世界。 • UNSONG（《無歌》）：Scott Alexander創作的幻想小說，將宗教神秘主義、語言和現實世界的執行規則結合起來。 • Snowmoon（《雪月》）：Vitalik創作並公開發布的小說。 思想和流派： • Effective Altruism（有效利他主義，EA）：用證據和理性分析，尋找最有效的助人方式。關注全球Lighthaven健康、動物福利等議題，部分參與者尤其重視AI安全。 • Rationalism（理性主義）：本期特指圍繞LessWrong等部落格形成的社群，強調識別認知偏差、根據證據修正判斷。與EA聯絡密切，但不等同於EA。 • Effective Accelerationism（有效加速主義，e/acc）：主張加快AI等技術的發展，相信創新與競爭能推動社會進步，通常反對以災難風險為由限制開發。 • d/acc（防禦性加速主義）：Vitalik提出的思路，主張優先發展能保護人、分散權力的技術，例如網路安全、疫苗和空氣過濾，提高社會抵禦風險的能力。 【新播客：消費101】 《消費101》是《矽谷101》團隊新開設的消費垂類節目，由資深消費記者&研究員麻花擔任主播，是一檔提供有趣、有料、有用的消費行業觀察與品牌解讀的播客。每週更新，歡迎關注！ 【矽谷101聽友群】 在這裡，和同好一起深聊科技、商業與未來，期待你的聲音，也期待更多有趣的討論。 掃碼加入，即刻相遇！ 【監製】 泓君 【後期】 Amei 【運營】 朱婕 【BGM】 DOX - Lennon Hutton Deadlock - Lennon Hutton Primary Code - Max Anson Estimations - Christoffer Moe Ditlevsen The Hoover Dam - Bonnie Grace Radar Focus - Blue Saga One Step Away - Dian Shuai Spring Dance - Forever Sunset Signal Containment - Out To The World Pulse Runner - Helmut Schenker 【在這裡找到我們】 公眾號：矽谷101 收聽渠道：Apple Podcast｜Spotify｜小宇宙｜喜馬拉雅｜蜻蜓FM｜荔枝FM｜網易雲音樂｜QQ音樂 其他平臺：YouTube｜Bilibili 搜尋「矽谷101播客」 聯絡我們：podcast@sv101.net Special Guests: Afra and Vitalik Buterin.