Inside the black box of AI: How AI models actually think | Emmanuel Ameisen (Anthropic)

Emmanuel Ameisen 是 Anthropic 的可解釋性研究員，負責深入研究像 Claude 這樣的 LLM，瞭解它們的思考方式。加入 Anthropic 之前，他在 Stripe 與 Insight 擔任應用機器學習多年，並著有《Building Machine Learning Powered Applications》。他的研究產出該領域最引人注目的發現之一：模型會形成概念的一般表徵，能在未明確表述的情況下預先規劃多個 token，並可能展現類似人類有意識與無意識處理之區別的結構。我們將討論：1. 為何「next-token predictor」的框架低估了模型實際的規劃與思考 2. 為何把 AI 擬人化其實可能是正確的方法 3. 為何模型是「成長」的，而非「建造」的 4. 「J space」揭示了模型自我意識 5. 似乎突然能力跳躍背後的平滑擴充套件曲線 6. 可解釋性如何與 AI 對齊與安全相關 — 由以下單位提供：WorkOS — 讓您的應用程式企業級化，支援 SSO、SCIM、RBAC 及更多 DX — 工程智慧於 AI 時代 — 逐字稿：https://www.lennysnewsletter.com/p/a-mind-expanding-conversation-on — 所有 Lenny Podcast 逐字稿檔案：https://www.dropbox.com/scl/fo/yxi4s2w998p1gvtpu4193/AMdNPR8AOw0lMklwtnC0TrQ?rlkey=j06x0nipoti519e0xgm23zsn9&st=ahz0fj11&dl=0 — 精華：https://lennyspodcast.com/mostreplayedmoments — 尋找 Emmanuel Ameisen 的方式：• X: https://x.com/mlpowered • LinkedIn: https://www.linkedin.com/in/ameisen • 網站: https://www.mlpowered.com — 尋找 Lenny 的方式：• 電子報: https://www.lennysnewsletter.com • X: https://twitter.com/lennysan • LinkedIn: https://www.linkedin.com/in/lennyrachitsky/ — 在本集我們將涵蓋： (00:00) Emmanuel Ameisen 介紹 (01:30) 為何 AI 模型是「成長」的，而非「建造」的 (05:57) 為何 next-token 預測比聽起來更困難 (11:49) 模型如何表徵概念並理解世界 (17:06) LLM 如何提前規劃 (23:10) AI 可能有意識嗎？ (24:44) 擴充套件法則與文字的力量 (28:29) 為何平滑進展會帶來突發突破 (32:59) 為何觀察 AI 並不足以解決對齊問題 (38:21) Golden Gate Claude 實驗 (39:01) 為何 Anthropic 對 AI 安全非常重視 (42:06) 何時把 AI 擬人化有用 (48:06) AI 能教我們什麼關於智慧 (51:44) 對 AI 對齊的樂觀理由 (55:43) 我們是否生活在模擬中？ (59:00) Jev、決策模型與 AI 的直覺 (01:01:37) 模型思考的兩個驚人發現 (01:03:33) 如何進入可解釋性研究 (01:04:55) 閃電速問與最終思考 — 參考資料：https://www.lennysnewsletter.com/p/a-mind-expanding-conversation-on — 由 https://penname.co/ 製作與行銷。若想贊助播客，請發郵件至 podcast@lennyrachitsky.com。 — Lenny 可能是討論公司中的投資人。欲瞭解更多，請訪問 www.lennysnewsletter.com