代理如何做決策：Goodfire 的 Eric Bigelow 談關鍵 Token、相變與脈絡內學習

這一集最關鍵的論點是：大型語言模型其實沒有在任何一個明確的判斷時刻「決定」任何事——決定是由挑選下一個 Token 的取樣步驟做出的，而下游的一切都是以這個擲硬幣結果為條件的脈絡內學習（in-context learning）。Eric Bigelow 是可解釋性新創 Goodfire 的技術團隊成員，最近剛在哈佛完成心理學博士學位，論文題目是〈邁向大型語言模型的認知科學〉。他帶著主持人 Nathan Labenz 回顧兩年來在這個問題上的研究，起點是他 2024 年的論文〈神經文字生成中的分岔路徑〉（Forking Paths in Neural Text Generation）——他在推理