重點導讀
我認為,可能的學習方法有一個極其廣闊且多樣的空間,涵蓋兩種時間尺度:長期可塑性/預訓練,以及即時適應/推理;而目前這套架構(Transformer + 梯度下降與 token 空間推理鏈生成)的效率甚至不在前 50% 之列。
未來的 AI 看起來將與目前這套架構截然不同。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
François Chollet@fchollet
·1 天前
I believe there is a vast, extremely diverse space of possible approaches to learning (for both time scales: long-term plasticity / pretraining & on-the-fly adaptation / reasoning), and that the current stack (Transformer + gradient descent & token-space reasoning chain generation) is not even in the top 50% most efficient.
Future AI will look nothing like the current stack.
推文來源 · X (Twitter)在 X 參與討論
來源: François Chollet (x.com)
在 X 查看推文