John Langford 離開 Microsoft,作者反思模型擴大如何擠壓其他研究
公司把資源集中在擴大型模型時,其他研究方向可能漸漸沒有機會。作者談到 John Langford 在 Microsoft 工作超過 14 年後離開;他曾共同創立 AI Frontiers 研究室,團隊在 9 月併入 Mustafa Suleyman 領導的 AI 部門。作者認為,擴大型模型容易用運算資源換取明顯成果,但這種做法也可能讓不符合主管計畫的研究拿不到資源,研究人員只好離開。文章以此反思,團隊該如何保留不符合當前計畫、卻可能帶來新問題的研究想法。