跳到正文

#前沿模型的蒸餾

RSS
今日 0 則
10月14日週三
  1. a16z🎙️ Podcast85

    開源模型能追上 OpenAI 和 Anthropic 嗎?專訪 Nathan Lambert

    Nathan Lambert 是後訓練(post-training)研究員,曾在 AI2 共同領導後訓練團隊,如今正籌辦一個名為 Trillium 的非營利開放模型實驗室。他主張,要理解封閉前沿實驗室與開放權重模型之間的落差,最好從三種資本切入——算力、資料、人才——而中國的開放實驗室是算力飢渴、人才卻不輸人,他們把開放釋出當成搶佔話語權與商業化的捷徑,而非出於利他。本集標題談的是開放模型能否跟上,這確實是整場對話的主軸,但討論範圍遠超出此,延伸到蒸餾(distillation)的運作機制、RL 環境的資料經濟、遞迴自我改進(recursive self-improvement,RSI),以及