重點導讀
ITmedia AI+ 報導了 Sakana AI 為何現在投入大型語言模型的預訓練。
我們也說明瞭背景與目標:Chief Scientist 秋葉拓哉在 10 月的研討會上發表的「Sakana Sawara(暫稱)」。
繼 Sakana Namazu 的後訓練、Sakana Fugu 的協調工作之後,我們認為現在正是從模型層面挑戰預訓練的好時機。預計 12 月開始 Sawara Small(暫稱)的預訓練。
文章在此🐟️https://t.co/FJAwLyY8iL
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Sakana AI@SakanaAILabs
·10 天前
ITmedia AI+ さまに、Sakana AIがなぜ今、大規模言語モデルの事前學習に取り組むのかを取り上げていただきました。
10月のシンポジウムで弊社Chief Scientistの秋葉拓哉が発表した「Sakana Sawara(仮稱)」について、背景やねらいをお答えしました。
Sakana Namazuで取り組んできた事後學習、Sakana Fuguのオーケストレーションに引き続き、今、モデルの層で事前學習に挑む好機が來たと考えています。12月にSawara Small(仮稱)の事前學習を開始 する予定です。
記事はこちら🐟️
https://t.co/FJAwLyY8iL
推文來源 · X (Twitter)在 X 參與討論