一個人、兩週、數百美元，如何訓出登頂 Hugging Face 的模型 | 對談研究員逯雨鑫

活動預告🥳：9 月 12 日，我們會請到雨鑫做一場線上活動，大家記得翻到 shownotes 末尾檢視報名資訊！ 最近矽谷有了新熱點：主權 AI 和 Personal Intelligence。簡單來說，就是很多人開始相信，未來會有越來越多的應用公司和個人，訓練自己的模型。 對絕大多數人來說，訓練模型仍然是一件聽起來遙不可及、門檻很高的事，但我們這期節目的嘉賓逯雨鑫卻認為，它非常簡單，簡單到他此前沒有 AI Lab 的經歷，也不是 AI PhD，只用了 2 周和數百美元，就後訓練出了兩個登頂 Hugging Face Model Trending 榜首的小模型。 他具體是怎麼做到的、摸索出了怎樣的 Pipeline？過程中踩過哪些坑？以及無論對個人還是公司來說，訓練模型最大的卡點都是資料，那麼他是怎麼攻克這個難題的？在蒸餾路線、資料來源上，又有哪些 secret sauce？ 節目後半段，我們還進一步討論了主權 AI、Personal Intelligence 和 Local AI 相關的各種問題，比如這些事情普及開來的門檻在哪裡、未來 AI Lab 和應用公司的分工與價值會有什麼變化等等。 就在一個月前，我們還在講 AI 應用遭受的冷遇；但錄完這期，我們好像又看到了應用的曙光。也許在不久的將來，越來越多的應用公司都會成為 Neo Lab，Local AI 也可能成為一個 PC 級別的機會。而擁抱模型訓練和 Local AI，最好的時間可能就是現在。 希望雨鑫摸索出的實踐路徑，能給應用公司和個人帶來一些啟發。如果你還想了解更多，也歡迎報名 shownote 末尾的線上活動，來和雨鑫直接交流（尤其歡迎應用創業者！） 【人類博物館】 導遊：曲凱，42章經創始人 52 號珍藏：逯雨鑫，Mind Lab 研究員；以個人開發者身份、數百美元成本微調的模型兩次登頂 Hugging Face 熱度榜；focus 在 post-training（蒸餾、SFT）與資料工程，近期方向為 continued pre-training 【時光機】 Part 1 訓模型的實操經驗 01:33 非 PhD / AI Lab 背景，憑什麼能訓出榜一模型？ 03:23 訓這兩個模型的成本具體有多少？ 06:08 個人訓模型的完整 Pipeline 和避坑經驗 11:33 最大的難點和卡點：資料 11:48 合成數據效果並不好？ 12:16 資料從哪來、具體要用多少、如何配比？ 15:34 資料難以提前預估效果的原因：Capacity Gap 17:18 簡評蒸餾的各種路線，以及到底什麼叫「聰明地蒸」？ 20:01 自己訓、自己用，價效比真的更高嗎？ 22:10 坑最少的開源模型是？ Part 2 對主權 AI 的思考 23:44 自己訓模型會成為應用公司的標配嗎？ 25:25 訓模型可能會成為一件商品化的事情？ 27:01 應用公司反而可能會成為 Neo Lab? 32:07 AI Lab 和應用公司之間的分工可能會有什麼變化？ 33:39 現在 AI Lab 砸錢買資料，就有點像移動網際網路早期位元組砸錢買使用者 35:31 如果主權 AI 真的興起，AI Lab 的價值會有什麼變化？ 36:59 Local AI 會不會成為 PC 級別的機會？ 40:17 使用者最終會不會還是希望用上 SOTA 級別的智慧，而不是 Local AI？ 【活動預告🥳】 9 月 12 日，我們會請到雨鑫做一場線上活動，感興趣的朋友歡迎點選 連結 或掃描下面的二維碼，一起來認識&交流！ 【 The gang that made this happen】 製作人：陳皮 剪輯：陳皮 片頭：Mondo Bongo - Joe Strummer & The Mescaleros 片尾：Spacemen 3 - Set Me Free (Reprise) 在小宇宙檢視該單集文稿