跳到正文
Odd Lots (Video)(youtube.com)· Tracy Alloway·· 2 天前品質評分58

美國 AI 公司如何運用中國開源權重模型|Odd Lots

美國 AI 公司如何運用中國開源權重模型|Odd Lots

重點導讀

Minerva 的 Daniel Saedi 說明,應用層公司只要用專有資料微調開源權重模型(包括中國的模型),就能在特定任務上以遠低於前沿模型的成本勝出,這也讓基準測試愈來愈失去意義。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

AI 行銷新創 Minerva 共同創辦人 Daniel Saedi 主張,用專有資料微調開放權重模型,如今已是應用層公司與前沿實驗室在成本上競爭的主要手段。本集節目大致是一趟實務工作者對這套經濟邏輯的導覽:什麼時候該花錢用前沿模型、什麼時候該用便宜的開放權重模型,微調實際上要花多少錢,中國實驗室(DeepSeek、Kimi、Qwen)在其中扮演什麼角色,以及資料從哪裡來。標題裡的「開放對封閉」框架確有其事,但範圍比聽起來窄——整段對話橫跨算力稀缺、蒸餾指控,以及「去審查化」(abliterated)模型帶來的資安風險。

Saedi 在 Bridgewater 待了約五年半——先做銷售,為 Pure Alpha 等基金募資,之後約兩年半協助監督金融類股(銀行、REIT、保險公司)的交易——2023 年才創辦 Minerva。Minerva 打造的是代理(agent),把行銷工作流程從活動前規劃、執行到監控全程自動化。因為它在生產環境同時跑開放與封閉模型,Saedi 能具體談論多數 AI 商業評論只停留在抽象層次的取捨。

微調開放權重,是應用層相對實驗室的主要優勢

Saedi 的核心論點是:新創在訓練資料上不可能比實驗室砸更多錢,所以只能拿實驗室沒有的資料,把通用模型特化成專用模型。他稱微調是「目前應用層最主要的優勢」。做法是拿一個原本訓練成通用的模型,用幾千筆標註過、並依正確性評分過的範例,把它調到單一狹窄任務上。

他舉的實例是自然語言受眾查詢——行銷人員提出「所有在 OpenAI 上班又喜歡足球的人」。以前 Minerva 用 OpenAI 模型把請求轉成 SQL、從資料庫撈資料再回傳,速度慢,還得用上昂貴的模型。Qwen 原廠版本表現大約與 OpenAI 模型相當,但不如 Claude 或前沿模型,速度也不夠快。用幾千筆標註過的查詢/結果配對微調之後,Minerva 得到的模型在這個用例上比封閉源方案更快,也更擅長產出客戶想要的結果。Saedi 稱這個成果是「一個非常小的優勢」。

他點名 Harvey 和 Cognition 是規模較大的應用層公司,做的也是同一件事:拿能讓自家通路差異化的資料去微調 Kimi,讓它在客戶在乎的任務上逼近甚至超越前沿表現,同時成本更低——這就撐起了毛利。

該看的是「每完成一項任務的成本」,不是「每百萬 Token 的成本」

Saedi 不認同媒體用「每百萬 Token 成本」當作單純的輸入輸出指標。對 Minerva 而言,問題是:在最低成本下,可接受的最低任務完成度是多少,因為這個門檻之外的一切都是毛利。他把決策拆成兩個階段。

階段模型選擇理由
打造產品前沿模型(Claude、Astra 等)節省開發時間,避免除錯迴圈與錯誤
可重複、客戶可接受的任務微調過的開放權重模型,或單純重複性工作用純開放模型最佳化每完成一項任務的成本,守住毛利

更宏觀的經濟邏輯是:一家按座位收固定費用、模型成本卻變動的公司,有動機壓低變動成本那一端。Saedi 舉 Harvey 的按座位定價對比 Legora 的用量計價,並指出 Harvey 之所以率先走法律專用模型這條路,正是因為固定收入加上用量攀升,逼得它非得壓低變動成本。無論 Harvey 是把微調模型直接提供給使用者,還是隻拿它當與實驗室談判價格的籌碼,動機都是營業利益率。

微調工具鏈已經商品化,但調好的模型撐不過一次基礎模型升級

Saedi 描述從 DeepSeek 2025 年初發布到現在,工具鏈變化有多大。一年前,微調與自架還需要推論工程師處理 GPU 併發與服務軟體(SGLang、vLLM)。現在 Fireworks、Modal、Thinking Machines 等公司把它當服務賣。Saedi 提供的數字:

  • Fireworks 每百萬輸入 Token 與每百萬輸出 Token 各收約 7–9 美元,其中輸出 Token 就是權重變更。
  • 有些微調只要花低到 90 美元跑一次最終訓練,效果就很好。
  • 據報導,Harvey 花了約 600 萬美元算力,才讓自家模型在法律任務上達到前沿水準——比小型微調高出兩到三個數量級。

Saedi 認為,對創辦人來說最大的未決問題是耐久性。微調後的權重無法轉移到新的基礎模型上:Kimi 3.1 的權重出來時,他沒辦法把 Kimi 3 的微調搬過去。訓練資料集倒是可以轉移,前提是它是一組可靠、由專家評分過的答案;但因為他不知道基礎權重是怎麼產生的,也就無法知道重新訓練會不會收斂到最佳結果。這份不確定性是他必須計入決策的成本。他指出研究人員正在處理轉移問題,但不願評估進展,自稱是實務派而非研究者。

中國開放權重模型已很接近,蒸餾只是部分解釋

Saedi 區分開源與開放權重:開源會公開所有程式碼、資料與訓練配方;中國實驗室只釋出權重——也就是最終成品——讓使用者能下載自架。OpenAI 和 Anthropic 都不提供這種做法;你得把資料送進 API,再拿資料回來。

至於中國實驗室是怎麼追近的,Saedi 提供一個參照點:Reflection AI 是一家美國開放權重公司,有輝達(NVIDIA)投資,訓練叢集約 1.2 萬至 1.4 萬顆 Blackwell GPU,在本集播出前約一個月(也就是 2026 年 10 月左右)發布了旗艦模型。據他所述,該模型大約落後中國開放權重模型 3–6 個月,而中國模型本身又比公開釋出的前沿模型落後約三個月——換算下來,Reflection 大約落後前沿 6–9 個月。他的推論是:如果中國實驗室在蒸餾上遵守同樣的規則,他們大概會與 Reflection 不相上下,考量到中國國家力量的支援,或許還略勝一籌。所以蒸餾確有其事、證據也充分,但不是全貌。

他肯定中國實驗室發表量大、技術新穎——用稀疏模型而非稠密模型來省算力,以及 DeepSeek 在本集播出前幾週公開完整推論框架,Fireworks、Modal 等公司都拿它來提升服務效率。他從這些實驗室持續尊重中國研究這點,解讀為模型確實夠好。

對基準測試,Saedi 抱持懷疑。他說自己很難分辨前後兩代前沿模型的差別(他舉 5.1 對 5 為例),所以 Kimi 3.2 在 Terminal-Bench 上分數高於 Astra 6.2,對他意義不大。真正的考驗是模型能不能換進既有的生產流程——面向客戶的聊天機器人或編碼工作流程——而且表現相當。他的非正式版本是:「我還會對著終端機飆髒話嗎?如果不會,那大概就沒問題。」

卡住的是好資料,不是便宜的訓練

Saedi 說,微調做得好不好,差別在資料與評測,這也是為什麼實驗室願意付給 Micro One、Surge 這類公司幾十億美元。行銷是容易的案例,因為資料很充足——通話紀錄、廣告資料、廣告背後的創意過程、網站活動——而且可以組建成 RL 環境,也就是模擬 AI 執行任務的環境(在 Minerva 的案例裡,就是向 AI 展示一則廣告,看它會不會點選並購買)。

他拿營建業對比,那裡資料非常難找:你也許有設計圖,卻沒有建築師、總承包商與客戶之間解釋設計圖為何變更的往來意見。模型需要的是推理過程,不只是答案——「我不在乎你有沒有答對,我要你秀出你的解題過程。」

談到需求訊號,他點名 Micro One,稱它是企業資料領域最正派的公司:它為一份完整的企業資料集支付約 25 萬至 50 萬美元,轉介費則付 5 萬至 10 萬美元。Joe 補充,Google 以 1,000 萬美元買下 Spirit Airlines,他解讀為收購了一大批企業電子郵件與行事曆資料。

去審查化的開放權重模型才是真正的安全風險,而政策解方至今未出現

Saedi 說他在本集播出前試用過最新 DeepSeek 模型的無審查版本。有人把讓模型拒答的神經元關掉了——也就是「去審查化」模型。他的評估是:能力大概不如 2025 年 2 月的前沿模型,但已很接近,而且非常便宜——混合輸入輸出約每百萬 Token 0.30 美元,大約是 Sonnet 的十分之一、前沿模型的百分之一。而且你叫它做什麼,它就做什麼。

他對當前駭客活動的觀察是,有人在雲端跑成群結隊的去審查化 DeepSeek 模型。他認為實驗室宣稱的顧慮——資料流向中國實驗室——並非真正的風險;真正的風險是,幾個引數的改動就能把一個博士級模型變成雲端上千個《駭客軍團》(Mr. Robot)式的代理,你叫它駭什麼它就駭什麼。他沒有政策解方。下載權重前先做 KYC 是他提出的選項之一,但他想要的是折衷方案:既保住美國新創的活力,讓他這類公司能下載並微調權重,又能擋住恐怖組織與駭客集團下載 DeepSeek、改兩個引數就上手。

Joe 在這裡追問蒸餾的角度:能微調落後一代的開放模型,有一部分是中國實驗室涉嫌違反西方服務條款所補貼出來的,而 Llama 之所以沒走到那一步,部分原因是 Meta 不會那麼做。Saedi 大致同意,說他還沒看到令人信服的解決方案。

對照第一原理基準,算力仍短缺約一個數量級

Saedi 的經驗法則是:一個完全 AI 原生的員工,每年應該消耗約一顆 GPU 份量的 Token。對照之下,美國部署了約 500 萬到 1,000 萬顆領先世代的 Blackwell GPU,而依某些統計,知識工作者約有 1 億人。如果每個知識工作者都需要一顆 GPU,才能讓代理全天候運轉、把任務完全自動化,那缺口大得驚人。

他承認不是每個人都會像他旗下某位工程師、或 Anthropic 的工程師那樣擁抱 AI,但預期經濟會在約四年內收斂到每個知識工作員工對應約一顆 GPU 的算力。他把目前的雜音——一邊喊過度建設、一邊喊短缺——歸因於最大聲的人正是最缺算力的人。他講了一個實驗室算力有多吃緊的軼事:在白宮的一場授勳典禮上,據說 Greg Brockman 向 Elon Musk 要算力。

就自身經驗而言,Minerva 微呼叫的算力不多,也找得到供給。他記得最吃緊的時期是兩年前,當時 H100 完全買不到,而 Minerva 正嘗試訓練自家模型。他認為長期算力承購協議,解釋了為何鎖定的產能比現貨市場便宜。

Token 預算隨募資增加,前沿溢價花在工程時間稀缺之處

Saedi 說,Minerva 的 Token 預算增加了,主因是公司募到更多錢。2023 年創立時,他們對 AI 的使用很謹慎,因為模型還不夠好;轉向代理式編碼(agentic coding)大約是 2025 年 10 月、Opus 4.5 推出時的事。他說 Minerva 沒有讓每位工程師花 1 萬至 2 萬美元狂用 Token,也盡量讓團隊保持精簡。

在主持人收尾的討論中,Joe 把這個分野框成:打造產品用前沿模型(資本支出),可重複的智慧用便宜的開放模型(營業費用),並問這套打法的重點是不是以經常性價格出售,同時 Token 價格每年跌 90%,把價差收進口袋。Tracy 的看法是便宜模型終將勝出,Joe 則指出封閉實驗室也在賣更便宜的層級。Tracy 觀察到,美國大企業會私下討論使用 Qwen,卻不會公開講;有些執行長——她舉 Coinbase 的 Brian Armstrong 談論他們用哪些模型為例——公開擺出不需要 Anthropic 或 OpenAI 的姿態,儘管多數公司仍付著她所謂的「Anthropic 稅」或「OpenAI 稅」。

綜合分析

整條主線是:應用層的經濟效益,與其說取決於哪個模型最聰明,不如說取決於哪些成本固定、哪些成本變動。Saedi 的框架——打造用前沿模型、可重複交付用微調過的開放權重、以每完成一項任務的成本為計算單位——是任何 AI 原生公司都能套用的範本;而他坦承微調撐不過基礎模型升級,是這套框架裡最尖銳的未解成本。有兩股張力值得追蹤。第一,讓這套策略得以便宜運作的開放權重生態系,可能部分建立在美國公司無法複製的蒸餾做法上,這意味著成本優勢的耐久性可能不如表面看來。第二,讓 Minerva 得以微調的同一份權重下載自由,也讓去審查化模型以每百萬 Token 約 0.30 美元的價格流通;而受益於前者的 Saedi,提不出既能保住前者、又能堵住後者的方案。算力經驗法則(每名知識工作者一顆 GPU,對照 1 億名工作者僅有 500 萬至 1,000 萬顆 GPU)是最該盯住的數字:如果它成立,目前關於過度建設的爭論,將以「短缺」作結。

來源: Odd Lots (Video) (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論