跳到正文
AI Engineer(youtube.com)· Ahmad Osman·· 1 天前品質評分58

什麼工作負載該跑在哪裡?生產環境中的地端 AI — Osmantic 的 Ahmad Osman

什麼工作負載該跑在哪裡?生產環境中的地端 AI — Osmantic 的 Ahmad Osman

重點導讀

Osmantic 的 Ahmad Osman 主張,地端 AI 推論如今在 tokens/sec 與成本上都已勝過雲端;他呼籲工程師針對每個模型、每種晶片分別最佳化,並採用小型蒸餾開源模型,而非預設使用前沿 API。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Osmantic 執行長暨創辦人 Ahmad Osman 主張,本地 AI 如今本質上是使用者體驗問題,而其底層則是開源最佳化問題;他認為,跑在精心挑選硬體上的小型專用模型,將能弭平與前沿實驗室之間大部分的差距。在 2026 年底的一場研討會演講中,他把大部分時間花在這項主張的運作機制上:哪一種推論引擎與量化方案適合哪一款晶片、為什麼記憶體頻寬與批次處理(batching)比跑分成績更能決定硬體採購,以及他為何不信任當前的評測(eval)生態。以「本地 AI 進入生產環境」來概括這場演講算公允,但略嫌狹隘——演講內容主要是一趟推論經濟學、模型壓縮排展的導覽,以及他押注持續學習(continual learning)會是下一個前沿,而且只能發生在自己擁有的硬體上。

Osman 發言的權威感,來自他自 2023 年起就一直在跑大型本地機隊——他描述過一套 14 張 GPU 的 RTX 3090 配置,在 2025 年 2 月時幾乎跑不動 DeepSeek R1——而如今他透過 Osmantic 販售一套名為 Portal(代號 Cairo)的本地 AI 工具組。讀者讀完應該能建立一套具體的本地推論堆疊心智模型(prefill 與 decode 的差別、量化感知訓練、各晶片專屬引擎),掌握他引用的具體效能數字,並清楚看出他認為資金與工程心力下一步該往哪裡去。

本地推論的瓶頸在系統工程,不在模型本身的品質

Osman 的核心技術論點是:同一個模型在不同推論引擎與硬體上,表現會天差地遠,所以「該用哪個模型」是個問錯順序的問題。他引用一份由 OpenRouter 託管的 GLM 5.3 跨晶片、跨引擎基準測試,顯示首個 Token 生成時間(time-to-first-token)與每位使用者的每秒 Token 數(tokens-per-second-per-user)落差極大,並把差距歸因於指令集不同,以及各平臺能拆解與運算的範圍不同。他的處方是:每個模型、每款晶片都要有專屬的推論引擎,而不是一套通用執行環境。

他明白指出,llama.cpp 的通用性正是它的侷限:要支援從 NPU 到 Raspberry Pi 的所有裝置,就必須走捷徑,而這些捷徑會擋掉平臺專屬的最佳化。他請聽眾針對自己的硬體,向 Osmantic 的引擎提交 pull request,並表示公司會把該引擎設為在其上最佳化過的模型之預設引擎。

prefill 與 decode 的區別,是他硬體建議的基礎。prefill 受運算能力限制;decode 受記憶體頻寬限制。長提示會拉高首個 Token 生成時間;短提示則能加快 Token 生成。他藉此主張:不先搞清楚自己的工作流程就買硬體,是錯誤的做法——在 DGX Spark 上跑一個稠密 27B 模型,每個 Token 都得推送全部 27B 引數,速度遠遜於只啟用少數引數的混合專家(mixture-of-experts)模型。

「開源 AI 是最佳化問題。本地 AI 是使用者體驗問題,而這兩件事必須並行解決。」

他用一家名為 Actual Inc. 的公司所寫的 tokenizer 來說明系統工程的觀點:這個 tokenizer 單獨測試時大約快 100 倍,但端到端請求時間只改善了 1.1%。他的解讀是:這仍是相當出色的成果,也顯示管線的每一個環節都需要最佳化,否則硬體只是在空轉、換不到相應的產出。

硬體選擇應跟著工作流程走,GPU 在平行代理工作負載上勝出

Osman 的硬體建議異常具體,而且緊扣代理時代。他主張,自 2026 年 2 月起,產生多數 Token 的已經不是人類而是代理(他引用的是 2026 年 10 月的 OpenRouter 資料),加上代理會平行衍生出其他代理,因此批次處理效能比單一序列的每秒 Token 數更重要。

他與 Hugging Face 合作拍了一支影片,把同一個 Qwen 3.6 27B 模型分別跑在 RTX Pro 6000、M5 Max MacBook Pro、DGX Spark 與 Strix Halo 上。RTX Pro 6000 在每秒 Token 數與記憶體頻寬上勝出,而且在每臺機器 50 個並行請求時達到約每秒 1,300 個 Token,其他平臺則仍維持序列處理。他稱這是軟體問題——應該有人為這些機器打造專屬引擎。

平臺引用頻寬Osman 的評價
RTX Pro 6000同組最高每秒 Token 數與批次處理最佳;他的預設推薦
DGX Spark273 GB/s兩臺 Spark 在 decode 上仍勝過 M5,但稠密模型跑得慢
Apple M5 Ultra(預期)約 1.2 TB/s晶片很強,AI 軟體很弱;「Max Able 在 AI 上沒有任何好的軟體最佳化」
Intel GPU—只有自己有時間最佳化才買
RTX 3090(二手)—仍堪用;他曾以約 400 美元買進多張,現在加拿大要價約 2,700 美元

他的採購判斷準則很坦白:先問自己願意花多少時間把它弄到能用。時間多,就試 Intel GPU;想讓它直接能用、又能搭配代理,就選 NVIDIA CUDA。他也點出一個租用門檻——工作負載規模低於某個水準時,租比買划算——並稱讚 Modal 的 CLI 能讓代理隨需租用 GPU,用完就拆掉。他警告,便宜 Token 供應商可能把請求導向與廣告不符的模型(例如宣稱是 Claude 3.1 Pro,實際卻跑 Qwen 3.5 35B MoE),所以基礎設施的可信度很重要。

量化進步神速,而且 4-bit 並非人人平等

Osman 反對把量化當成大宗商品。他區分執行時量化,以及離線、由基準測試驅動的方案——後者會衡量哪些層最不常被用到,再對那些層壓縮得最兇:重度使用的層維持 16-bit,輕度使用的維持 8-bit,幾乎不用的層壓到 1-bit。他把動態量化的成果歸功於 NVIDIA 的 Daniel 與 Mike,並警告一刀切的 4-bit「大概會把模型搞爛」。

他引用一條具體的進展曲線:GLM 5.3 在 4-bit 下能保留約 94% 的準確率,而一年前的 DeepSeek 3.1 只有 76.1% 的精確率召回。趨勢很清楚:更好的量化演算法讓你能壓得更兇,用更少 VRAM 跑出更高準確率。

他也點名 DeepSeek V4.1 Flash 是他心目中年度最重要的發布——他說,論重要性甚至超過 Qwen 3.5,也知道這話會招來反對。它的貢獻在於:把 400,000 個 Token 所需的 KV 快取從 13 GB 縮到每 1,000 個 Token 29 MB,等於縮減 437 倍。這正是他想要更多的那種槓桿,對比之下,更快的 tokenizer 只換來 1.1% 的端到端改善。

基準測試已經失靈,開源與閉源的差距取決於你信哪一份

Osman 花了不少時間談他對評測的不信任。他指出,Artificial Analysis Intelligence Index v5 顯示 Anthropic 的 Haiku 5.5 領先 DeepSeek V4.1 Flash,他稱這是個警訊:「如果你的評測顯示 Haiku 贏過 DeepSeek V4.1 Flash,那就有問題。」他把開源與閉源差距超過 50% 的基準(HLE Diamond)拿來對比 Terminal Bench——他說後者開源模型反而領先兩分。

他對由基準測試驅動的模型發布普遍抱持懷疑,說他最後一個真正用過的 Gemini 模型是 2025 年 3 月的 Gemini Pro 2.5,此後的發布「基本上感覺就是在比基準測試」。他主張 Claude Opus 5.5 針對程式設計做了極重的強化學習調校——「廢話更少」——但不是解決問題最聰明的模型,遇到分佈外(out-of-distribution)的前沿研究就會吃癟,那種場合像 Astra 6 這類模型會表現得更好。

他也引用 2026 年 4 月一份資安廠商的研究,該研究用小型專用開源模型,達到與大型模型相當的安全漏洞偵測能力,作為專用化論點的佐證。他並指出 Airbnb 同月發表的研究發現:一個 2B 引數模型在對的軌跡資料與合成資料上訓練後,能以 1% 的成本達到前沿品質的輸出——這是他支援小型專用模型最有力的一項單一資料點。

小型專用模型是他的押注,智慧密度曲線也支援這點

Osman 創辦 Osmantic 的立論是:你不需要每一步都用到前沿智慧。他更進一步說:「我甚至認為,相較於 Astra 或 Fable,Opus 5.5 現在就是一個小型專用模型。」他預測三年內、甚至更短,就會出現一個 1B 引數模型打敗 Opus 5.5,並說他自 2025 年 3 月起就在推特上講「未來屬於小型專用模型」。

他的證據是智慧密度曲線。2026 年 3 月,一個 27B 稠密 Qwen 3.5 還打不贏 397B 的 MoE;一個月後,Qwen 3.6 27B 就在總記憶體大 15 倍的模型面前勝出——儘管那個 MoE 只啟用約 17B 引數(所以稠密模型在有效運算上只小約 40%,但在記憶體上便宜得多)。他也提到,過去需要一整個資料中心才能達到的 GPT-4 等級能力,如今透過 Qwen 3.5 就能在 iPhone 上跑。

他把這點扣回蒸餾:Opus 5.5 很可能是由更強的模型(Fable 5.1/5.2)在 Anthropic 使用者任務的常態分佈上教出來的,這讓它在程式設計上極強、在分佈外卻很弱。他看到 Fireworks 等實驗室在打造並託管專用模型,認為這印證了這個趨勢。

持續學習是下一個前沿,而且只能發生在本地

Osman 的前瞻段落是他最有主見的部分。他主張持續學習不會來自雲端業者,因為他們無法為每位使用者各訓練一個模型——他們是為整個分佈而訓練。一個只針對你學習的東西,必須為你而訓練,這就意味著它得在本地執行。

他對當前代理記憶體的現況批評得很重:markdown 檔和各種「記憶體小技巧」不斷累積,變成臃腫無用的工具組,模型還會因為把同一主題寫進三個技能檔而出錯。他提出的配方——他說源自 2026 年 11 月 4 日的一則推文——是 engram(存在 SSD 或 RAM 上、可供模型檢索的關聯圖),加上決策模型(把分類器擴充套件到每一個任務介面),再加上權重編輯,三者合起來就能實現持續學習。他說 Osmantic 正在這方面「醞釀一些東西」,而 engram 在 CPU 與一般 SSD 上就能運作良好。

他把縮小差距的三股力量歸納為:每個引數更強的模型、針對特定工作流程訓練的專用模型,以及更好的引擎——而在這些之後,持續學習會是下一個大槓桿。

本地 AI 的使用者體驗很糟,這正是人們打退堂鼓的原因

Osman 的商業論點是:第一印象會扼殺本地 AI 的採用。他講了一個 2026 年 3 月的故事:一位朋友在 Qwen 3.5 27B 發布後買了 RTX 5090,接上 Claude Code,要求它更改 GPU 風扇的 RGB 顏色。結果失敗。Osman 指出,Claude Code 本身附帶搜尋引擎;把防火牆連線埠開啟、啟用搜尋後,本地模型就成功改好顏色了。他的教訓是:不要叫模型去處理它訓練截止日之後才推出的工具,卻不給它搜尋能力。

他說 Portal 之所以內建搜尋引擎,正是為了這個原因;一次糟糕的初體驗,會讓使用者從此回頭去付訂閱費。他也警告,別把本地模型的新手導向 Apple 硬體,因為軟體落差會讓他們對整個類別倒盡胃口。

他描述自己用 Claude Opus 5.5 在六小時內(晚上九點到凌晨三點)從頭到尾打造了一臺拖車,用兩張 RTX Pro 6000 做照片標註、影片升頻與音訊升頻,剪輯與 A/B 挑選則交給他的 MacBook。他的結論是:過去得花錢請專業人士的工作,如今代理就能做,而三年內,一臺家用的小型專用模型就能搞定。

「雲端基本上就是別人家的地下室。」

綜合觀察:差距正在最佳化上縮小,而非在信任上縮小

貫穿 Osman 整場演講的主軸是:本地 AI 剩下的問題是工程問題與信任問題,不是能力問題。能力曲線——KV 快取縮減 437 倍、4-bit 下 94% 準確率、27B 模型打敗大 15 倍的 MoE——跑得比圍繞它的工具鏈與評測還快。他未解的張力也真實存在:他一邊主張基準測試不可靠,一邊又靠基準數字來立論;他一邊賣本地工具組,一邊承認低於某個門檻時租 GPU 往往才是對的;而他的持續學習配方是一個公開預測,他明說一年後歡迎大家拿來檢驗。值得追蹤的發展是:他呼籲的各晶片專屬推論引擎是否真的出現、engram 加決策模型加權重編輯這套堆疊是否會從 Osmantic 出貨,以及他點出的評測問題,是否會在下一個模型週期讓當前排行榜全部過時之前,被任何人解決。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論