跳到正文
Dev.to Top Tech(dev.to)· Alain Airom (Ayrom)·· 5 天前品質評分47

NVIDIA Nemotron 3.5 Lightning:打造本機 MoE 探索工具

Inside NVIDIA Nemotron 3.5 Lightning: Building a (Local) Mixture-of-Experts Explorer

重點導讀

跑大型 AI 模型很花運算資源,如果只是分派程式工作、檢查格式,可能有點大材小用。

  • 這個專案用 Ollama 在本機操作 NVIDIA Nemotron 3.5 Lightning:模型共有 30B 個引數,但每次只啟用 3B 個,兼顧模型容量與執行速度。工具會顯示生成速度和等待第一個字出現的時間。
  • 專家啟用熱度圖則是模擬畫面,因為 Ollama 目前不會提供模型實際用了哪些專家的資料。這讓人能在自己的電腦上觀察模型運作,也能分清哪些數字是實際量到的,哪些只是示意。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Inside NVIDIA Nemotron 3.5 Lightning: Building a (Local) Mixture-of-Experts Explorer

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論