跳到正文
熱點事件持續更新

Janas-LLM streams MoE models from SSD

1 篇報導1 個報導來源4 小時前更新

先了解這件事

AI 綜述

Janas 讓筆記本能在 32GB 記憶體下執行 80B 引數的混合專家 LLM。

  • 核心特性:專家模型以 SSD 直連流式載入,記憶體只需存放熱專家。

AI 根據報導生成 · 2 小時前更新

報導時間線

沿著報導,瞭解事件的不同面向。

10月13日
  1. Hacker News (official RSS)精選
    Janas:在筆記本上以 SSD 流式載入專家,實現 80B 引數 LLM 的即時執行

    Janas 讓筆記本能在 32GB 記憶體下執行 80B 引數的混合專家 LLM。 - 核心特性:專家模型以 SSD 直連流式載入,記憶體只需存放熱專家。

本事件熱度趨勢

當前熱度 9·可比範圍峰值 10(10月13日 08:00)·近 24 小時可比範圍變化 –

02.557.51010月13日08:0010月13日09:0010月13日09:0010月13日10:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點選圖表檢視每小時熱度;鍵盤可用左右方向鍵切換。