跳到正文
Hugging Face Blog·· 4 小時前精選AI 評分68

LFM2.5‑24B‑A2B 推出可於本機快速執行的私有代理模型

Run fast, private agents on-device with LFM2.5-24B-A2B

AI 導讀

LFM2.5‑24B‑A2B 是一個 24B 引數、每個 token 只啟用 2B 引數的推理模型,專為本機快速私有代理設計。

  • 推理速度:在 Apple M5 Max 上 184 tok/s,單張 NVIDIA B300 GPU 可達 21 000 tok/s,速度比同類 MoE 模型快 1.7 倍。
推薦理由

LFM2.5‑24B‑A2B 以 2B 活躍引數實現快速本地推理,與更大 MoE 模型在工具使用與指令跟隨上相媲美,適合隱私離線代理。

來源:Hugging Face Blog · huggingface.co