Hugging Face Blog·· 4 小時前精選AI 評分68
LFM2.5‑24B‑A2B 推出可於本機快速執行的私有代理模型
Run fast, private agents on-device with LFM2.5-24B-A2B
AI 導讀
LFM2.5‑24B‑A2B 是一個 24B 引數、每個 token 只啟用 2B 引數的推理模型,專為本機快速私有代理設計。
- 推理速度:在 Apple M5 Max 上 184 tok/s,單張 NVIDIA B300 GPU 可達 21 000 tok/s,速度比同類 MoE 模型快 1.7 倍。
推薦理由
LFM2.5‑24B‑A2B 以 2B 活躍引數實現快速本地推理,與更大 MoE 模型在工具使用與指令跟隨上相媲美,適合隱私離線代理。
來源:Hugging Face Blog · huggingface.co