LFM2.5-24B-A2B:打造快速本地代理模型
LFM2.5-24B-A2B: Built for fast on-device agents
LFM2.5-24B-A2B 是 Liquid AI 發布的 24B 引數推理模型,僅 2B 活躍引數,專為快速本地代理設計。
- 推理速度:184 tokens/s 在 Apple M5 Max,21K tokens/s 在單一 NVIDIA B300 GPU,速度比同規模 MoE 快 1.7 倍。
此模型在推理速度與小型化上突破,可直接部署於本地代理,對需要離線推理的場景具重要參考價值,並在多項工具使用基準上與更大模型相媲美,展示了高效推理架構的可行性。
今天,我們發布LFM2.5-24B-A2B,這是一個擁有 24B 引數的推理模型,僅有 2B 引數為活躍引數,為快速、私有化的本機代理設計。它是 LFM2.5 系列中最大的最終模型,該系列現在跨越兩個量級:從LFM2.5-230M到LFM2.5-24B-A2B。
LFM2.5-24B-A2B 在八項代理與工具使用基準測試中,有五項表現與 Qwen3.6-35B-A3B(擁有約 50% 更多總引數與活躍引數)相當,分別在 LiveClaw 得分 48.09,與 AutomationBench 得分 27.69,遠高於 8.72。因為每個 token 只有 2B 引數為活躍,於本機運算時速度可比同類 MoE 提升至 1.7 倍,Apple M5 Max 上達 184 tokens/s,單顯示卡 NVIDIA B300 GPU 上可達 21K 輸出 tokens/s。
基礎版(LFM2.5-24B-A2B-Base)與後訓練版(LFM2.5-24B-A2B)模型為開放權重,今日已於 Hugging Face 與 我們的 Playground 上提供。請參閱我們的 檔案,瞭解如何本機執行與微調。
自 LFM2-24B-A2B 以來有何變化
LFM2.5-24B-A2B 在我們先前的 LFM2-24B-A2B 發行基礎上進行了擴充詞彙表與上下文視窗、擴大預訓練規模,以及大規模強化學習。與前代不同,LFM2.5-24B-A2B 為純推理模型,會在最終答案前先產生明確的思考鏈。此策略旨在利用其高速解碼速度並提升答案品質。
架構。它保留 40 層、每個 MoE 區塊 64 位專家、top-4 路由,並維持相同的閘控短卷積與 GQA 混合。兩項架構調整為:將上下文視窗從 32,768 擴充套件至 131,072 token,以及 即時 tokenizer 擴充,將詞彙表從 65K 擴至 128K token,以提升非拉丁文字的分詞效果。
預訓練已從 17T token 擴增至 33T token。
中訓練分為兩階段。第一階段以 32K 上下文處理 2T token,採用精選且高品質的資料,重點偏向推理、數學、程式碼、指令跟隨與多語言文本。第二階段以 131K 上下文處理 300B token,偏重長上下文資料。兩階段皆包含工具呼叫與多輪對話路徑,以訓練模型適應代理工作負載。
後訓練將 LFM2.5-24B-A2B-Base 轉換為代理版 LFM2.5-24B-A2B,採用下列五階段流程: (1) 監督式微調(SFT), (2) 教師專化, (3) 非代理式與 (4) 代理式多領域即時蒸餾(MOPD),以及 (5) 代理強化學習(Agentic RL),在各代理框架內進行訓練,例如 OpenClaw、Hermes Agent、Pi 與 OpenCode。
在教師專化階段,LFM2.5-24B-A2B 展現了眾所周知的獎勵駭客行為:在倉庫的 git 歷史或 GitHub、PyPI、Hugging Face 等平臺搜尋最終答案。更令人驚訝的是,它甚至判斷自己處於沙盒環境,示例見下。
此行為看似自發,但可能由於訓練資料中包含類似模式所致。我們已加強沙盒設定,以下報告的所有結果皆來自封閉評估環境。
基準測試
我們在 16 個涵蓋工具使用與代理工作流程、知識、指令遵循、數學與程式碼的基準上評估了 LFM2.5-24B-A2B。儘管它在總引數和活躍引數數量上是最小的模型,仍與擁有約 50% 更多總引數和活躍引數的較大 MoE(如 Qwen3.6-35B-A3B)競爭,且常常超越它們。
基準 | LFM2.5-24B-A2B | Qwen3.6-35B-A3B | Gemma-4-26B-A4B-it | Nemotron-3.5-Lightning (30B-A3B) |
AutomationBench | 27.69 | 8.72 | 5.46 | 2.61 |
BFCLv4 | 65.01 | 65.00 | 57.09 | 53.78 |
ToolSandbox | 80.71 | 75.02 | 72.09 | 75.13 |
LiveClaw | 48.09 | 38.19 | 41.25 | 37.72 |
PinchBench | 83.18 | 89.93 | 77.12 | 84.20 |
τ³-Bench Banking | 8.04 | 7.63 | 4.54 | 7.01 |
WebArena Verified | 26.75 | 37.62 | 25.62 | 28.69 |
GPQA Diamond | 74.42 | 83.69 | 74.90 | 72.42 |
AA-Omniscience | -24.90 | -24.35 | -59.39 | -3.58 |
HLE | 7.40 | 7.69 | 8.57 | 5.65 |
IFEval | 96.75 | 93.06 | 92.00 | 94.19 |
IFBench | 74.69 | 64.21 | 47.44 | 71.67 |
Multi-IF | 84.38 | 81.53 | 82.19 | 82.34 |
MATH-500 | 96.04 | 96.73 | 95.66 | 96.40 |
SWE-Bench Verified (OpenCode) | 51.00 | 66.20 | 25.80 | 53.40 |
SciCode | 32.71 | 37.35 | 35.42 | 27.78 |
在八個工具使用與代理工作流程基準中,LFM2.5-24B-A2B 在其中五項(AutomationBench、BFCLv4、ToolSandbox、LiveClaw 與 τ³-Bench Banking)領先或與競爭對手持平,且在 AutomationBench 上的領先幅度最大,得分超過下一佳模型的三倍。它亦在所有三項指令遵循基準中領先。較大型模型在知識密集型基準(如 GPQA Diamond、HLE、AA-Omniscience)以及程式碼基準(如 SWE-Bench Verified (OpenCode) 與 SciCode)上仍保持優勢。
這些結果使 LFM2.5-24B-A2B 成為需要推理、呼叫工具並在本機可靠執行的代理的理想基礎。對於知識密集型工作負載,我們建議將 LFM2.5-24B-A2B 與檢索或網路搜尋結合使用,充分發揮其工具呼叫優勢。
全域快速推論
LFM2.5-24B-A2B 於首次發布即提供全方位推論生態系統支援:
- llama.cpp — GGUF 檢查點,實現高效邊緣推論
- MLX — 為 Apple Silicon 最佳化的推論
- vLLM — GPU 加速服務,提升生產吞吐量
- SGLang — 高效 GPU 服務框架
- ONNX — 跨平臺推論,支援多種加速器
所有測試均在 Pipette 上收集,這是 Liquid AI 公開裝置效能資料背後的相同基準基礎設施。
邊緣推論。 由於高效的 LFM2 架構,LFM2.5-24B-A2B 在比較的 MoE 中,在讀取提示與產生答案方面最快。它在 Apple M5 Max 上以 184 tokens/s 解碼,在 AMD Ryzen AI Max+ 395 上以 114 tokens/s,速度比下一佳模型快至 1.7 倍,同時使用最少記憶體。
GPU 推論。 為展示 LFM 架構的競爭力,我們將 GPU 推論吞吐量與其他同等規模的 MoE 模型進行比較。我們在單一 NVIDIA B300 GPU 上以持續負載設定測量 GPU 吞吐量(總輸出 token / 時間),在每個併發層級持續維持目標在飛行請求數,並即時替換完成的請求。
我們以 SGLang 0.5.22 進行每個模型的基準測試,輸入 1,024 個 token,輸出最多 256 個 token,使用 BF16。LFM2.5-24B-A2B 是其規模類別中最快的模型,在高併發下達到每秒超過 21,000 個輸出 token。
在本機執行 LFM2.5-24B-A2B 代理
LFM2.5-24B-A2B 的規模、速度與功能使其成為在您自己的硬體上持續執行的代理的絕佳選擇。在下方示範中,我們將其放入 Hermes Agent,執行於 M5 Max MacBook Pro,該代理在完全本機上規劃、呼叫工具並完成實際任務,無需任何雲端 API 呼叫。
示範的重點不在於單一工具,而是工具派遣迴圈在消費級硬體上感覺互動:詢問、建議、確認、執行、重複,所有步驟每次派遣都在一秒內完成,並附完整審計紀錄,且資料永不離開裝置。檢視 our local agent guide 瞭解如何將模型本地化並與您選擇的 agent harness 連線。
開始使用
立即開始使用 LFM2.5-24B-A2B,已於 Hugging Face 上提供。
如需 API 推論,亦可註冊 Liquid Console,即可獲得 2 美元起始信用。模型收費為每 1M 輸入 token 0.10 美元(快取輸入 0.05 美元)及每 1M 輸出 token 1.00 美元。
透過 LFM2.5,我們實現了 AI 可在任何地方執行的願景。這些模型具備:
- Open-weight — 下載、微調並部署。詳見我們的 model license。
- 從第一天起就快 — 原生支援 llama.cpp、MLX 與 vLLM,適用於 Apple、AMD、Qualcomm 與 Nvidia 硬體
- 完整家族 — 從可自訂的基礎模型到專用音訊與視覺變體,一個架構涵蓋多樣用例
我們迫不及待想看到您創造的成果。
於 Hugging Face 下載
於本機使用您選擇的 harness 執行 LFM2.5-24B-A2B
整合我們的 API
引用
如需引用,請使用以下參考文獻或 BibTeX:
Liquid AI, "LFM2.5-24B-A2B: Built for Fast On-Device Agents", Liquid AI Blog, Oct 2026.
*所有模型均使用 vLLM 評估,並採用以下生成引數:
- AutomationBench: temperature = 0.6, top_p = 0.95, 無最大輸出 token(受模型上下文視窗限制)。
- BFCLv4: temperature = 0.001, max output tokens = 4096.
- ToolSandbox: temperature = 0, max output tokens = 1024; user simulator: GPT-4o-2024-08-06, temperature = 0, max output tokens = 1024.
- LiveClaw: temperature = 1.0 (vLLM default; the agent sets no temperature), max output tokens = 8192.
- τ³-Bench Banking: official user model (GPT-5.2, low reasoning effort) with default BM25 retrieval, temperature = 0, max output tokens = 16384 per turn.
- WebArena: temperature = 0.6, top_p=0.95, max_turns=40 (no of browser actions allowed), 無最大輸出 token(受模型上下文視窗限制)
- Other evals: temperature = 0.6, max output tokens = 32768.