Liquid AI 釋出 LFM2.5-VL-DSpark 視覺語言模型草稿模型
Liquid AI 針對視覺語言模型 LFM2.5-VL-3B 釋出了實驗性的 DSpark 草稿模型,通過引入投機解碼路徑實現推理加速。該草稿模型包含 2.8 億引數(增量 8.9%),在端側和 GPU 上解碼速度最高可提升 3.13 倍,並且首日即整合支援 llama.cpp、MLX-VLM 和 SGLang。
Liquid AI 針對視覺語言模型 LFM2.5-VL-3B 釋出了實驗性的 DSpark 草稿模型,通過引入投機解碼路徑實現推理加速。該草稿模型包含 2.8 億引數(增量 8.9%),在端側和 GPU 上解碼速度最高可提升 3.13 倍,並且首日即整合支援 llama.cpp、MLX-VLM 和 SGLang。
Jev 是一款快速且低成本的分類模型,本文示範如何以約 $17 的成本在 Together AI 上訓練並部署自己的 Jev 版本。 • 基礎模型採用 Qwen3.5 4B,搭配 38,340 個來自 Hugging Face 的多類別資料集。
vllm-metal v0.28.0 釋出,提供在 Apple Silicon 上的高併發 LLM 服務,相容 OpenAI API 並支援 MTP、GGUF、混合模型與 NAX 預填。
推薦理由:本篇說明 vllm-metal 如何在 Apple Silicon 上實現高併發推理,為 Mac 上部署 LLM 的工程師提供可直接套用的效能最佳化與配置指引。
Hugging Face 的 transformers 庫新增對 GGUF 模型的支援,允許使用者通過熟悉的 API 在本地高效載入和執行量化模型。該整合通過複用 ggml 的 Metal 核心並在 Apple Silicon 上最佳化生成迴圈,使 transformers 能夠直接執行諸如 Qwen3.5 等架構的量化權重。
推薦理由:原文介紹了 transformers 對 GGUF 模型的支援及底層最佳化,讀者可以瞭解如何在熟悉的介面中直接載入和執行本地量化模型。
oMLX 創作者兼維護者 Jun Kim 加入 Hugging Face 以支援 MLX 社群,oMLX 將保持 Apache 2.0 開源協議並繼續由其主導。此舉旨在為 oMLX 提供穩定性和更快的開發節奏,使其作為測試新想法的試驗檯,同時簡化 transformers 模型到 MLX 實現的轉換流程。
英國 AI 安全研究所正使用 EvalEval 的 Evaluation Cards 基礎設施公開分享評估結果,以支援更具可復現性和可驗證性的評估科學。此次釋出包含了五項基準測試和兩項安全評測的驗證結果、上下文及配置資訊,涵蓋了 Claude Opus 系列與 GPT-5 系列等六款前沿模型,並配合其關於推理計算如何塑造前沿 LLM 評測的研究論文一同釋出。
Hugging Face 釋出了 tokenizers v1 候選版本,在完全保持原有輸出、API、詞表與合併規則的前提下,通過工作空間拆分、bitcannon SIMD 分割、word cache 快取、零分配合並迴圈及原生並行等最佳化,使編碼速度較 v0.23 提升 3 到 30 倍。
IBM Research 團隊指出當前基準測試中的平均準確率掩蓋了AI 助理的可靠性問題,並推出了用於測量和改善該問題的 Consistency Analyzer 與一致性指南。實驗表明,該方法在 AppWorld 測試中將一致性差距從 24.4 個百分點縮小至 12.0 個百分點,且未降低平均準確率。相關開原始碼與技術報告已釋出。
vLLM Project 擴充 Speculators 與 Mooncake 隱藏狀態傳輸流程,為 Kimi K3 訓練 DSpark 草稿模型,並將其整合至 vLLM 推論服務。
推薦理由:文章拆解 MooncakeHiddenStatesConnector 如何支援跨節點傳送隱藏狀態,並以 Kimi K3 的訓練與推論資料呈現 DSpark 的效能變化。
本文說明瞭在 vLLM 中對 Kimi K3 進行的多項效能最佳化,最終吞吐量提升至 2.8 倍。 - 最終吞吐量:2.8× - 主要最佳化:自適應 speculative token。
推薦理由:本文詳細說明瞭多項效能最佳化技術,對於需要高吞吐量 Kimi K3 部署的工程師具有實務參考價值,可直接落地。
Hugging Face Transformers v5.17.0 正式發布,本次更新擴充多項全新模型架構與重大功能改進,涵蓋多模態、語音識別及混合專家模型支援: - 新模型與架構新增: - HYV4:780B 引數的混合專家(MoE)模型,每 Token 啟動 49B 引數,具備 1M tokens 上下文視窗。
推薦理由:此版本擴充多項新模型架構與語音多模態支援,開發者可藉此評估最新開源模型的整合與升級選項。
Hugging Face 官方介紹瞭如何使用 TRL v1.14 中的 AsyncGRPOTrainer 在不同機器上非同步訓練 LoRA 介面卡並同步至 vLLM。通過將兆位元組大小的 rank-1 介面卡寫入儲存桶並藉助代理路由 KV 快取字首,該方案省去了 NCCL 跨節點通訊,使 500 步訓練耗時縮短至原來的四分之一。
推薦理由:文章展示瞭如何在不同機器上執行訓練與推理,通過儲存桶同步 LoRA 介面卡,為分散式強化學習提供了可複用的工程方案。
Graidio 團隊釋出了 Workflow1111,這是一個基於 Gradio Workflow 重構 AUTOMATIC1111 功能集的單工作流畫布,包含由 73 個節點和 11 條媒體管線組成的圖表。
Hugging Face 團隊推出了 NeoMME,這是一個包含 260M 和 800M 引數的多語言多模態基礎編碼器系列。該模型不使用單獨的視覺塔或因果語言模型,而是通過單個雙向 Transformer 同時處理文本 token 和原始影像塊。
funes 是為 Claude Code、Codex、pi 和 Hermes 等編碼代理提供持久記憶層的工具。
推薦理由:funes 讓編碼代理在不同機器和會話間共享持久記憶,顯著降低重做成本並提升工作流效率。
作者基於開源方案復現了讓大語言模型通過編寫 JavaScript 程式碼繪製水彩畫的強化學習流程,並公開了參考影像池、強化學習環境、訓練指令碼及訓練好的模型。文章對比了不同美學獎勵權重配置下的多項實驗結果,詳細記錄了基礎設施搭建及訓練調優過程中的發現。
本文介紹了使用 TRL 庫和 GRPO 對 LFM2.5-350M 模型進行輕量化微調的開源教程,展示了僅需約 500 個樣本和 100 個訓練步驟即可將模型在 IFStruct 基準測試中的整體表現從 22.6% 提升至 29.7% 的具體方法。
Allen Institute for AI 介紹了 BenchMIRT,這是一種用於在單個提示詞層面審計大模型基準測試的新方法。該方法將多維專案反應理論應用於 100 個大模型在 16 個基準測試中的表現,獨立恢復出安全與通用推理兩個主導維度,發現部分基準測試的實際測量結果與其宣稱的目標存在偏差。
Hugging Face 宣佈推出 @huggingface/kernels,這是一個用於從 Hub 載入和執行最佳化版 WebGPU 運算元的最小化庫,首發包含 207 個覆蓋多種機器學習架構的運算元。同時,官方還推出了瀏覽器端 GPU 效能基準測試與評估套件 Fleet,用於收集跨真實硬體的效能與正確性資料以最佳化運算元。
MiniMax H3 在 vLLM-Omni 上的全系統最佳化與 FastVideo 的 FastH3 低延遲即時服務。文章詳細說明從全系統最佳化到 FastH3 的四步驟,並提供實際測試結果。
Google Research 推出 TimesFM-3,這是一個擁有 3.3 億引數、原生支援多變數預測的零樣本時間序列基座模型。該模型採用解碼器架構與交替注意力機制,支援單次前向傳遞生成整個預測區間,在 Gift-Eval、FEV-Bench 和 Time 等基準測試中表現優於其他預訓練基座模型,目前已在 GitHub 和 Hugging Face 上線。
Open ASR Leaderboard 近日新增首個全球南方語言評測集,包含 Hindi 與 Indian English 兩個 Monsoon 資料集,公開與私有四個 speaker‑disjoint split,覆蓋 4,888 名說話人並記錄 12 個屬性。
Sentence Transformers v6.0 版本引入了多向量檢索模型和完整的訓練方法。作者以醫療檢索領域為例,展示瞭如何在一塊消費級 GPU 上微調出一個超越各大通用檢索模型的領域專用模型。微調方法涵蓋了模型選擇、資料集格式、損失函式、訓練引數以及評估器等核心元件。
推薦理由:文章給出了多向量嵌入模型的完整訓練與微調步驟,讀者可以據此在特定領域獲得超越通用檢索模型的效果。
Granite 4.2 是 IBM 推出的三種規模(3B、8B、30B)的稠密解碼器推理 LLM,基於 Granite‑4.1 預訓練模型,使用約 15T 令牌的五階段訓練策略,擴充套件上下文視窗至 512K,並通過監督微調和多階段強化學習(包括 agentic RL)實現鏈式思考、工具呼叫與低成本思考模式。
推薦理由:Granite 4.2 通過多階段 RL 訓練實現強推理與工具呼叫能力,讀者可瞭解其技術細節與效能提升。
Hugging Face 推出的 Quantization-Aware Healing(QAH)方法,讓經結構壓縮與量化的 4-bit 模型在 9 項 benchmark 中的 7 項超越了全精度原版。
Gradio 推出內建的 gr.Workflow 功能,允許開發者將 AI 應用步驟描述為型別化節點的圖,提供可執行的拖拽畫布、即時中間結果展示及一鍵部署到 Hugging Face Spaces 的能力。該工作流同時自動生成 REST API,支援通過 Python 客戶端或 cURL 直接呼叫。
Hugging Face 最新研究引入了三項測試,用於量化語音識別模型中的基準測試最佳化(benchmaxxing)現象,評估了 11 個開源 ASR 模型後發現部分高分系統會復現基準測試中的錯誤轉錄、填補被靜音的數字並根據資料集調整拼寫習慣。
Hugging Face 宣佈重構 Papers with Code 搜尋引擎,採用混合檢索系統結合 PostgreSQL、pgvector 與 reciprocal rank fusion(RRF)演算法,提升論文檢索效果。
Liquid AI 針對 LFM2.5 模型家族釋出了 DSpark 草稿模型檢查點,通過引入推測解碼路徑,在不改變輸出質量的情況下實現了最高 3.2 倍的吞吐量提升。
Diffusers 0.40.0 釋出多項新管線、張量並行支援與 CLI 改進,為開發者帶來更高效的多模態推論與操作體驗。 - 新管線:MiniMax‑H3、MiniMax Music 3、Wan Animate 2、LTX‑2.5 等,支援影像、音訊、影片同步生成。
VeRL-Omni v0.2.0:更快的擴散 RL 與穩定的 Omni 訓練 summary_zh: VeRL-Omni v0.2.0 釋出更快的擴散 RL 與穩定的 Omni 訓練功能。
Hugging Face 團隊釋出研究探討如何為 AI 助理配置自蒸餾記憶,評估了從 30B 到前沿模型的 8 款模型在 AppWorld 基準上的表現。研究發現AI 助理記憶效果取決於模型能力層級:強模型適合注入完整記憶,較弱模型適合精選檢索,而已飽和模型則無明顯增益。精選檢索能在僅增加 5% token 的情況下使 gpt-oss-120b 任務完成度提升 16.1 個百分點。
Sentence Transformers 釋出 v6.0 版本,首次引入第四種模型型別 MultiVectorEncoder,用於支援 ColBERT 風格的後期互動檢索。該版本允許開發者通過熟悉的 API 直接載入各類 PyLate、ColBERT 以及 ColPali 視覺文件檢索模型的檢查點,無需經過複雜的格式轉換。
Dharma AI 推出一種約束感知 GPU 分配器,通過將即時推理需求建模為動態曲線並結合優先順序排程,在不更換硬體的情況下使叢集利用率提升高達 33 個百分點。該分配器在多個基準測試中展現出更高的吞吐量與優先順序加權產出,同時保持極低的決策延遲。
Wiz 發布了封閉迴圈修復手冊,說明如何結合 Red Agent、Green Agent、Remediation & Response 以及 Wiz Workflows,實現自動化、即時的漏洞修復流程。
vLLM-Omni 0.27.0 版加入分散式層級解除安裝 (DLO) 與 AllGather,可讓 200B+ DiT 模型跨多個 NPU 或 GPU 以最小主機記憶體執行。
推薦理由:此文詳細說明如何利用 vLLM-Omni 的分散式層級解除安裝,讀者可快速部署 200B+ DiT 模型並評估效能。
Hugging Face 釋出了 2026 年夏季開源模型現狀報告,梳理了從 1 月到 8 月期間平臺上的模型規模、下載與點贊分化、開源協議、衍生生態以及AI 助理流量變化。報告指出中國實驗室在前端模型規模上領先,Qwen 成為社群衍生基石,同時端側量化和AI 助理呼叫正在重塑平臺生態。
本文介紹了 Strands Robots 中的流式資料閉環方案,展示瞭如何通過自然語言指令錄製機器人示範資料、將其同步至 Hugging Face Storage Buckets 並進行基於 Xet 的位元組級去重。隨後,開發者可以直接從 Hub 流式讀取資料集來訓練策略,並將訓練好的檢查點重新部署到硬體上。
Hugging Face 舉辦了一場使用編碼AI 助理逐條復現 ICML 2026 論文的駭客松,1,221 名參與者在 19 天內釋出了 6,816 份日誌並嘗試復現了 2,226 篇論文。
推薦理由:文章公佈了大規模AI 助理復現學術論文的成果與發現,讀者可以從中瞭解自動化復現對檢驗科研質量的實際效果與侷限。
Hugging Face 部落格介紹了 ALTK-Evolve 庫,該庫通過高效的記憶檢索實現與 ACE 相比更低的 Token 消耗,同時保持或提升準確率。ALTK-Evolve 與 ACE 都利用代理自身軌跡學習,但在記憶構建和交付方式上不同:ACE 採用完整的 playbook 注入,而 ALTK-Evolve 只檢索模型可用的指導原則,從而顯著降低推理 token。