推出 Gemma 4 12B:無編碼器統一多模態模型
DeepMind 推出 Gemma 4 12B,這是一款無編碼器的統一多模態模型,能夠直接在配備 16GB VRAM 的筆記本上執行。它在保持與 26B MoE 近似的推理效能的同時,顯著降低了記憶體佔用,並首次支援原生音訊輸入。
推薦理由:Gemma 4 12B 以無編碼器的多模態架構實現低記憶體、強推理,適配本地 16GB VRAM 機器,讀者可據此評估在邊緣裝置上的部署可能。
DeepMind 推出 Gemma 4 12B,這是一款無編碼器的統一多模態模型,能夠直接在配備 16GB VRAM 的筆記本上執行。它在保持與 26B MoE 近似的推理效能的同時,顯著降低了記憶體佔用,並首次支援原生音訊輸入。
推薦理由:Gemma 4 12B 以無編碼器的多模態架構實現低記憶體、強推理,適配本地 16GB VRAM 機器,讀者可據此評估在邊緣裝置上的部署可能。
Ollama 0.30 正式發布,新增 GGUF 相容與多 GPU 效能最佳化。 - 效能提升:NVIDIA GPU 上加速至 20%,測試以 Gemma 4 26B + Q4_K_M 量化。
Together AI 透過 TensorRT 多型別引擎、CUDA Graph 以及共享記憶體等技術,打造出全球最快的語音辨識堆疊,能在 10 秒內完成約 20 小時的語音轉錄。
Goose Agent 與 Together Dedicated Container Inference 讓開發者能在一個 session 內把 Hugging Face 上的新模型(如 Netflix 的 void‑model)部署到 GPU 背景的容器中,零配置即時使用。
推薦理由:本文示範如何利用 Goose Agent 及 Together Dedicated Container Inference,將 Hugging Face 模型零配置即時部署,縮短從發布到使用的時間,對快速實驗與落地具有實務價值。
Diffusers 0.38.0 釋出多項新功能,擴充影像、音訊與文本生成管線,並最佳化核心庫效能。
推薦理由:Diffusers 0.38.0 釋出多樣化的影像、音訊生成管線與核心效能最佳化,開發者可直接整合至現有工作流程。
Together AI 與 Adaption 共同推出 Adaptive Data 與 Together Fine‑Tuning 的整合,讓使用者可在 Adaptive Data 上最佳化資料後直接進行高效微調與部署。
summary_zh: - AE Studio 透過 Modal 平臺,將大語言模型(LLM)訓練成能在 Lean 語言中證明數學定理的 AI,並比較 GRPO 與 Evolution Strategies (ES) 兩種強化學習更新規則。
Mistral AI 釋出 4B 引數量的語音生成模型 Voxtral TTS,支援 9 種語言的高質量語音合成與低延遲流式傳輸。該模型具備上下文理解、說話人建模及零樣本跨語言語音適應能力,已通過 API、Mistral Studio 和 Hugging Face 開放。
推薦理由:原文公佈了架構細節和零樣本跨語言能力,讀者可以據此評估它在即時語音工作流中的表現。
Mistral AI 推出了基於開源編碼助手 Vibe 構建的自主測試AI 助理,能夠自動為 Ruby on Rails 程式碼庫生成、驗證和改進 RSpec 測試。該AI 助理通過倉庫級上下文、分類技能檔案以及 RuboCop 和 SimpleCov 自定義工具,在包含 275 個檔案的真實程式碼庫測試中實現了 100% 的程式碼覆蓋率和通過率。
Diffusers 0.37.0 透過模組化管線與多款新影像/影片模型,為開發者提供更靈活的創作與部署方案。 - 模組化管線:可組合可重用的區塊,省去從零開始編寫管線的時間。
推薦理由:Diffusers 0.37.0 透過模組化管線與多種新影像/影片模型,為開發者提供更靈活的創作與部署方案。
Mistral AI 釋出了 Voxtral Transcribe 2 語音模型系列,包含用於批次轉寫的 Voxtral Mini Transcribe V2 和用於即時應用的 Voxtral Realtime。
推薦理由:Mistral 釋出了 Voxtral Transcribe 2 語音模型系列,並開源了 Voxtral Realtime 權重,讀者可以據此瞭解其在即時性與多語言轉寫上的新進展。
Diffusers 0.36.0 於 2025 年 12 月 9 日發布,內含 Flux2、Z‑Image、SAGE 等多個新影像與影片生成管線,以及 Flash Attention 3 等高效後端。
推薦理由:Diffusers 0.36.0 透過 Flux2、Z‑Image、SAGE 等新管線及 Flash Attention 3,為影像與影片生成提供更高效、可擴充的工具,開發者可直接整合進工作流程。
Mistral AI 釋出新一代 Mistral 3 模型系列,包含 14B、8B 和 3B 的 Ministral 3 端側稠密模型,以及採用稀疏 MoE 架構、啟用引數 41B 總引數 675B 的旗艦模型 Mistral Large 3。所有模型均採用 Apache 2.0 許可證開源,支援多模態與多語言能力,推理版本也將很快推出。
推薦理由:原文釋出了包含稠密小模型與 MoE 旗艦大模型的全新模型系列,並全部採用 Apache 2.0 許可證開源,開發者和企業可直接藉此在多端與雲端部署前沿智慧能力。
本倡議將於 2025 年 8 月舉行「AI 漏洞月」,聚焦代理式 AI 系統中的 Prompt Injection 漏洞,並透過每日博文揭露實際攻擊案例與緩解建議。
Mistral AI 釋出了開源語音理解模型 Voxtral,包含面向生產的 24B 規格與面向端側的 3B 規格,均採用 Apache 2.0 協議開源。該系列模型支援 32k 上下文、長達 30 至 40 分鐘的音訊處理、內建問答與摘要、多語言處理及函式呼叫功能,並在多項語音轉寫和理解基準測試中表現優異。
推薦理由:該模型提供了兩種尺寸並開源,讀者可以根據自身算力條件選擇合適的版本進行本地部署或呼叫 API。
Mistral AI 釋出首個推理模型 Magistral,推出開源的 Magistral Small(24B)和企業級 Magistral Medium 兩個版本。
推薦理由:原文給出了兩個版本的具體效能指標與開放渠道,讀者可以據此評估其在真實業務和推理任務中的表現。
Mistral AI 宣佈推出 Mistral Small 3.1,這是一款在其體量級別表現出色的開源模型。該模型帶來改進的文本效能、多模態理解以及高達 128k tokens 的上下文視窗,並以 Apache 2.0 許可證開源。
Continue 與 Ollama 讓開發者可在 VS Code 或 JetBrains 內部直接使用開源 LLM 進行程式碼補完與聊天。 - Codestral 22B:具備補完與聊天功能,需 22B 引數、較高 VRAM,適合研究測試。
Mistral 7B 透過 Ollama 在瀏覽器端實現本地 LLM,搭配 LangChain、Voy 與 Transformers.js 完成 RAG 網頁應用。
推薦理由:本文示範如何利用瀏覽器端本地模型構建 RAG 應用,提供可直接套用於前端開發的實作範例,並說明如何透過 Ollama 與 LangChain 連結本地 LLM,降低成本與提升隱私。