Mistral AI 釋出開源語音理解模型 Voxtral
Mistral AI 釋出了開源語音理解模型 Voxtral,包含面向生產的 24B 規格與面向端側的 3B 規格,均採用 Apache 2.0 協議開源。該系列模型支援 32k 上下文、長達 30 至 40 分鐘的音訊處理、內建問答與摘要、多語言處理及函式呼叫功能,並在多項語音轉寫和理解基準測試中表現優異。
推薦理由:該模型提供了兩種尺寸並開源,讀者可以根據自身算力條件選擇合適的版本進行本地部署或呼叫 API。
開源模型、框架與倉庫動態:權重開放、社群專案爆火、開源與閉源的力量消長。
Mistral AI 釋出了開源語音理解模型 Voxtral,包含面向生產的 24B 規格與面向端側的 3B 規格,均採用 Apache 2.0 協議開源。該系列模型支援 32k 上下文、長達 30 至 40 分鐘的音訊處理、內建問答與摘要、多語言處理及函式呼叫功能,並在多項語音轉寫和理解基準測試中表現優異。
推薦理由:該模型提供了兩種尺寸並開源,讀者可以根據自身算力條件選擇合適的版本進行本地部署或呼叫 API。
Mistral AI 釋出首個推理模型 Magistral,推出開源的 Magistral Small(24B)和企業級 Magistral Medium 兩個版本。
推薦理由:原文給出了兩個版本的具體效能指標與開放渠道,讀者可以據此評估其在真實業務和推理任務中的表現。
Ollama 推出多模態模型新引擎,首次支援 Meta Llama 4、Google Gemma 3、Qwen 2.5 VL、Mistral Small 3.1 等視覺模型,並可在本地即時處理影像與文字互動。
推薦理由:Ollama推出的新多模態引擎與多款視覺模型支援,讓使用者能即時測試影像與文字互動,對於需要本地多模態推理的開發者提供可直接落地的解決方案。
Gemma 2 是 Google 推出的新一代大語言模型,提供 2B、9B、27B 三種規模。 - 核心特性:27B 版本在多項基準測試中,效能超越同類規模兩倍以上,展現出高效能與最佳化架構。
推薦理由:Gemma 2 以三種規模提供,27B 版本效能超越同類兩倍規模模型,讀者可評估其高效架構對開發效能的影響。
Ollama 於 2024 年 2 月 8 日發布了 OpenAI API 相容功能,允許使用者在本地端呼叫 Llama 2、Mistral 等模型。 - 相容範圍:支援 OpenAI Chat Completions、Embeddings、Function calling 等 API,未來將加入 Vision、Logprobs 等功能。
推薦理由:Ollama 相容 OpenAI API,使用者可在本地即時呼叫 Llama 2 等模型,輕鬆整合多款工具。
Mistral 7B 透過 Ollama 在瀏覽器端實現本地 LLM,搭配 LangChain、Voy 與 Transformers.js 完成 RAG 網頁應用。
推薦理由:本文示範如何利用瀏覽器端本地模型構建 RAG 應用,提供可直接套用於前端開發的實作範例,並說明如何透過 Ollama 與 LangChain 連結本地 LLM,降低成本與提升隱私。
Lil'Log 文章以實務角度拆解在多 GPU 上訓練極大型模型的關鍵技術。 - 資料並行 - DP、BSP、ASP、梯度累積、AllReduce 方案 - 模型並行 - 將模型切分為多層或多分割槽。
推薦理由:本篇以實務角度拆解多 GPU 訓練策略,提供可直接套用於大型模型開發的最佳實踐,並詳述資料、模型、張量並行與記憶體最佳化技巧。