Voxtral 3 推出全新語音代理 SDK，支援 50+ 語言即時對話

思考

摘要

Voxtral 3 介紹了尖端的語音代理 SDK 以及最先進的語音模型，設計用於 50+ 語言的即時多步驟對話。它結合準確的轉錄、帶有情緒適應性的自然語音合成，以及深度工具整合，實現無縫工作流程自動化。可透過 Mistral 的 EU-hosted API 或自行部署，確保資料主權，同時為聯絡中心、虛擬助手與擴音副駕提供低延遲、類人互動。

語音轉錄與語音生成已取得長足進展，但構建能聆聽、推理、互動並處理複雜工作流程的端到端語音代理仍然困難。 

一個可靠的語音代理必須同時非常擅長完成四項工作： 

1. 準確聆聽跨越語言、口音、說話者與中斷，

2. 深入推理使用者在特定情境中的意圖，

3. 自然說話帶有情緒與表達，並且 

4. 執行多步驟動作透過連線的系統。 

將這四項功能在即時環境中可靠地協同運作仍是挑戰。 

為瞭解決此問題，我們推出 Voxtral 3：一套全新的最先進 語音轉文字 與 文字轉語音 模型，並搭配語音代理 SDK，將聆聽、思考、工具呼叫與說話整合於單一即時串流管道中。

Voxtral 3 旨在打造自然對話體驗，涵蓋聯絡中心代理、服務臺、虛擬助手與擴音副駕。支援數十種語言、富表達性的語音、複雜推理，以及與您自有工具與資料的深度整合，使用 Voxtral 建構的代理能解讀微妙意圖、推理複雜請求，並在連線系統間執行多步驟動作。

與其他 Mistral 模型相同，Voxtral 3 系列設計為主權部署。今日可透過 Mistral 的 EU-hosted API 或自行部署於您自己的基礎設施，讓組織掌控音訊處理位置、資料處理方式，以及是否保留對話。

重點

1. 跨 50+ 語言的準確轉錄。語音轉文字模型 Voxtral Small Transcribe 3 是多語言轉錄領域的前沿技術，能辨識誰說了什麼（說話者辨識），並利用關鍵短語提升準確度（上下文偏差調整）。它能偵測某人已結束發話，讓代理能即時回應（結束回合偵測）。

2. 能隨對話調整的自然語音。文字轉語音模型 Voxtral Mini TTS 3 引入新聲音，能根據對話情境調整情緒、語速與重點，支援 35+ 語言與 50+ 方言。

3. 以您的（口語）指令展現類人智慧。新的語音代理 SDK 將聆聽、推理、工具呼叫與說話整合為即時體驗。代理能在電話或網頁即時對話中檢索資訊、與商業系統互動，並完成任務。

4. Pro Voice for distinctly accurate voice adaptation. 對於基礎聲音複製不足以滿足的專業使用情境，Voxtral 的 Pro Voice 適配功能能夠在僅使用 30 分鐘音訊的情況下，重現說話者的獨特特徵、情感範圍與說話風格，並跨語言呈現。 

5. Your voice AI, on your infrastructure. 使用 Mistral 的 EU 主機 API 或將 Voxtral 3 部署在您自己的基礎設施上。將敏感對話保留在您自己的環境中，並控制是否保留任何音訊。 

立即試用 Voxtral | 瞭解更多

支援 50+ 語言，準確度達到最先進水平。

Voxtral Transcribe 3 是在轉錄、說話者辨識（誰在何時說話）以及語境偏置能力上的重要里程碑。支援語言清單擴充至 50 程語，包括 24 程官方 EU 語言以及許多低資源的亞洲和印度語言。

Small 版本在說話者辨識和多語言轉錄方面均達到最先進成果，包括英語、法語和西班牙語。它優於 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。Mini 變體 擁有 4B 引數，能以每分鐘 $0.0035 的價格提供快速且準確的轉錄。

兩個模型均支援語境偏置，您可以提供關鍵詞和自由文本來偏置轉錄並提升對技術術語的召回率。這使它們能在生產環境中使用專業領域詞彙，而無需微調。

Voxtral Realtime Transcribe 3 是一款為代理式使用情境打造的即時轉錄模型。它能在 500 毫秒以下延遲完成高品質轉錄，支援 35+ 種語言，並具備說話者辨識與上下文偏差功能。

結束語句預測已原生支援，結合聲學與語義資訊準確判斷使用者何時結束說話。這使得低延遲語音代理應用成為可能，同時降低使用者被提前中斷時的誤判率。

它以正確的情感回應，使用您或您客戶品牌自己的語音與當地方言。

Voxtral Mini TTS 3.0，可批次與即時使用，達成 35+ 語言與 50+ 方言的領先表達力與指令跟隨。以 1M 字元 13 美元計價，Voxtral Speech 3 的執行成本低於 OpenAI TTS-1、Deepgram、ElevenLabs Flash 與 Gemini Flash 的同類模型。

此語音模型能隱式理解上下文的語義，產生跨多種情感與語言的自然語音。新功能與改進包括從 30 分鐘以上的錄音樣本進行聲音克隆、可自訂提示指令跟隨 (IF)、情境 TTS，以及詞彙庫，所有功能皆為部署時的語音可靠性。明確 IF 的變數包含 emotion、pacing 與 emphasis。

提示

讓我們在此結束辯論：它是 GIF。

預設

非標準音素提示：dʒ ɪ f

所有自然語音都依賴情感，情感決定語調、節奏、速度、重點與過渡。Voxtral TTS 會原生解析提示文字的上下文以判斷情感與聲音風格，使模型本質上更擅長自然語音，無需額外指令或聲音提示。

Illustrating Voxtral hill‑climbing 在表達性、數字和獨特名稱方面。

提示

謝謝您致電 Mistral！我瞭解您在登入 AI Studio 時遇到困難。可以確認您的電子郵件地址嗎？我這裡有 elena.vance82@yahoo.com，正確嗎？

Voxtral 1

Voxtral 3

Speech sounds local 在 35 程語言及超過 50 個方言中。

Voxtral TTS 支援超過 35 程語言 及地區方言。我們的多語言評估遵循方言在發音、正式與非正式語調、拼寫、冗長度以及地區慣例（時間、日期、溫度、地址、貨幣）的差異。

Voxtral 3 多語言庫

Voice Presets 可在 18 程語言使用：阿拉伯語（阿聯酋、現代標準）、巴西葡萄牙語、加泰羅尼亞語、中文（普通話）、荷蘭語、英語（美式、英式）、法語（法國）、德語、希臘語、印地語、義大利語、韓語、挪威語、俄語、西班牙語（西班牙）、越南語。

語音代理負責整個對話。

Voxtral 3 介紹了一個語音代理 SDK，基於 LiveKit，將語音輸入、推理和語音輸出作為一個串流管道。Voxtral Mini Transcribe Realtime 3 會聆聽並偵測呼叫者何時結束說話，一個通用模型——像是 Mistral Small——會進行推理並呼叫工具，Voxtral Speech 3 則以目前對話的語氣回覆。沒有任何階段等待前一階段完成，因此每輪在一秒內完成，且當呼叫者插話時代理會停止講話。

在通話期間，代理可以驗證呼叫者身份、查詢帳單或預約，使用函式呼叫、網頁搜尋以及從您自己的系統檢索。它透過 SIP 進行呼叫回覆與撥號，並在瀏覽器與 WebRTC 應用程式中執行，連線到您已使用的電話、IVR 及聯絡中心軟體。

每個階段都是獨立模型，因此您可以在不重寫代理的情況下更改 LLM、語音或語言，並在 Mistral 的歐洲 API 或您自己的基礎設施上執行整個堆疊。

立即開始。

Voxtral 3 今日可透過 Mistral API 使用，並在我們的歐洲、美國及全球端點上託管。

您可以在 Studio 遊樂場測試語音代理、音訊轉錄、語音生成與聲音克隆。

若要在本機或私有雲上執行完整堆疊，與我們的團隊聯絡。