跳到正文
Hacker News (official RSS)(inceptionlabs.ai)·· 3 小時前精選AI 評分85

Mercury 3:擴散式 LLM 的規模化

Mercury 3: Diffusion at scale

AI 導讀

Mercury 3 是目前最強大的擴散式 LLM,速度可達 1,068 tokens/s,並支援 1M token 上下文。

  • 效能對比:在多項基準上優於 GPT‑6 Luna 與 Claude Haiku 5.5。
推薦理由

Mercury 3 以 diffusion 模型突破規模與速度,提供 1M 上下文及 1,068 tokens/s 的高效推論,對需要低延遲、長上下文的即時應用具備實際價值。

正文 · AI 翻譯

今天我們推出 Mercury 3,迄今為止最強大的基於擴散的 LLM。在各種基準上,Mercury 3 超越 GPT-6 Luna 和 Claude Haiku 5.5,且速度比之快 4–8 倍,達到每秒 1,000+ tokens。

Mercury 3 展示文字擴散可擴充套件性。它比 Mercury 1 大 40 倍以上,且更聰明,但速度同樣快。

Intelligence vs. model size

早期合作夥伴已經使用 Mercury 3 進行語音與聊天支援、即時輔導、資料工程與網頁導航:

Mercury 3 一覽

  • 品質:與 GPT-6 Luna、Claude Haiku 5.5 等前沿速度最佳化模型相當或更優。

  • 速度:在 NVIDIA GPU 上每秒 1,068 tokens。 

  • 上下文:1M tokens,較 Mercury 2.5 的 260K 增至 1M。

  • 價格:每百萬輸入 tokens $0.20,輸出 tokens $0.70。

    • 上市時,Mercury 3 以 50% 折扣提供,每百萬輸入 tokens $0.10、輸出 tokens $0.35。快取 tokens 的價格比輸入價格低 90%。

Mercury 3 benchmark results

擴散在大規模

當我們推出 Mercury 1 時,它是第一個證明擴散 LLM 可用於商業應用的案例。AI 社群的未解之題是擴散 LLM 是否能在複雜用例上與自回歸模型競爭。

Mercury 3 回答了這個問題:它們可以。我們將 Mercury 的總引數提升了 40 倍以上,且在各種標準基準上的智慧提升了 3 倍,從 Mercury 1(mini)到 Mercury 3。推動自回歸模型進步的擴張法則,同樣適用於擴散模型。

Intelligence vs. model size

Mercury 3 在實際運營中

早期合作夥伴已經執行 Mercury 3,以支援延遲敏感型應用,如瀏覽器使用代理、互動式教育、即時搜尋代理和客戶支援。

瀏覽器使用代理

代理在每一步都等待模型,因此微小延遲會迅速累積。Mercury 使每一次傳遞都保持快速,無論代理在瀏覽網站、跨來源研究,或分析日誌並追蹤事件。代理更快完成,並有時間嘗試更多方法再回答。

我們在生產環境的 web‑agent harness 中,將 Mercury 3 與前沿模型對比,完成 50 個即時 Mind2Web 導航任務。Mercury 3 完成了 50% 的任務,遠超 GPT-6.1‑Sol。它使用與前沿模型相同的 token 數量和代理步驟,且每 token 成本僅佔一小部分。

Shuhao Zhang,TinyFish AI 共同創辦人

互動式教育

學習依賴快速回饋迴圈,任何延遲都會讓學生脫離學習內容。Mercury 逐一推理每個請求,並近乎即時回覆,無論是語音導師進行對話、助手批改作業,或應用程式根據學生剛錯誤的地方調整下一題。

Mercury 3 讓我們能即時給予每位學生回饋,且不失推理能力。提示、標記答案與定義現在約一秒回傳,品質與之前使用的模型相當或更佳。當學生卡在題目時,這速度使他們能繼續工作而非等待,也可直接替換我們現有的技術棧。

Michael Tong,General Learning(又稱 RevisionDojo)共同創辦人/CTO

即時搜尋代理

搜尋應用在僅僅幾秒延遲後就會感覺不回應。Mercury 3 執行速度足以處理數十份檔案,並在使用者仍在互動時回答。

在智慧眼鏡上,回覆需要五秒鐘會覺得失效。在我們的 Sense API 測試中,Octen 搜尋約 80 毫秒;模型生成是瓶頸。Mercury 3 在我們測試的快速模型中提供了速度與品質最佳平衡,平均生成時間為 0.9 秒,平均端到端回應時間為 2.2 秒。

Kuan Zou,Octen AI 創辦人兼 CEO

客戶支援

支援代理必須快速回答,常為受監管的企業,錯誤回答成本高昂。Mercury 讓回覆保持對話式,同時不犧牲準確性。

在 Lorikeet,我們協助複雜且受監管的企業為客戶打造跨語音、聊天與電子郵件的禮賓服務。聊天與語音中,客戶需要快速回覆,但我們不能在準確性或正確完成工作上妥協。早期測試中,Mercury 3 在延遲方面勝過其他模型,同時在評估和實際運作中表現更佳。

Michael Gribben,Lorikeet 技術團隊成員

即時產品組合

Mercury 3 是擴大產品組閤中的旗艦模型,該組合可啟用即時 AI。

  • Mercury Voice: Mercury Voice 針對語音應用的極低延遲需求以及最小化首個回答 token 時間(TTFAT),而非僅僅是端到端延遲,已經為 Audivi AI、Altur 和 OpenCall 的代理提供動力。 

  • Mercury Decide: Mercury Decide 是為高量分類打造的決策模型,在 JevBench、LegalBench 等基準測試中表現優於 Jev。

開始使用

Mercury 3 今日已於 Inception API 平臺及 OpenRouter、Baseten、Vercel 上提供。它與 OpenAI API 相容,能無縫融入您現有的技術棧,無需重寫。企業部署支援專用容量、自動擴縮、合規控制與可配置的資料保留。

Mercury 3 已上線。Diffusion 可擴充套件。

來源: Hacker News (official RSS) (inceptionlabs.ai)
開啟原文