跳到正文

多模態

文本之外的能力:視覺理解、圖文混合、音影片輸入輸出的模型與產品進展。

最新精選

第 1–20 條 · 共 241 條
11月22日週日
  1. Dev.to Top Tech81

    Inkling 2 Mini 如何用重複運算,讓 26.4B 引數模型裝進約 20GB

    模型引數多,常會需要更多記憶體;Inkling 2 Mini 用一種重複運算的方法,讓模型可以裝進約 20GB。它會讓中間幾層重複處理同一份資料,因此用同一批引數多算幾次,而不是一直增加新引數。模型共有 26.4B 引數,每個 token 只啟用 3.4B,文章說可在 32GB Mac 上執行。它在 SWE-bench Verified 得到 79.2%,但這些成績來自團隊自己的測試,還沒有獨立重現;文章也提到,不同來源對重複運算的次數說法不一。

    推薦理由:文章以 Inkling 2 Mini 的引數規模、記憶體需求與程式基準比較,說明重複使用部分層如何用更多運算換取較小模型,並交代測試仍來自實驗室。

11月21日週六
  1. Hugging Face Transformers Releases66

    Hugging Face Transformers v5.24.0 加入多種模型支援並調整快取名稱

    要在 Transformers 裡使用新模型,或讓不同模型共用一套程式,開發者常得處理各自不同的介面。v5.24.0 加入 Inkling 2 Mini、Apertus 1.5、Dory 和 Omnilingual ASR 等模型支援,也把原本依模型而異的 past_key_values 和 cache_params 統一改叫 cache;舊名稱目前仍可使用,但會出現棄用提醒。這次更新也修正了文字串流在中文、日文和韓文內容中可能漏空格或變慢的問題。

    推薦理由:Transformers v5.24.0 一次加入多種模型支援,也統一了快取名稱;更新內容能幫開發者掌握新模型接入與舊程式需要調整的地方。

  2. The Decoder77

    Thinking Machines 推出 Inkling 2 Mini,讓模型多想幾步也少寫文字

    有些模型得寫出更多文字才能多做推理,Thinking Machines 推出的開放模型 Inkling 2 Mini,改用重複運算部分層的方式,在不多生成文字的情況下延長內部推理。它能處理文字和圖片,並可在記憶體至少 32 GB 的 Mac 上本機執行。Artificial Analysis 的 Intelligence Index 給它 20 分,與 Qwen3.8 27B 同分;Thinking Machines 表示,它在程式開發測試中也有不錯的表現。

    推薦理由:Inkling 2 Mini 透過重複運算部分層來延長內部推理,文章也比較了它在程式測試、速度與成本上的表現。

  3. Dev.to Top Tech76

    Gemini 4 Hydrogen 和 GPT-6.1 Terra 評測:Hydrogen 在 9 項共同基準中贏了 8 項

    挑模型時,分數較高的選項也可能比較貴,而且公開測試不一定符合自己的工作。作者比較 Gemini 4 Hydrogen 和 GPT-6.1 Terra 在 Google 模型卡上都有分數的 9 項基準,Hydrogen 贏了 8 項,Terra 則在科學類終端機測試勝出;這些結果由 Google 執行,兩款模型的測試條件可能不同。依文中列出的標準 API 費率,輸入 2,000 萬、輸出 500 萬 token,每月費用分別是 $67.50 和 $45.00。文章建議用自己的工作測試分數、費用和成功率,再決定怎麼選。

    推薦理由:文章把兩款模型的公開基準分數、每百萬 token 費用與月用量試算放在一起,呈現選擇時效能和成本的取捨。

  4. AWS Machine Learning Blog78

    Amazon SageMaker HyperPod 推出跨叢集與跨區域的單一推論入口

    模型服務分散在多個叢集和區域時,流量可能塞在忙碌的叢集,其他地方的 GPU 卻閒著;叢集故障時也得手動改設定。AWS 推出 Amazon SageMaker HyperPod Global Inference Gateway,讓使用者端只呼叫一個入口,服務會依 GPU 記憶體與 KV cache 餘裕、排隊情況、區域遠近和錯誤率,把請求送到合適的叢集。若叢集故障,流量會自動切換;請求透過 AWS PrivateLink 傳送,並以 SigV4 和 IAM 驗證。每個叢集原有的 Inference Gateway 仍負責把請求送到模型。這項服務已在 13 個 AWS 區域推出。

    推薦理由:這項更新把多個叢集的模型服務整合到單一入口,並說明如何依負載與錯誤狀況分配流量及自動切換,適合瞭解跨區部署的管理方式。

  5. Dev.to Top Tech78

    Clairic-Flash 如何在本機執行,以及 RTX 3090 和 4090 為何跑不動官方版本

    想在自己的電腦上用 Clairic-Flash 擷取檔案資料,可能會遇到顯示卡不合和量化版本少了功能的問題。作者整理了官方執行方式,以及 RTX 3090、4090 和 Apple Silicon 的替代路徑:官方執行環境會在 RTX 30、40 系列的顯示卡上因架構限制失敗;社群修正版可讓 3090 使用 BF16 或 int4,但測試中的發票加總與付款期限仍有錯誤。Apple Silicon 的 4-bit 版本較省記憶體,卻可能看錯數字;若要擷取重要發票欄位,作者建議選用較高精度。一般 GGUF 版本則缺少 Clairic 的部分專用功能。

    推薦理由:文章對照官方執行環境、社群量化版本與不同硬體的記憶體需求,也指出各路徑會失去哪些欄位,能幫助讀者評估本機部署是否適合自己的資料流程。

  6. Hugging Face Blog83

    Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,主打本機使用

    本機執行大型模型時,模型大小、回答速度和能力常得互相取捨。Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,這款模型能讀文字和圖片,支援 1M-token 上下文視窗;它讓 12 層模型重複運作三次,用較少的實體層數完成更多運算。文章展示了它在本機寫程式、重畫《星夜》和製作分帳網站的成果,也說明如何透過 transformers、llama.cpp 和 MLX 執行。作者表示,它在 48 項基準中的 32 項領先文中列出的其他模型;這些結果來自 Hugging Face 的測試。

    推薦理由:文章以架構說明和實作展示呈現 Inkling 2 Mini 的本機使用方式,也比較它在多項基準上的表現,能看出模型設計與實際應用之間的連結。

  7. vLLM Official Blog75

    vLLM 支援 Thinking Machines 的 Inkling 2 Mini 迴圈模型

    模型把部分中間層重複運算,會讓推論時的快取和訊息傳遞更難處理。vLLM 宣佈支援 Thinking Machines 的 Inkling 2 Mini,並在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支援。Inkling 2 Mini 的 12 個核心層會對每個 token 運算三次,每次各自保留 KV cache,並讀取前一次運算傳來的訊息;模型有 26B 總引數、3.5B 啟用引數,支援最多 1M tokens 的上下文。vLLM 也支援可調整運算次數的研究檢查點,讓團隊能測試速度、記憶體用量和品質之間的取捨。

    推薦理由:Inkling 2 Mini 的迴圈層會讓每個核心層重複運算三次,vLLM 透過分開管理快取並融合訊息讀取來支援這種架構。

  8. Artificial Analysis75

    大型模型常需要較多運算資源,Inkling 2 Mini 則小到可以在 MacBook 或 DGX Spark 上執行。它是 Thinking Machines 推出的開放權重模型,總引數量為 26B,每次運算會啟用 5.4B 引數;文字輸入會經過迴圈層三次,使用 3.1B 個不同權重。模型也能讀取圖片,並支援 1M token 的上下文視窗,採用 Apache 2.0 授權。Artificial Analysis 將它列在 Intelligence Index 第 20 名,並指出它在模型能力與啟用引數量的比較中位於帕累托前緣。

    推薦理由:Inkling 2 Mini 把模型能力與啟用引數量放在同一張圖上比較,並提供模型大小、文字與圖片輸入及上下文視窗資訊,可用來瞭解它的定位。

  9. Unsloth AI Releases66

    Unsloth 更新加入 Inkling 2 Mini,並加快圖片生成與 MCP 對話

    圖片生成慢、MCP 對話每次都重讀整段內容,會增加等待時間和 token 用量。Unsloth 這次更新推出 Inkling 2 Mini,標示為 26B(5.4 active)、支援 1M context;圖片生成也有加速,例如 MiniMax-H3-Image 在 8GB GPU 上生成新提示詞的圖片,從 82.7 秒降到 36.7 秒。使用 MCP 工具的聊天在測試中少處理 83% 到 87% 的提示詞 token,Apple Silicon Mac 也能替影片整段換風格。更新還加入掃描 PDF 的 OCR 辨識,並改善多項訓練與圖片、影片處理速度。

    推薦理由:這次更新同時改善圖片生成、影片改風格與 MCP 對話,並列出速度和用量變化,可看出 Unsloth 正在擴大桌面工具的使用範圍。

  10. Together AI Official Blog73

    Together AI 開放使用 Qwen3 TTS,可調整語氣並串流生成語音

    把文字變成語音時,開發者可能希望調整說話情緒、維持熟悉的聲音,也讓語音更快開始播放。Together AI 現在提供 Qwen3 TTS,可從 9 種預設聲音中挑選,再用簡短文字改變說話方式;每種聲音都支援 10 種語言。串流時,第一段音訊最快可在 97ms 後送出,文字若還在逐步產生,也能透過 WebSocket 分段送入。服務費用是每 1M 個字元 $20;Qwen 建議使用聲音原本的語言,以取得較好的品質。

    推薦理由:文章整理了 Qwen3 TTS 在 Together AI 的語音控制與串流方式,並說明不同語言的聲音品質可能因預設聲音而異。

11月20日週五
  1. Dev.to Top Tech79

    Hy4 flash 自架指南:220B 引數模型的顯示卡記憶體與授權怎麼看

    220B 引數的 Hy4 flash 看起來很大,但每個 token 實際啟用的引數約為 12B;自架時,權重檔和長上下文的記憶體需求才是主要考量。作者拆解模型結構與檔案大小,估算在 1M-token 上下文下,若 KV cache 儲存壓縮後的資料,每條序列約需 6.9 GB;這是作者的推算,實際用量會依快取方式和精度而變。官方 FP8 配方使用 8 張 GPU,授權也有條件:以 API 等方式提供遠端服務,達到指定營收或月活門檻時,需要另取得書面授權。

    推薦理由:文章把 Hy4 flash 的權重、KV cache 與授權條件拆開估算,也標出哪些是作者推算、哪些是騰訊提供的數字,能幫讀者先判斷自架成本與服務限制。

  2. ModelScope83

    看影片時,畫面、對話和背景聲音常要分開處理,WeChat Vision 推出的 WeMM-Video 能把它們放在一起理解,也能用中文或英文回答。這個開放權重模型家族有 2B、4B、9B 和 35B-A3B 等尺寸,可接收文字、圖片、音訊和影片,並提供直接回答與深入推理兩種模式。技術報告稱,35B-A3B 在同等規模的開放模型中影音表現突出;Thinking 模式在 17 項一般影音基準中的 16 項,勝過 Seed2.0-Mini-0428 和 Qwen3.5-Omni-Flash。

    推薦理由:WeMM-Video 把影片畫面、對話與環境聲音放在同一條時間線理解,報告也比較了不同規模模型在多項影音基準上的表現。

  3. Dev.to Top Tech76

    Kilo 用金字塔建造測試比較 GPT-6.2 Astra 和 Sol

    挑 AI 模型寫程式時,價格和做出來的成果都會影響選擇。Kilo 用同一段提示詞,讓 GPT-6.2 Astra 和 GPT-6.2 Sol 各自做出工人建造金字塔、船隻沿河運送材料的互動 3D 場景。兩者都放好了 204 塊石頭並完成 8 層;Astra 的畫面較像電影場景,Sol 的畫面較簡單,但能清楚顯示每組工人在做什麼。這次每個模型只測了一次,作者提醒結果只能當初步參考,也提供在 Kilo Desktop 重跑比較的方法。

    推薦理由:文章用同一個金字塔建造任務比較 Astra 與 Sol 的畫面和操作呈現,也提醒每個模型只跑過一次,結果適合當作初步參考。

  4. aihot75

    騰訊混元開放 Hy4 權重,公佈多模態模型規格與安全評估

    騰訊混元發布 Hy4 開放權重,這是一款原生多模態的 MoE 模型,總引數為 770B、啟用引數為 49B,上下文長度為 1M。團隊也發布 Hy4 System Card,內含安全評估報告,並提供 GitHub、Hugging Face 和 GGUF 權重下載連結。團隊將於本週五太平洋時間上午 8–10 點,在 r/LocalLLaMA 舉行直播 AMA,回答大家對 Hy 模型的提問。

    推薦理由:Hy4 開放權重並附上安全評估報告,文中也列出模型規模與上下文長度,方便了解這次發布提供的資源。

  5. ModelScope85

    開發工作常要同時看懂圖片或影片、操作電腦,還要處理程式和研究任務。Tencent 開放了多模態模型 Hy4 的權重;它有 770B 引數的語言模型骨幹,每個 token 啟用 49B,能處理文字、圖片和影片,並支援 1M-token 上下文。Hy4 也結合畫面理解與 CLI、GUI 工具操作,針對 Blender、CAD 和跨應用程式流程訓練,並為 Unreal Engine、Unity 和 Godot 的遊戲開發做了調整。原文稱它在 OSWorld 2.1、Tencent 內部研究基準 TenureTrail,以及 579 項金融任務評測中領先受測的開放權重模型。

    推薦理由:Hy4 把影片與圖片理解、電腦操作和多款遊戲引擎開發放在同一模型中,文中也列出它在三項測試中的表現。

  6. Together AI Official Blog65

    Tencent Hy4 登上 Together AI,可讀圖片並用來寫瀏覽器遊戲

    想讓 AI 助理看懂圖表,還能照著要求做出簡單遊戲,可以試試 Tencent Hy4。Together AI 現在提供這個模型的雲端服務,可用文字和圖片輸入,也支援工具呼叫與 JSON 輸出。文章測試它讀取圖表數字並重畫成 HTML,也讓它用單一提示詞寫出瀏覽器遊戲;作者實際開啟遊戲,確認能玩到結束並重新開始。Together AI 列出的價格是每 1M 輸入 token $0.83、輸出 token $2.50,快取輸入 token $0.042。

    推薦理由:文章用讀取圖表、重畫圖表和製作瀏覽器遊戲的實測,呈現 Hy4 在 Together AI 上的圖文輸入與程式生成表現,並列出使用價格。

  7. ChatGPT67

    ChatGPT Health 現在能在更多地方使用,讓健康資料更容易接上日常安排。使用者可以在桌面版檢視睡眠和運動的關係,請 dot 避開會議建議運動時間,也能用 Sites 集中追蹤馬拉松訓練進度;Android 則可連線 Health Connect,整合睡眠、活動和運動資料,提供更個人化的健康資訊。這項服務目前在美國提供,桌面版和 Android 開放給 Free、Go、Plus 與 Pro 使用者;Sites 限 Plus 和 Pro,dot 限 Pro。

    推薦理由:Health 擴大到桌面版、Android、Sites 和 dot,並依方案提供不同功能,能看出 ChatGPT 健康服務的使用情境與開放範圍。

  8. aihot75

    Gemini 4 Neon 首發實測:Peter Gostev 比較 3D、遊戲與介面表現

    新模型的實際表現如何,光看排名不容易知道,也得看看它在不同工作裡做得怎麼樣。Peter Gostev 實測 Gemini 4 Neon,拿它和 Opus、Fable、Astra、Sol 等模型比較,展示它在 3D 場景、遊戲、介面和資料視覺化上的表現,並討論畫面細節、操作、設計一致性與定價。Arena 引用的排名資料來自 4.2k 個真實世界 AI 助理對話,Gemini 4 Neon 得分 1336 分、排名第 2,每項任務中位成本為 $2.82;這些數字提供了比較表現與成本的參考。

    推薦理由:這段實測涵蓋 3D 場景、遊戲、介面與資料視覺化,並搭配 Arena 排名和每項任務成本,能從多種用途比較 Gemini 4 Neon 的表現。

  9. Google Gemini65

    用電腦做事時,人還需要繼續使用自己的螢幕和滑鼠。Gemini Mac App 現在可以在背景視窗中操作資料夾、App 和網頁,點選、捲動畫面與輸入文字;示範中,它把一張簡單草圖轉成 Blender 裡設定好骨架的 3D 模型。這讓人能把部分電腦操作交給 Gemini,同時繼續使用自己的螢幕。

    推薦理由:Gemini 可在背景視窗操作 Blender,示範把手繪草圖轉成設定好骨架的 3D 模型,呈現電腦操作功能的實際用途。