#多模態
RSS 訂閱#多模態
RSS
Ant Ling@AntLingAGI品質評分5757
Hugging Face Transformers Releases精選品質評分6666 Hugging Face Transformers v5.24.0 加入多種模型支援並調整快取名稱
要在 Transformers 裡使用新模型,或讓不同模型共用一套程式,開發者常得處理各自不同的介面。v5.24.0 加入 Inkling 2 Mini、Apertus 1.5、Dory 和 Omnilingual ASR 等模型支援,也把原本依模型而異的 past_key_values 和 cache_params 統一改叫 cache;舊名稱目前仍可使用,但會出現棄用提醒。這次更新也修正了文字串流在中文、日文和韓文內容中可能漏空格或變慢的問題。
推薦理由:Transformers v5.24.0 一次加入多種模型支援,也統一了快取名稱;更新內容能幫開發者掌握新模型接入與舊程式需要調整的地方。
AWS Machine Learning Blog精選品質評分7878 Amazon SageMaker HyperPod 推出跨叢集與跨區域的單一推論入口
模型服務分散在多個叢集和區域時,流量可能塞在忙碌的叢集,其他地方的 GPU 卻閒著;叢集故障時也得手動改設定。AWS 推出 Amazon SageMaker HyperPod Global Inference Gateway,讓使用者端只呼叫一個入口,服務會依 GPU 記憶體與 KV cache 餘裕、排隊情況、區域遠近和錯誤率,把請求送到合適的叢集。若叢集故障,流量會自動切換;請求透過 AWS PrivateLink 傳送,並以 SigV4 和 IAM 驗證。每個叢集原有的 Inference Gateway 仍負責把請求送到模型。這項服務已在 13 個 AWS 區域推出。
推薦理由:這項更新把多個叢集的模型服務整合到單一入口,並說明如何依負載與錯誤狀況分配流量及自動切換,適合瞭解跨區部署的管理方式。
Higgsfield AI 🧩@higgsfield_ai品質評分3737
Hugging Face Blog精選品質評分8383 Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,主打本機使用
本機執行大型模型時,模型大小、回答速度和能力常得互相取捨。Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,這款模型能讀文字和圖片,支援 1M-token 上下文視窗;它讓 12 層模型重複運作三次,用較少的實體層數完成更多運算。文章展示了它在本機寫程式、重畫《星夜》和製作分帳網站的成果,也說明如何透過 transformers、llama.cpp 和 MLX 執行。作者表示,它在 48 項基準中的 32 項領先文中列出的其他模型;這些結果來自 Hugging Face 的測試。
推薦理由:文章以架構說明和實作展示呈現 Inkling 2 Mini 的本機使用方式,也比較它在多項基準上的表現,能看出模型設計與實際應用之間的連結。
vLLM Official Blog精選品質評分7575 vLLM 支援 Thinking Machines 的 Inkling 2 Mini 迴圈模型
模型把部分中間層重複運算,會讓推論時的快取和訊息傳遞更難處理。vLLM 宣佈支援 Thinking Machines 的 Inkling 2 Mini,並在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支援。Inkling 2 Mini 的 12 個核心層會對每個 token 運算三次,每次各自保留 KV cache,並讀取前一次運算傳來的訊息;模型有 26B 總引數、3.5B 啟用引數,支援最多 1M tokens 的上下文。vLLM 也支援可調整運算次數的研究檢查點,讓團隊能測試速度、記憶體用量和品質之間的取捨。
推薦理由:Inkling 2 Mini 的迴圈層會讓每個核心層重複運算三次,vLLM 透過分開管理快取並融合訊息讀取來支援這種架構。
Artificial Analysis@ArtificialAnlys精選品質評分7575推薦理由:Inkling 2 Mini 把模型能力與啟用引數量放在同一張圖上比較,並提供模型大小、文字與圖片輸入及上下文視窗資訊,可用來瞭解它的定位。
Unsloth AI Releases精選品質評分6666 Unsloth 更新加入 Inkling 2 Mini,並加快圖片生成與 MCP 對話
圖片生成慢、MCP 對話每次都重讀整段內容,會增加等待時間和 token 用量。Unsloth 這次更新推出 Inkling 2 Mini,標示為 26B(5.4 active)、支援 1M context;圖片生成也有加速,例如 MiniMax-H3-Image 在 8GB GPU 上生成新提示詞的圖片,從 82.7 秒降到 36.7 秒。使用 MCP 工具的聊天在測試中少處理 83% 到 87% 的提示詞 token,Apple Silicon Mac 也能替影片整段換風格。更新還加入掃描 PDF 的 OCR 辨識,並改善多項訓練與圖片、影片處理速度。
推薦理由:這次更新同時改善圖片生成、影片改風格與 MCP 對話,並列出速度和用量變化,可看出 Unsloth 正在擴大桌面工具的使用範圍。
Google DeepMind@GoogleDeepMind品質評分4545
Together AI Official Blog精選品質評分7373 Together AI 開放使用 Qwen3 TTS,可調整語氣並串流生成語音
把文字變成語音時,開發者可能希望調整說話情緒、維持熟悉的聲音,也讓語音更快開始播放。Together AI 現在提供 Qwen3 TTS,可從 9 種預設聲音中挑選,再用簡短文字改變說話方式;每種聲音都支援 10 種語言。串流時,第一段音訊最快可在 97ms 後送出,文字若還在逐步產生,也能透過 WebSocket 分段送入。服務費用是每 1M 個字元 $20;Qwen 建議使用聲音原本的語言,以取得較好的品質。
推薦理由:文章整理了 Qwen3 TTS 在 Together AI 的語音控制與串流方式,並說明不同語言的聲音品質可能因預設聲音而異。
vLLM@vllm_project品質評分3737🎉 vLLM 首日支援騰訊混元的 Hy4! 一個模型處理文字、圖片和影片:閱讀視覺檔案、比較圖片,並結合文字推理影片片段。 1/4 https://t.co/vftPPimxj7

Together AI@togethercompute品質評分4141
Artificial Analysis@ArtificialAnlys品質評分4545
Together AI Official Blog精選品質評分6565 Tencent Hy4 登上 Together AI,可讀圖片並用來寫瀏覽器遊戲
想讓 AI 助理看懂圖表,還能照著要求做出簡單遊戲,可以試試 Tencent Hy4。Together AI 現在提供這個模型的雲端服務,可用文字和圖片輸入,也支援工具呼叫與 JSON 輸出。文章測試它讀取圖表數字並重畫成 HTML,也讓它用單一提示詞寫出瀏覽器遊戲;作者實際開啟遊戲,確認能玩到結束並重新開始。Together AI 列出的價格是每 1M 輸入 token $0.83、輸出 token $2.50,快取輸入 token $0.042。
推薦理由:文章用讀取圖表、重畫圖表和製作瀏覽器遊戲的實測,呈現 Hy4 在 Together AI 上的圖文輸入與程式生成表現,並列出使用價格。
Higgsfield AI 🧩@higgsfield_ai品質評分3535
Arena.ai@arena品質評分4949
Google Gemini@GeminiApp精選品質評分6565推薦理由:Gemini 可在背景視窗操作 Blender,示範把手繪草圖轉成設定好骨架的 3D 模型,呈現電腦操作功能的實際用途。
AWS Machine Learning Blog精選品質評分6666 Amazon Polly 開放語音複製,幾分鐘錄音就能建立品牌聲音
客服、教材或廣告常需要同一種聲音,改稿時若要重新錄音也很花時間。Amazon Polly 現在提供語音複製功能,取得說話者同意後,使用 1 到 10 段錄音就能建立克隆語音,通常需要 5 到 10 分鐘,之後可用來朗讀新文字。功能支援英文、西班牙文、德文、法文、義大利文、葡萄牙文和印地語,每個聲音只會說錄音使用的語言。語音會加密並限制帳戶存取,合成音訊也會加上浮水印;建立語音免費,使用時按量收費。目前須先取得帳戶使用許可權。
推薦理由:Amazon Polly 可用幾分鐘錄音建立指定語言的克隆語音,並透過 API 用於客服、教材與遊戲等情境;文章也交代同意確認、許可權控管和刪除方式。
Together AI@togethercompute精選品質評分7070推薦理由:Qwen4 Max 在 Together AI 上提供 30% 折扣,原文也列出活躍引數量與上下文視窗,可瞭解這次上架的價格優惠和模型規格。
NVIDIA Blog精選品質評分7171 NVIDIA 與 Microsoft 擴大 AI 運算,從 Azure 延伸到 Windows 電腦
企業想把 AI 用在工作上,得先決定模型要放在哪裡、如何配合自家資料。NVIDIA 和 Microsoft 擴大合作,讓企業能在 Azure 使用 NVIDIA Vera Rubin NVL72 系統,也能透過 Microsoft Foundry 調整 NVIDIA Nemotron 開放模型,再部署到雲端或企業自己的裝置。EY 用這種方式調整模型來分類採購紀錄,在自己的評估資料上準確率提高 55%,成本比專有前沿模型低 15 倍。合作也把 AI 部署選項延伸到 Azure Local、工業用邊緣裝置和 Windows 電腦,讓企業能依資料位置與工作需求選擇執行方式。
推薦理由:NVIDIA 與 Microsoft 把雲端、企業內部和個人電腦的 AI 部署選項串在一起,也展示企業如何用自家資料調整開放模型。
Vercel Blog品質評分6060 Vercel AI Gateway 上線 Liquid AI 的 d1.2 與 d1.2-ultra
需要從音訊或圖片中找出特定資訊時,單靠生成文字不一定方便整理答案。Vercel AI Gateway 現在提供 Liquid AI 的 d1.2 和 d1.2-ultra,這兩個決策模型會直接回傳結構化結果,可回答是或否、選出類別、依規準評分,也能辨認音訊內容或找出圖片物件的位置。d1.2 速度較快、成本較低;d1.2-ultra 則是 Liquid AI 準確度最高的決策模型。使用者可在同一個請求中提出多個問題,請求也會記錄在 AI Gateway 的紀錄中並計入預算。
Unsloth AI Releases精選品質評分6464 Unsloth 更新 AMD NPU 支援,並加入影像與影片 LoRA 訓練
在本機訓練和執行 AI 模型時,硬體支援、模型格式和等待時間常讓人卡關。Unsloth 這次更新讓轉換後的 Q4NX 模型能在 AMD NPU 上載入,也會標示每個模型能不能執行;此外,使用者可以訓練 LTX-2.5 和 MOSS-Image 的 LoRA,並在影片頁面載入 NVIDIA Cosmos3 的 FP8 模型。更新也加入聊天排程,讓排程任務的回覆直接出現在原本的聊天室。部分影像與訓練工作在特定硬體上每步最多快 42%,實際速度會依顯示卡和設定而異。
推薦理由:這次更新把 AMD NPU、影像與影片模型訓練,以及聊天排程整合進 Unsloth,呈現本機 AI 工作流程涵蓋的範圍。
OpenBMB@OpenBMB品質評分5151
llama.cpp Releases品質評分3939 llama.cpp 更新 b12531,支援 VoxCPM2 並加快 VoxCPM
llama.cpp 的多模態功能加入對 VoxCPM2 的支援,也讓 VoxCPM 跑得快一些。這次更新還提供多種系統和硬體平臺的版本,例如 macOS、Linux、Android 和 Windows,並列出可使用 CPU、GPU 或其他加速硬體的組合,方便使用者依自己的裝置選擇。
Vercel Blog精選品質評分7272 Google 推出 Gemini 4 Neon,並開放在 Vercel AI Gateway 使用
寫程式或處理多步驟工作時,模型要回得快,也得能看懂不同種類的資料。Vercel 宣佈 Gemini 4 Neon 已可透過 AI Gateway 使用;官方說它比先前較輕量的 Gemini 4 升級,回應更快,輸出品質接近 Google 較大型的 Gemini 4 模型。它能讀取文字、圖片、影片和檔案,並支援工具呼叫、結構化輸出、Google 搜尋與 Google 地圖資料,以及四種推理等級。
推薦理由:Gemini 4 Neon 主打較快回應與接近大型 Gemini 4 模型的輸出品質,也支援多種輸入和工具呼叫,適合瞭解它能處理哪些工作。
Artificial Analysis@ArtificialAnlys精選品質評分7070推薦理由:這份評測比較 Gemini 4 Neon 與 Carbon 的任務成本和完成時間,也拆出價格與輸出速度對差異的影響,方便衡量效能和花費。
Alexandr Wang@alexandr_wang品質評分5050
Google DeepMind精選品質評分6969 Google DeepMind 開放 Genie 4,讓使用者邊探索邊修改虛擬世界
探索互動世界時,使用者可能想改變場景,卻得重新開始。Google DeepMind 開放 Genie 4,讓符合資格的 Google AI Ultra 訂閱者在 Project Genie 中一邊移動,一邊用提示詞即時改變天氣、加入角色或調整情節;場景也會搭配隨畫面變化的音訊。Project Genie 還加入 AI 助理協助打造世界,並提供可探索和改編的社群作品。Genie 3 也能延長單次探索時間,或把多個世界接起來;Google 表示,生成的影片和音訊會加入 SynthID 浮水印,輸入與輸出也會經過安全檢查。
推薦理由:Genie 4 可在探索途中依提示即時改變場景,並加入會隨畫面變化的音訊,呈現互動世界模型的創作方式。
Modal Engineering Blog品質評分5656 Miguel Novelo 用 Modal 打造瑪雅文字研究工具
瑪雅文字刻在石頭上的深度和形狀,可能藏著平面照片看不出的線索,但逐件手工做成 3D 模型要花不少時間。藝術家兼史丹佛講師 Miguel Novelo 用 Modal 建立流程,把 2D 瑪雅文字影像轉成 3D 模型;他從約 100 個音節符號開始,也把展場觀眾畫下的圖形納入流程。研究者可以旋轉模型、改變照明,仔細檢視雕刻。Novelo 希望日後用更多 3D 雕刻資料訓練專用模型,找出文字形狀與語言之間的關係;他也強調,研究需要結合瑪雅社群的知識與學者的共同解讀。
Google AI Official Blog精選品質評分7878 Gemini app 登上低記憶體 Android 手機,帶來語音、相機與圖片功能
記憶體較少的 Android 手機,過去受硬體限制,多半隻能使用基本語音指令。Google 重新設計 Gemini app,讓它能在符合條件的 Android Go 裝置上順暢運作。使用者可以用 45 種以上語言和 Gemini Live 對話、練習面試,也能用相機拍下筆記或表格來學習和翻譯,或用 Nano Banana 製作圖片。這讓更多人能在日常手機上使用 Gemini;部分合作夥伴的未來新機也會預先安裝這款 app。
推薦理由:低記憶體手機過去多隻能使用基本語音指令,這次更新把 Gemini 帶到 Android Go 裝置,讓更多人能用語音、相機和圖片生成功能。
Kling AI@Kling_ai品質評分4545更多方式,讓每個細節都由你掌握 👀 更逼真的效果。原生 8K。風格一致的影像組。進階文字呈現。 Kling Image 4.0 現已上線 @higgsfield_ai
vLLM@vllm_project品質評分5757
Artificial Analysis@ArtificialAnlys品質評分3838
Higgsfield AI 🧩@higgsfield_ai品質評分4242
Artificial Analysis@ArtificialAnlys精選品質評分8383推薦理由:GPT-6.2 Astra 與 Sol 在多項評測的名次和價格效率各有表現,也出現編碼評分停滯或下滑,便於比較不同用途的取捨。
LMSYS Org Blog精選品質評分7676 SGLang Summit 發表 SGLang v1.0 與 Miles v0.2,擴大推論和訓練支援
AI 模型越來越大,AI 助理也會累積大量工作紀錄,讓推論和訓練更難在不同硬體上順利進行。SGLang Summit 發表 SGLang v1.0,聚焦提升正式環境的效率與擴充能力;Miles v0.2 則支援 NVIDIA 和 AMD GPU、Google TPU,並將強化學習擴充套件到圖片、影片和音訊。大會也分享多個部署案例,例如 Meta 表示,改用 SGLang 後 GPU 用量減少超過 2 倍。這些更新與案例呈現了團隊如何把實際部署需求帶回開源工具的開發中。
推薦理由:SGLang 與 Miles 的更新涵蓋推論和強化學習,也整理了不同硬體與實際部署的經驗,可看出開源工具如何回應現場需求。
Perplexity@perplexity_ai品質評分5454
NVIDIA Newsroom Press Releases精選品質評分7979 NVIDIA 推出 Nemotron for Science,讓 AI 助理協助規劃科學實驗
研究人員要做科學實驗,得安排模擬、執行程式,再確認結果,過程常需要反覆操作。NVIDIA 推出 Nemotron for Science,結合 Nemotron 3.5 Super VL、化學資料集和生命科學與化學的訓練方法,研究人員可在自己的 DGX Spark、工作站或超級電腦上執行。在 Argonne National Laboratory,一個用這套工具打造的 AI 助理從一句提示詞開始,規劃並測試假設、挑選模擬,找出兩個新的結合位點。這讓研究人員能在自己的系統上使用模型與資料來協助研究。
推薦理由:Nemotron for Science 可在研究者自己的系統上運作,並結合實驗規劃與模擬,文中案例呈現 AI 助理協助科學研究的方式。
Unsloth AI Releases精選品質評分7676 Unsloth 0.1.919-beta 加入電腦操作,並更新模型選擇與圖片模型支援
AI 助理要操作電腦或接上創作軟體,常得另外處理許可權和連線。Unsloth 0.1.919-beta 加入測試版電腦操作,讓本機視覺模型或已連線的服務檢視螢幕、控制滑鼠和鍵盤;第一次操作、切換應用程式和部分可能有風險的動作都要先核准,也能隨時接手。更新還能透過 MCP 連線 Unity、Unreal Engine、Godot、Blender 和 Roblox。MiniMax-H3-Image 新增多種硬體支援與 LoRA 訓練;原文表示,在 A100 80GB 上解碼 2048px 圖片從 2.82 秒縮短到 0.28 秒。
推薦理由:這次更新把螢幕操作、創作軟體連線和本機圖片模型支援放進同一套工具,能看出 Unsloth 正擴大本機 AI 助理的使用範圍。
Vercel Blog品質評分5858 Vercel AI Gateway 開放使用 Seedance 2.5 Flash 生成影片
想用文字或現有素材生成影片時,Seedance 2.5 Flash 現在可透過 Vercel AI Gateway 使用。它是 Seedance 2.5 的較快、較低成本版本,可生成帶同步音訊的影片,也能參考圖片、影片或音訊,或編輯和延長既有影片。影片長度為 4 到 30 秒,最高 720p、每秒 24 格,並支援橫向、方形和直向畫面。使用者可透過 AI SDK 7 呼叫這個模型。