跳到正文

#多模態

RSS
今日 4 則
11月21日週六
  1. Dev.to Top Tech78

    Clairic-Flash 如何在本機執行,以及 RTX 3090 和 4090 為何跑不動官方版本

    想在自己的電腦上用 Clairic-Flash 擷取檔案資料,可能會遇到顯示卡不合和量化版本少了功能的問題。作者整理了官方執行方式,以及 RTX 3090、4090 和 Apple Silicon 的替代路徑:官方執行環境會在 RTX 30、40 系列的顯示卡上因架構限制失敗;社群修正版可讓 3090 使用 BF16 或 int4,但測試中的發票加總與付款期限仍有錯誤。Apple Silicon 的 4-bit 版本較省記憶體,卻可能看錯數字;若要擷取重要發票欄位,作者建議選用較高精度。一般 GGUF 版本則缺少 Clairic 的部分專用功能。

    推薦理由:文章對照官方執行環境、社群量化版本與不同硬體的記憶體需求,也指出各路徑會失去哪些欄位,能幫助讀者評估本機部署是否適合自己的資料流程。

  2. Hugging Face Blog83

    Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,主打本機使用

    本機執行大型模型時,模型大小、回答速度和能力常得互相取捨。Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,這款模型能讀文字和圖片,支援 1M-token 上下文視窗;它讓 12 層模型重複運作三次,用較少的實體層數完成更多運算。文章展示了它在本機寫程式、重畫《星夜》和製作分帳網站的成果,也說明如何透過 transformers、llama.cpp 和 MLX 執行。作者表示,它在 48 項基準中的 32 項領先文中列出的其他模型;這些結果來自 Hugging Face 的測試。

    推薦理由:文章以架構說明和實作展示呈現 Inkling 2 Mini 的本機使用方式,也比較它在多項基準上的表現,能看出模型設計與實際應用之間的連結。

  3. vLLM Official Blog75

    vLLM 支援 Thinking Machines 的 Inkling 2 Mini 迴圈模型

    模型把部分中間層重複運算,會讓推論時的快取和訊息傳遞更難處理。vLLM 宣佈支援 Thinking Machines 的 Inkling 2 Mini,並在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支援。Inkling 2 Mini 的 12 個核心層會對每個 token 運算三次,每次各自保留 KV cache,並讀取前一次運算傳來的訊息;模型有 26B 總引數、3.5B 啟用引數,支援最多 1M tokens 的上下文。vLLM 也支援可調整運算次數的研究檢查點,讓團隊能測試速度、記憶體用量和品質之間的取捨。

    推薦理由:Inkling 2 Mini 的迴圈層會讓每個核心層重複運算三次,vLLM 透過分開管理快取並融合訊息讀取來支援這種架構。

  4. Artificial Analysis75

    大型模型常需要較多運算資源,Inkling 2 Mini 則小到可以在 MacBook 或 DGX Spark 上執行。它是 Thinking Machines 推出的開放權重模型,總引數量為 26B,每次運算會啟用 5.4B 引數;文字輸入會經過迴圈層三次,使用 3.1B 個不同權重。模型也能讀取圖片,並支援 1M token 的上下文視窗,採用 Apache 2.0 授權。Artificial Analysis 將它列在 Intelligence Index 第 20 名,並指出它在模型能力與啟用引數量的比較中位於帕累托前緣。

    推薦理由:Inkling 2 Mini 把模型能力與啟用引數量放在同一張圖上比較,並提供模型大小、文字與圖片輸入及上下文視窗資訊,可用來瞭解它的定位。

  5. Unsloth AI Releases66

    Unsloth 更新加入 Inkling 2 Mini,並加快圖片生成與 MCP 對話

    圖片生成慢、MCP 對話每次都重讀整段內容,會增加等待時間和 token 用量。Unsloth 這次更新推出 Inkling 2 Mini,標示為 26B(5.4 active)、支援 1M context;圖片生成也有加速,例如 MiniMax-H3-Image 在 8GB GPU 上生成新提示詞的圖片,從 82.7 秒降到 36.7 秒。使用 MCP 工具的聊天在測試中少處理 83% 到 87% 的提示詞 token,Apple Silicon Mac 也能替影片整段換風格。更新還加入掃描 PDF 的 OCR 辨識,並改善多項訓練與圖片、影片處理速度。

    推薦理由:這次更新同時改善圖片生成、影片改風格與 MCP 對話,並列出速度和用量變化,可看出 Unsloth 正在擴大桌面工具的使用範圍。

  6. Dev.to Top Tech60

    Sora 停止網頁版、App 和 API 的日期,以及停運原因的推測

    OpenAI 已確認 Sora 網頁版和 App 於 2026 年 4 月 26 日停止服務,API 則於 9 月 24 日停止。作者提醒,網路上整理的競爭者排名、營收和每秒影片價格都還不能當成定論;要公平比較影片價格,必須先確認日期、解析度、片長和使用條件。把價格當成 Sora 停運的唯一原因,是作者的解讀,並非已確認的事實。

  7. Google AI50

    Google 整理了近幾週推出的多項 AI 更新:Gemini 4 Neon 主打處理複雜軟體工程、知識工作與科學任務;Hydrogen 著重日常寫程式和 AI 助理工作流程的速度與效率;Carbon 則面向長時間的大型專案和深入研究。其他更新包括可即時編輯場景的 Genie 4、能用聲音一步編輯、改寫或翻譯文字的 Gemini 3.5 Transcribe,以及 Gemini Robotics 2.5 和協助科學家研究疾病成因的 AlphaGenome 2。這些工具涵蓋開發、研究與機器人等用途,也讓開發者能透過 Gemini API 使用更多功能。

  8. NVIDIA AI48

    移開視線再回來,眼前仍是同一個場景。對互動式影片世界模型來說,維持這種一致性是一大挑戰。 NVIDIA Research 的 WorldTrace 協助模型記住地點,無須重新訓練,讓使用者探索時的空間更加一致。在場景回憶基準 LoopBench 上,與標準滑動視窗方法相比,它讓重訪場景的回憶率提升 32%。 閱讀我們的 #NeurIPS2026 論文 ➡️ https://t.co/KH88xnqwk1

  9. Together AI Official Blog73

    Together AI 開放使用 Qwen3 TTS,可調整語氣並串流生成語音

    把文字變成語音時,開發者可能希望調整說話情緒、維持熟悉的聲音,也讓語音更快開始播放。Together AI 現在提供 Qwen3 TTS,可從 9 種預設聲音中挑選,再用簡短文字改變說話方式;每種聲音都支援 10 種語言。串流時,第一段音訊最快可在 97ms 後送出,文字若還在逐步產生,也能透過 WebSocket 分段送入。服務費用是每 1M 個字元 $20;Qwen 建議使用聲音原本的語言,以取得較好的品質。

    推薦理由:文章整理了 Qwen3 TTS 在 Together AI 的語音控制與串流方式,並說明不同語言的聲音品質可能因預設聲音而異。

11月20日週五
  1. The Decoder72

    NVIDIA 傳以至少 $500 million 收購 Inception,擴大 Nemotron 模型佈局

    NVIDIA 正接近以至少 $500 million 收購 AI 新創 Inception,訊息來自熟悉談判的三名人士。Inception 用類似影像生成的擴散方式製作語言模型,逐步修整完整回答,而不是像 ChatGPT 和 Claude 那樣一個 token 接一個 token 產生文字;該公司最近推出了 Mercury 3。這筆收購預計能補強 NVIDIA 的開源 Nemotron 模型與機器人用實體模型。報導指出,Inception 的共同創辦人預計全職加入 NVIDIA;雙方起初都沒有評論。

  2. Dev.to Top Tech79

    Hy4 flash 自架指南:220B 引數模型的顯示卡記憶體與授權怎麼看

    220B 引數的 Hy4 flash 看起來很大,但每個 token 實際啟用的引數約為 12B;自架時,權重檔和長上下文的記憶體需求才是主要考量。作者拆解模型結構與檔案大小,估算在 1M-token 上下文下,若 KV cache 儲存壓縮後的資料,每條序列約需 6.9 GB;這是作者的推算,實際用量會依快取方式和精度而變。官方 FP8 配方使用 8 張 GPU,授權也有條件:以 API 等方式提供遠端服務,達到指定營收或月活門檻時,需要另取得書面授權。

    推薦理由:文章把 Hy4 flash 的權重、KV cache 與授權條件拆開估算,也標出哪些是作者推算、哪些是騰訊提供的數字,能幫讀者先判斷自架成本與服務限制。

  3. 雷科技57

    華為推出 OSTA 星芒 O1 Pro,讓小藝成為手機互動核心

    手機裡的 AI 助理常要人先叫醒,也不一定能把不同應用裡的事情接著做。華為推出 OSTA 星芒 O1 Pro,讓小藝成為手機的主要互動入口,並加入記憶功能,讓它能連結使用者的偏好與不同情境。例如,使用者收藏演唱會資訊後,小藝可以參考常去的餐廳,並在散場前規劃返回飯店的路線。手機也提供小藝 AI 屏和小藝空間,方便檢視日程、長期任務與當下需要的服務;產品售價 5499 元起,已正式開賣。

  4. ModelScope83

    看影片時,畫面、對話和背景聲音常要分開處理,WeChat Vision 推出的 WeMM-Video 能把它們放在一起理解,也能用中文或英文回答。這個開放權重模型家族有 2B、4B、9B 和 35B-A3B 等尺寸,可接收文字、圖片、音訊和影片,並提供直接回答與深入推理兩種模式。技術報告稱,35B-A3B 在同等規模的開放模型中影音表現突出;Thinking 模式在 17 項一般影音基準中的 16 項,勝過 Seed2.0-Mini-0428 和 Qwen3.5-Omni-Flash。

    推薦理由:WeMM-Video 把影片畫面、對話與環境聲音放在同一條時間線理解,報告也比較了不同規模模型在多項影音基準上的表現。

  5. Dev.to Top Tech48

    Automatio 本週新增社群發文、Chrome 分組分頁和一鍵製作 GIF

    Automatio 這週更新了不少功能,其中 AI 助理可以連線多個社群帳號,替你發文、排程、存草稿,也能檢視留言並回覆。發文前通常會先等你點頭;TikTok 的貼文則會先存成草稿,還要到 TikTok App 裡完成。每個連線的帳號每月 $6,最多可連線 20 個。 在 Chrome 裡,AI 助理開的分頁會依照聊天分組;現在也能一步做出迴圈 GIF,還能用自己的圖片當參考。這次也加入更多模型,並讓網站發布流程清楚顯示版本。這些更新讓發文、做圖和管理網站更方便,也讓你知道哪些動作需要自己確認。

  6. 雷科技54

    享界V8純電MPV上市,售價31.98萬元起

    家庭用車除了載人,也得讓全家坐得舒服、用得順手。享界V8是鴻蒙智行首款純電MPV,售價31.98萬至42.98萬元,上市當天開始交付。車內有多個螢幕,手機上的導航和影音可以接著在車上使用,也能連線Switch、穿戴裝置和家中智慧裝置。座椅、靜音和防暈設計照顧長途乘坐;車輛也配有輔助駕駛與多項安全防護。這款車把乘坐、娛樂和居家裝置連在一起,讓家庭出行多了車內使用情境。

  7. Dev.to Top Tech76

    Kilo 用金字塔建造測試比較 GPT-6.2 Astra 和 Sol

    挑 AI 模型寫程式時,價格和做出來的成果都會影響選擇。Kilo 用同一段提示詞,讓 GPT-6.2 Astra 和 GPT-6.2 Sol 各自做出工人建造金字塔、船隻沿河運送材料的互動 3D 場景。兩者都放好了 204 塊石頭並完成 8 層;Astra 的畫面較像電影場景,Sol 的畫面較簡單,但能清楚顯示每組工人在做什麼。這次每個模型只測了一次,作者提醒結果只能當初步參考,也提供在 Kilo Desktop 重跑比較的方法。

    推薦理由:文章用同一個金字塔建造任務比較 Astra 與 Sol 的畫面和操作呈現,也提醒每個模型只跑過一次,結果適合當作初步參考。

  8. Dev.to Top Tech44

    Mira 把心跳和表情變成會跟著變化的互動鏡子

    一般的健康鏡子只顯示數字或播放動畫,看起來不太像活的。Mira 用攝影機讀取心跳和臉部表情,讓畫面跟著心情變色,也讓光圈依心跳快慢起伏;例如微笑時會變成暖琥珀色,驚訝時則變亮。按下「Begin mirror」前,攝影機不會啟動,影像也只留在裝置上,不會錄下或傳出去。它提供的是日常感受回饋,不能當作醫療讀數。

  9. aihot75

    騰訊混元開放 Hy4 權重,公佈多模態模型規格與安全評估

    騰訊混元發布 Hy4 開放權重,這是一款原生多模態的 MoE 模型,總引數為 770B、啟用引數為 49B,上下文長度為 1M。團隊也發布 Hy4 System Card,內含安全評估報告,並提供 GitHub、Hugging Face 和 GGUF 權重下載連結。團隊將於本週五太平洋時間上午 8–10 點,在 r/LocalLLaMA 舉行直播 AMA,回答大家對 Hy 模型的提問。

    推薦理由:Hy4 開放權重並附上安全評估報告,文中也列出模型規模與上下文長度,方便了解這次發布提供的資源。

  10. ModelScope85

    開發工作常要同時看懂圖片或影片、操作電腦,還要處理程式和研究任務。Tencent 開放了多模態模型 Hy4 的權重;它有 770B 引數的語言模型骨幹,每個 token 啟用 49B,能處理文字、圖片和影片,並支援 1M-token 上下文。Hy4 也結合畫面理解與 CLI、GUI 工具操作,針對 Blender、CAD 和跨應用程式流程訓練,並為 Unreal Engine、Unity 和 Godot 的遊戲開發做了調整。原文稱它在 OSWorld 2.1、Tencent 內部研究基準 TenureTrail,以及 579 項金融任務評測中領先受測的開放權重模型。

    推薦理由:Hy4 把影片與圖片理解、電腦操作和多款遊戲引擎開發放在同一模型中,文中也列出它在三項測試中的表現。

  11. Dev.to Top Tech38

    NVIDIA Omniverse 如何用 GPT-6 和 Claude 把文字指令變成機器人模擬

    設定機器人模擬環境很花時間,工程師得替每個 3D 物件調整位置、碰撞和摩擦等細節。文章描述 NVIDIA 把 GPT-6 Astra、GPT-6 Sol 和 Claude Opus 5.5 接進 Omniverse,讓 AI 助理讀懂帶有物理資訊的 3D 資料,再依照文字指令產生機器人控制程式、反覆模擬測試。例子中,Claude Opus 5.5 搭配一張 NVIDIA RTX PRO 6000,同時模擬 768 臺機器人;跑了 14 秒後,有 766 臺保持穩定。這種做法能減少手動設定和測試的工夫,讓工程師更快準備機器人訓練環境。

  12. Dev.to Top Tech60

    Gemini 4 四款模型怎麼選?比較推理、寫程式和長文本表現

    挑模型時,只看一個總分,可能看不出它在自己的工作上好不好用。作者整理 Gemini 4 Argon、Carbon、Hydrogen 和 Neon 的公開測試,沒有重新跑測試;結果顯示,同樣是高推理設定,Neon 和 Carbon 的總分都是 60,但估計完成加權任務的時間分別是 14.8 分鐘和超過半小時。長文本測試也顯示,模型能讀進很多文字,不代表都同樣會追蹤內容之間的關係。文章提醒,寫程式的結果還會受工具、重試方式和驗收標準影響,挑模型時應用自己的任務測試,並把花費、完成時間和通過驗收的結果一起比較。

  13. Artificial Analysis45

    語言模型能不能做出比影片生成模型更好的影片?Artificial Analysis 讓 OpenAI 的 GPT-6.2 Astra 用 three.js 程式碼打造雪梨歌劇院、拆解中的機械錶,以及巨龍攻擊中古城鎮的場景,再用瀏覽器裡的虛擬攝影機拍成 15 秒、1080p、24 fps 的影片。ByteDance 的 Dreamina Seedance 2.5 則收到相同的攝影機路線,搭配路線參考圖作為文字提示詞。這場比較要看的是:語言模型寫程式做出的影片,能否和專門生成影片的模型競爭。

  14. Together AI Official Blog65

    Tencent Hy4 登上 Together AI,可讀圖片並用來寫瀏覽器遊戲

    想讓 AI 助理看懂圖表,還能照著要求做出簡單遊戲,可以試試 Tencent Hy4。Together AI 現在提供這個模型的雲端服務,可用文字和圖片輸入,也支援工具呼叫與 JSON 輸出。文章測試它讀取圖表數字並重畫成 HTML,也讓它用單一提示詞寫出瀏覽器遊戲;作者實際開啟遊戲,確認能玩到結束並重新開始。Together AI 列出的價格是每 1M 輸入 token $0.83、輸出 token $2.50,快取輸入 token $0.042。

    推薦理由:文章用讀取圖表、重畫圖表和製作瀏覽器遊戲的實測,呈現 Hy4 在 Together AI 上的圖文輸入與程式生成表現,並列出使用價格。

  15. ChatGPT67

    ChatGPT Health 現在能在更多地方使用,讓健康資料更容易接上日常安排。使用者可以在桌面版檢視睡眠和運動的關係,請 dot 避開會議建議運動時間,也能用 Sites 集中追蹤馬拉松訓練進度;Android 則可連線 Health Connect,整合睡眠、活動和運動資料,提供更個人化的健康資訊。這項服務目前在美國提供,桌面版和 Android 開放給 Free、Go、Plus 與 Pro 使用者;Sites 限 Plus 和 Pro,dot 限 Pro。

    推薦理由:Health 擴大到桌面版、Android、Sites 和 dot,並依方案提供不同功能,能看出 ChatGPT 健康服務的使用情境與開放範圍。

  16. aihot75

    Gemini 4 Neon 首發實測:Peter Gostev 比較 3D、遊戲與介面表現

    新模型的實際表現如何,光看排名不容易知道,也得看看它在不同工作裡做得怎麼樣。Peter Gostev 實測 Gemini 4 Neon,拿它和 Opus、Fable、Astra、Sol 等模型比較,展示它在 3D 場景、遊戲、介面和資料視覺化上的表現,並討論畫面細節、操作、設計一致性與定價。Arena 引用的排名資料來自 4.2k 個真實世界 AI 助理對話,Gemini 4 Neon 得分 1336 分、排名第 2,每項任務中位成本為 $2.82;這些數字提供了比較表現與成本的參考。

    推薦理由:這段實測涵蓋 3D 場景、遊戲、介面與資料視覺化,並搭配 Arena 排名和每項任務成本,能從多種用途比較 Gemini 4 Neon 的表現。

  17. Arena.ai49

    Google DeepMind 昨天推出 Gemini 4 Neon,影片用 3D 場景、遊戲、介面設計和資料圖表展示它的表現。Peter Gostev 也把它和 Opus、Fable、Astra、Sol 比較,談到畫面細節、創意、動態效果、設計一致性與價格,並分享自己對 Gemini 4 Neon 距離頂尖模型還有多近的看法。這類實際操作比較能讓人看出模型在不同任務上的表現,但推文沒有說明最終排名或比較結果。

  18. Philipp Schmid61

    即時互動應用常要處理不同的連線方式,Google 希望用一致的介面簡化這件事。Google 表示,Genie 4 是第一個透過 Live Interactions API 推出的模型,API 支援 WebRTC(搭配短效權杖)和 WebSocket,並可用於 Interactions 與 Gemini API。這項工作也希望讓一般 API 呼叫、即時互動和長時間工作共用同一套介面;Google 邀請開發者回饋,並詢問還需要哪些功能來打造更好的 AI 助理體驗或即時應用。

  19. Google Gemini65

    用電腦做事時,人還需要繼續使用自己的螢幕和滑鼠。Gemini Mac App 現在可以在背景視窗中操作資料夾、App 和網頁,點選、捲動畫面與輸入文字;示範中,它把一張簡單草圖轉成 Blender 裡設定好骨架的 3D 模型。這讓人能把部分電腦操作交給 Gemini,同時繼續使用自己的螢幕。

    推薦理由:Gemini 可在背景視窗操作 Blender,示範把手繪草圖轉成設定好骨架的 3D 模型,呈現電腦操作功能的實際用途。

  20. AWS Machine Learning Blog66

    Amazon Polly 開放語音複製,幾分鐘錄音就能建立品牌聲音

    客服、教材或廣告常需要同一種聲音,改稿時若要重新錄音也很花時間。Amazon Polly 現在提供語音複製功能,取得說話者同意後,使用 1 到 10 段錄音就能建立克隆語音,通常需要 5 到 10 分鐘,之後可用來朗讀新文字。功能支援英文、西班牙文、德文、法文、義大利文、葡萄牙文和印地語,每個聲音只會說錄音使用的語言。語音會加密並限制帳戶存取,合成音訊也會加上浮水印;建立語音免費,使用時按量收費。目前須先取得帳戶使用許可權。

    推薦理由:Amazon Polly 可用幾分鐘錄音建立指定語言的克隆語音,並透過 API 用於客服、教材與遊戲等情境;文章也交代同意確認、許可權控管和刪除方式。

  21. Together AI70

    Together AI 宣佈 Qwen4 Max 已可在平臺上使用,並提供 30% 折扣。這款模型是 Alibaba 的旗艦 Qwen 模型,採用 MoE 架構,總引數量為 2.4T、活躍引數量為 71B;原文表示它適合長時間執行的 AI 助理工作、程式開發和視覺任務,並有 1m 上下文視窗。

    推薦理由:Qwen4 Max 在 Together AI 上提供 30% 折扣,原文也列出活躍引數量與上下文視窗,可瞭解這次上架的價格優惠和模型規格。

  22. NVIDIA Blog71

    NVIDIA 與 Microsoft 擴大 AI 運算,從 Azure 延伸到 Windows 電腦

    企業想把 AI 用在工作上,得先決定模型要放在哪裡、如何配合自家資料。NVIDIA 和 Microsoft 擴大合作,讓企業能在 Azure 使用 NVIDIA Vera Rubin NVL72 系統,也能透過 Microsoft Foundry 調整 NVIDIA Nemotron 開放模型,再部署到雲端或企業自己的裝置。EY 用這種方式調整模型來分類採購紀錄,在自己的評估資料上準確率提高 55%,成本比專有前沿模型低 15 倍。合作也把 AI 部署選項延伸到 Azure Local、工業用邊緣裝置和 Windows 電腦,讓企業能依資料位置與工作需求選擇執行方式。

    推薦理由:NVIDIA 與 Microsoft 把雲端、企業內部和個人電腦的 AI 部署選項串在一起,也展示企業如何用自家資料調整開放模型。