跳到正文

#多模態

RSS
今日 4 則
11月20日週五
  1. Dev.to Top Tech43

    PULSE 心理恐怖遊戲:用 Presage SmartSpectra SDK 讀取玩家的恐懼

    一般恐怖遊戲要按鍵逃跑,PULSE 則用玩家的身體反應操控遊戲。它透過鏡頭測量心跳、呼吸和心跳變化,讓心跳聲跟著玩家的脈搏改變;如果心跳比休息時高出 8 BPM,怪物就會衝來。玩家得坐下、閉上眼睛,慢慢深呼吸,讓心跳降回門檻以下,怪物才會退回黑暗中。遊戲也會顯示即時心跳波形,並在結束時整理存活時間和最高心跳等紀錄。作者表示,影像只在玩家電腦記憶體中處理,不會儲存或傳送;這款遊戲是娛樂作品,不會診斷健康狀況。

  2. Vercel Blog60

    Vercel AI Gateway 上線 Liquid AI 的 d1.2 與 d1.2-ultra

    需要從音訊或圖片中找出特定資訊時,單靠生成文字不一定方便整理答案。Vercel AI Gateway 現在提供 Liquid AI 的 d1.2 和 d1.2-ultra,這兩個決策模型會直接回傳結構化結果,可回答是或否、選出類別、依規準評分,也能辨認音訊內容或找出圖片物件的位置。d1.2 速度較快、成本較低;d1.2-ultra 則是 Liquid AI 準確度最高的決策模型。使用者可在同一個請求中提出多個問題,請求也會記錄在 AI Gateway 的紀錄中並計入預算。

  3. aihot83

    Google 在 Gemini API 推出 Genie 4 即時互動世界生成模型

    Google 在 Gemini API 上推出 Genie 4,能依文字、16:9 參考圖,或兩者一起生成可即時操控的虛擬世界。畫面以 24 fps、16:9 影片串流輸出,並同步提供 48 kHz 立體聲;使用者可透過 WASD、方向鍵或對話中的文字事件控制世界。服務透過 WebRTC 和 WebSockets 傳送,付費方案每 100 萬輸入 token 收費 $1.50、每 100 萬文字輸出 token 收費 $9.00、每 100 萬影片輸出 token 收費 $17.50,影片價格約為每秒 $0.10,含立體聲。

    推薦理由:更新日誌列出 Genie 4 的輸入方式、即時操控介面與各類輸出價格,可用來估算接入互動式世界生成的成本。

  4. aihot76

    Google 在 Gemini API 和 AI Studio 推出 Genie 4 即時世界模型

    想做能即時互動的虛擬世界,開發者需要能生成畫面並接收操作的工具。Google 在 Gemini API 和 AI Studio 推出 Genie 4,可從文字或圖片生成 720p、每秒 24 格的世界,再用 WASD、提示詞和 48 kHz 立體聲即時操控。串流可透過 WebRTC 或 WebSocket 進行,相關檔案列在 Gemini API 檔案頁面。

    推薦理由:Genie 4 提供畫面規格與兩種串流接法,方便開發者評估如何把即時互動世界接進自己的應用。

  5. Philipp Schmid81

    想從文字或圖片做出能即時操控的影片場景,Genie 4 現在可透過 Gemini API 和 AI Studio 使用。它能建立 720p、24fps 的世界,使用者可以用 WASD 按鍵和提示詞即時操控,並搭配 48 kHz 立體聲音訊。內容可透過 WebRTC 或 WebSocket 串流;WebRTC 使用瀏覽器和臨時權杖。

    推薦理由:Genie 4 可用文字或圖片建立可即時操控的 720p 世界,並透過 Gemini API 或 AI Studio 使用,呈現了互動式影片生成的操作方式。

11月19日週四
  1. Lobste.rs (Engineering Discussion)59

    Contra Labs 與 BenchFlow 用真實設計委託比較 AI 模型

    AI 做出的設計好不好,光看模型分數不容易判斷。Contra Labs 與 BenchFlow 推出 Frontier Design Benchmark,找設計師用真實客戶委託比較不同模型的作品,評審不知道作品由哪個模型產生,也可以判定平手。網站列出 33 份設計委託、68 位專業設計師和 4,311 次盲測投票,另用設計評分規準和 AI 常見粗糙設計模式補充比較。這讓讀者能同時檢視盲測結果與作品評分依據。

  2. Unsloth AI Releases64

    Unsloth 更新 AMD NPU 支援,並加入影像與影片 LoRA 訓練

    在本機訓練和執行 AI 模型時,硬體支援、模型格式和等待時間常讓人卡關。Unsloth 這次更新讓轉換後的 Q4NX 模型能在 AMD NPU 上載入,也會標示每個模型能不能執行;此外,使用者可以訓練 LTX-2.5 和 MOSS-Image 的 LoRA,並在影片頁面載入 NVIDIA Cosmos3 的 FP8 模型。更新也加入聊天排程,讓排程任務的回覆直接出現在原本的聊天室。部分影像與訓練工作在特定硬體上每步最多快 42%,實際速度會依顯示卡和設定而異。

    推薦理由:這次更新把 AMD NPU、影像與影片模型訓練,以及聊天排程整合進 Unsloth,呈現本機 AI 工作流程涵蓋的範圍。

  3. OpenBMB51

    視障與低視力使用者出門時,可能需要協助看懂周遭環境或讀取文字。社群開發者 Rebel-Gloria 打造了 iPhone 和 iPad app PRTS,內建 MiniCPM-V 4.7 1B,可離線描述拍到的場景、朗讀招牌和檔案,也能用語音追問畫面中的細節。支援的裝置還可用另一套 LiDAR 系統提供口頭方向和節奏震動提示;部分線上功能與系統語音辨識則需要網路。

  4. The Decoder84

    Google DeepMind 推出 Gemini 4 Neon,速度更快、定價更低

    Google DeepMind 推出 Gemini 4 Neon,作為 Gemini 4 Carbon 之外的新選擇。Neon 的文字、圖片、音訊和影片上下文視窗可容納一百萬個 token,生成速度接近 Carbon 的兩倍,標準定價也低 25%。不過,Neon 每項任務會多用約 15% 的輸出 token,因此省下的費用來自每 token 單價較低。報導也整理了它在程式開發、檔案和簡報測試中的表現;不同測試與推理設定下的結果並不相同。

    推薦理由:Neon 與 Carbon 的比較涵蓋速度、價格和多項測試,也指出省錢來自較低的每 token 定價,而非較少的輸出 token。

  5. Dev.to Top Tech57

    Live Photo 製作教學:iOS 如何把照片和短片配成一組

    把 MP4 存進 iPhone,只會得到一段影片;要讓照片 App 把靜態照片和短片認成同一張 Live Photo,兩個檔案還得帶有相同的識別碼。作者分享自己製作瀏覽器工具時整理出的格式做法:影片要用 MOV,照片則用 JPEG 或 HEIC,影片裡還要標出照片對應的畫面。短片建議控制在 1.5–3 秒,傳送時也要把兩個檔案放在一起;有些通訊軟體會移除中繼資料,讓配對失效。

  6. Dev.to Top Tech53

    Paneluv 如何讓使用者在買完整漫畫前先檢查預覽

    個人化漫畫如果只展示隨機範例,使用者很難確認人物和故事情節是不是自己想要的。Paneluv 讓使用者先看角色圖和一格故事畫面,再決定是否購買完整漫畫;預覽也分開檢查故事順序、人物和場景。修改時可以指出具體問題,並保留上一版方便比較。若生成較慢,畫面會說明目前進度,使用者也能回到同一個專案檢視角色預覽;遇到失敗時,則要清楚說明重試會沿用目前故事,還是需要重新輸入資料。

  7. ModelScope66

    AI 助理要長時間操作終端機完成工作,往往得面對複雜的程式開發與研究任務。RadixArk 以 Qwen3.8-27B 為基礎,用 1,200 項軟體工程、科學和機器學習任務進行強化學習後訓練。DaisyRose-27B 在 Terminal-Bench 4.1 的 Pass@1 從 5.6 提高到 12.0,也在其他終端機、程式開發、指令遵循和推理評測中優於基礎模型。它保留圖片理解能力與 256K-token 上下文視窗,並提供 BF16、FP8 和 NVFP4 三種權重版本。

    推薦理由:DaisyRose-27B 在多項終端機與程式開發評測中優於基礎模型,呈現強化學習後訓練對長時間任務的影響。

  8. Dev.to Top Tech68

    Yonto Player 如何在沒有 Dolby Vision 解碼器的 Android 裝置上正確播放 profile 5

    沒有 Dolby Vision 解碼器的 Android 裝置播放 profile 5 影片時,畫面可能變成綠色和紫色,因為影片需要額外的資料才能還原正確色彩。Yonto Player 的做法是先用一般 HEVC 解碼器讀取影片,再讀出每個畫面附帶的 RPU 資料,交給 GPU 還原色彩並轉成 SDR。逐一計算每個畫素太慢,作者改用預先算好的色彩查詢表,讓 Google TV Streamer 播放 1080p 和每秒 25 格的 4K 影片時沒有掉格。這套方法需要特定的 GPU 功能和 Main 10 解碼器;不符合條件的裝置會改用另一個播放器,而且輸出一律是 SDR。

  9. Dev.to Top Tech47

    PhysLoop 用 LLM 修正影片動作,讓物理表現更合理

    AI 生成的影片常會出現不合常理的動作,過去想改善,可能得花很多力氣微調模型。PhysLoop 在影片生成後,讓 LLM 找出不合理的動作,再請模型重做有問題的片段,不必重新訓練影片模型。在 PhysLoop-Gen 測試中,PhysLoop 的任務成功率是 85%,Seedance 2.5 是 73%;修復有問題片段時,成功率則是 86.00%,最佳單獨基準只有 19.33%。不過,修正後的影片雖然動作更合理,畫面真實感分數仍低於 Seedance 2.5,也可能出現細微的材質瑕疵。

  10. Dev.to Top Tech48

    QuickPlanX 如何不用內建 AI,也能用外部 AI 加快排程規劃

    用 AI 排專案時,常得手動整理它產生的文字,而且 AI 也可能把日期排錯。QuickPlanX 不用內建 AI 或要求使用者提供 API 金鑰,而是讓 ChatGPT、Gemini、Claude 等工具先產生縮排清楚的工作清單,或把白板照片整理成表格,再透過剪貼簿貼進 App。舉例來說,每多縮排一格就代表下一層工作,QuickPlanX 能直接把它整理成有上下層關係的任務。AI 負責起草,QuickPlanX 則計算工作日、任務依賴和關鍵路徑,讓使用者保有選擇 AI 工具的自由,也不用付 QuickPlanX 的額外 AI 費用。

  11. Dev.to Top Tech65

    HeyGen、Runway 等 5 家影音 AI 服務,實際產出成本怎麼算

    影音 AI 服務的月費看起來很清楚,但實際花費還會隨模型、畫質、產出長度和重做次數改變。作者根據 HeyGen、Runway、Kling、ElevenLabs 和 Synthesia 在 2026 年 11 月 19 日公佈的價格與點數用量,換算影片、配音和字幕等產出的成本。以同樣 30 秒的影片來看,HeyGen 的點數成本會因模型不同,從約 $0.10 到 $5.80;Runway 的 Gen-4.5 則會因方案不同,從 $3.60 到 $8.64。作者也提醒,沒採用的生成結果照樣會扣點數,因此估算預算時得把重做次數算進去。

  12. DogeDesigner45

    以下是 Elon Musk 今天在 @TomorrowXSummit 與 Gavin Baker 和 Antonio Gracias 的完整訪談: 0:00 中國之行的印象 2:08 Starship 捕捉火箭 4:59 多行星文明 8:53 25 年的情感歷程 11:48 Grok 訓練技術堆疊 22:37 Optimus 機器人進展 28:43 Cybercab 推出進度 30:26 TerraFab 晶片工廠 33:54 運算成本效率 41:59 軌道運算衛星 46:05 Neuralink Blindsight 最新進展 49:58 AI 安全與求真 52:19 對 Jensen 和 Nvidia 的看法

  13. DogeDesigner54

    Neuralink 執行長 Elon Musk 介紹一項名為 BlindSight 的神經植入裝置,說它能把攝影機拍到的畫面轉成訊號,傳送到大腦的視覺皮質。使用者會戴著裝有攝影機的眼鏡,讓裝置把訊號送進視覺皮質;Musk 表示,這項產品是為雙眼失明或視神經受損的人設計,也可能讓從出生就失明的人看見。這些是 Musk 對產品用途的描述,原文沒有提供實測結果。

  14. Dev.to Top Tech43

    Reset Receipt 用 SmartSpectra 說明呼吸練習實際量到什麼

    做完呼吸練習,不代表相機真的量到足夠資料,也不能直接說呼吸變好了。Reset Receipt 是一款 Windows 呼吸休息應用程式:它先記錄平常呼吸,再帶著使用者以吸氣 4 秒、吐氣 6 秒的節奏練習,最後整理量測結果;引導節奏只是提示,不代表實際呼吸速度。示範中的真實量測有 2 筆穩定讀數,中位數是每分鐘 9.9 次呼吸,但資料不足以比較練習前後,因此收據標示「部分」,沒有捏造改善結果。這讓使用者看得出量到了什麼,也知道哪些結論還不能下。

  15. Vercel Blog72

    Google 推出 Gemini 4 Neon,並開放在 Vercel AI Gateway 使用

    寫程式或處理多步驟工作時,模型要回得快,也得能看懂不同種類的資料。Vercel 宣佈 Gemini 4 Neon 已可透過 AI Gateway 使用;官方說它比先前較輕量的 Gemini 4 升級,回應更快,輸出品質接近 Google 較大型的 Gemini 4 模型。它能讀取文字、圖片、影片和檔案,並支援工具呼叫、結構化輸出、Google 搜尋與 Google 地圖資料,以及四種推理等級。

    推薦理由:Gemini 4 Neon 主打較快回應與接近大型 Gemini 4 模型的輸出品質,也支援多種輸入和工具呼叫,適合瞭解它能處理哪些工作。

  16. Artificial Analysis70

    挑 AI 模型時,分數、花費和完成工作所需的時間常要一起考量。Artificial Analysis 測試 Google 的 Gemini 4 Neon,發現它在 Intelligence Index 得 61 分,比 Gemini 4 Carbon 高 1 分;每項任務花費 $6.44,約低 17%,平均約 21 分鐘,比 Carbon 的約 36 分鐘快。報告也指出,Neon 每項任務用的輸出 token 更多,較低花費來自 token 價格較低,較快則和輸出速度較高有關。用 Antigravity CLI 測試寫程式的 AI 助理時,Neon 的分數也高於 Carbon,成本低於報告列出的 Claude Opus 5.5 和 Claude Fable 5.2。

    推薦理由:這份評測比較 Gemini 4 Neon 與 Carbon 的任務成本和完成時間,也拆出價格與輸出速度對差異的影響,方便衡量效能和花費。

  17. The Decoder81

    Google 發布 Gemini 4 Neon,輸入每百萬 tokens 收費 $3

    Google 發布 Gemini 4 Neon,主打處理複雜軟體工程、知識工作與科學流程。它可讀文字、圖片、影片、音訊和 PDF,支援電腦操作、執行程式碼、搜尋檔案,以及透過 Google Search 和 Maps 查詢資料;不支援生成圖片或音訊。Neon 的上下文視窗約有一百萬 tokens,最多可輸出一百萬 tokens。API 每百萬輸入 tokens 收費 $3,每百萬輸出 tokens 收費 $15;價格高於 Hydrogen,也高於 Carbon 和 Argon 的目前優惠價。文章指出,Neon 是 Google 一個月內推出的第四款 Gemini 4 模型,跑分預計稍後公佈。

    推薦理由:Neon 的價格高於 Hydrogen,也高於 Carbon 與 Argon 的目前優惠價;文中列出的輸入、輸出價格差異,能幫助比較使用成本。

  18. Rohan Paul43

    做宣傳影片不只要把畫面生出來,之後修改也很重要。Arcade 現在能把一句文字變成完成的產品宣傳影片,加入旁白、字幕、音樂和品牌風格;想改哪個畫面,就點選那個部分並說明需求,其他畫面不會跟著改動。Arcade 表示,在一項盲測中,B2B 行銷人員選擇 Arcade 影片的次數,是選擇 Claude Opus 5.5 和 Gemini Argon 影片的 2 倍。

  19. TechCrunch · AI60

    Snapchat 推出 Easy Lens CLI,讓開發者用 AI 助理製作 AR Lens

    製作 Snapchat 的 AR Lens,過去得先學會使用平臺自己的開發工具。Snapchat 推出 Easy Lens CLI,讓開發者用 Claude Code、Cursor 或 Codex 描述想做的效果,再由 AI 助理協助製作素材、建立和測試 Lens、修正錯誤,並發布到 Snapchat。創作者可以做出遊戲、相機特效或美顏濾鏡,也能把既有的瀏覽器遊戲或品牌素材變成 AR 內容。工具支援 Mac、Windows 和 Linux;Snapchat 表示,Lens+ Payouts 計畫的創作者上個月共獲得 $1.8 million。

  20. The Decoder76

    Google DeepMind 更新 Project Genie,推出 Genie 4 和作品交流功能

    想打造互動 3D 世界,除了生成畫面,也得能隨時改變場景並分享作品。Google DeepMind 更新 Project Genie,推出 Genie 4,讓使用者用文字即時改變天氣、角色或故事情節,並依場景產生即時音效。Genie 3 也新增最長三分鐘的使用時間、360 度全景和可串接的世界;AI 助理能依口述描述協助建構世界,社群展示區則讓大家分享和改編作品。所有生成內容都會加上 SynthID 浮水印並經過安全檢查;Google AI Ultra 訂閱者可使用,Google AI Pro 會員可加入候補名單。

    推薦理由:Project Genie 更新把即時改寫世界、場景音效和作品分享放進同一套工具,呈現互動 3D 世界從生成到交流的使用方式。

  21. Hacker News (official RSS)72

    Google 推出新版 Project Genie,加入 Genie 4 即時改造互動世界

    用文字或圖片生成互動世界後,想改變場景或接著探索,往往不容易。Google 推出新版 Project Genie,讓符合資格的 Google AI Ultra 訂閱者使用 Genie 4,邊探索邊用提示詞改變天氣、加入角色或轉換情節,並聽到會隨場景變化的音訊。新版也加入 Project Genie AI 助理,能透過對話協助打造世界,還可探索、修改並分享社群作品。Genie 3 仍可選用,支援每次生成探索最長 3 分鐘,也能串接多個世界;Google AI Pro 會員可登記候補。

  22. aihot70

    Google DeepMind 把 Genie 4 加進 Project Genie,支援編輯虛擬世界

    用文字建立的虛擬世界,有時需要邊玩邊修改,也希望能搭配聲音互動。Google 宣佈 Genie 4 已在 Project Genie 上線,使用者可以在遊玩途中輸入文字來改變環境,並使用即時音訊和對話。Project Genie 也新增用對話共同創作世界的 AI 助理、自訂配樂和社群作品畫廊,讓人探索或改編其他創作者的世界。Genie 3 則新增最長 3 分鐘的遊玩時間、串連世界的功能,以及 360 度全景定位。

    推薦理由:公告列出 Genie 4 的環境編輯、即時音訊與對話功能,也說明 Genie 3 的時長和全景更新,呈現 Project Genie 這次改版的範圍。

  23. Google DeepMind69

    Google DeepMind 開放 Genie 4,讓使用者邊探索邊修改虛擬世界

    探索互動世界時,使用者可能想改變場景,卻得重新開始。Google DeepMind 開放 Genie 4,讓符合資格的 Google AI Ultra 訂閱者在 Project Genie 中一邊移動,一邊用提示詞即時改變天氣、加入角色或調整情節;場景也會搭配隨畫面變化的音訊。Project Genie 還加入 AI 助理協助打造世界,並提供可探索和改編的社群作品。Genie 3 也能延長單次探索時間,或把多個世界接起來;Google 表示,生成的影片和音訊會加入 SynthID 浮水印,輸入與輸出也會經過安全檢查。

    推薦理由:Genie 4 可在探索途中依提示即時改變場景,並加入會隨畫面變化的音訊,呈現互動世界模型的創作方式。

  24. The Verge · AI65

    Disney 用 AI 讓《星際大戰》安納塞蘭機器人即時回應遊客

    遊樂園裡的機器人角色通常只能照固定流程動作,或由幕後人員操控。Disney Imagineering 研發團隊推出三款《星際大戰》安納塞蘭角色原型,透過鏡頭和麥克風接收遊客的動作與說話,再交由 AWS 雲端上的多種 AI 模型安排回應。模型可以決定角色何時看向遊客,也能安排較長的互動;不過,每個動作和臺詞都由 Disney 團隊預先寫好,AI 不會臨場編造,讓角色的個性維持一致。這些機器人將先在拉斯維加斯的 AWS re:Invent 會場亮相。

  25. Modal Engineering Blog56

    Miguel Novelo 用 Modal 打造瑪雅文字研究工具

    瑪雅文字刻在石頭上的深度和形狀,可能藏著平面照片看不出的線索,但逐件手工做成 3D 模型要花不少時間。藝術家兼史丹佛講師 Miguel Novelo 用 Modal 建立流程,把 2D 瑪雅文字影像轉成 3D 模型;他從約 100 個音節符號開始,也把展場觀眾畫下的圖形納入流程。研究者可以旋轉模型、改變照明,仔細檢視雕刻。Novelo 希望日後用更多 3D 雕刻資料訓練專用模型,找出文字形狀與語言之間的關係;他也強調,研究需要結合瑪雅社群的知識與學者的共同解讀。

  26. Google73

    想探索虛擬世界時,能不能一邊進行、一邊改變環境,也和世界互動?Google 表示,Genie 4 已在 Project Genie 推出,使用者可以在體驗途中輸入文字修改環境,並搭配即時音訊與對話。Project Genie 也能用對話一起創作世界,加入自訂配樂和 Gemini 即時引導;社群畫廊則可瀏覽、探索和改編其他創作者的世界。此外,Genie 3 的體驗時間延長至 3 分鐘,並加入世界串接和 360 度全景定位。

    推薦理由:Genie 4 可在使用途中用文字修改環境,並加入即時音訊與對話,讓人瞭解互動式世界模型新增了哪些創作方式。

  27. Google AI82

    創作互動世界時,調整畫面、角色和情節可能需要反覆操作。Google 推出全新 Project Genie,使用者可以即時改變天氣、加入角色或改變情節,也能透過對話建立世界;其中的 AI 助理會協調多模態模型製作畫面與氣氛,Gemini 則提供符合當下情境的建議。新版也加入作品展示與分享區,並帶來 Genie 3 的更新,包括延長至 3 分鐘的體驗時間、串接不同世界,以及用 360 度全景圖片作為參考。目前符合資格的 Google AI Ultra 訂閱者可以使用,Google AI Pro 使用者可加入候補名單。

    推薦理由:Project Genie 把即時改動世界、對話式創作與作品分享放進同一套體驗,呈現從生成到交流的完整流程。

  28. Google AI Official Blog78

    Gemini app 登上低記憶體 Android 手機,帶來語音、相機與圖片功能

    記憶體較少的 Android 手機,過去受硬體限制,多半隻能使用基本語音指令。Google 重新設計 Gemini app,讓它能在符合條件的 Android Go 裝置上順暢運作。使用者可以用 45 種以上語言和 Gemini Live 對話、練習面試,也能用相機拍下筆記或表格來學習和翻譯,或用 Nano Banana 製作圖片。這讓更多人能在日常手機上使用 Gemini;部分合作夥伴的未來新機也會預先安裝這款 app。

    推薦理由:低記憶體手機過去多隻能使用基本語音指令,這次更新把 Gemini 帶到 Android Go 裝置,讓更多人能用語音、相機和圖片生成功能。

  29. Dev.to Top Tech48

    耳機聽得到、手機卻聽不到:一段音樂混音的檢查心得

    一段影片在耳機裡聽起來有音樂,放到手機外放時,卻只剩狼嚎,鋼琴聲像消失了一樣。作者用 ffmpeg 把聲音分成不同頻率來量,發現狼嚎主要落在 250 Hz 到 1 kHz,鋼琴則在較低的 60 到 250 Hz,而且低了約 9 dB;手機喇叭通常很難播出那麼低的聲音。作者原本是刻意把鋼琴留在低音,讓狼嚎更突出,只是量過之後才發現這個選擇會讓手機聽眾漏掉音樂。若是較長的影片,他會保留原本的低音,再加一層高一個八度、音量較小的鋼琴聲,並先用手機檢查。