跳到正文

AI 視訊與影片

AI 影片生成與理解:文生影片模型、影片編輯工具與影視創作變革的追蹤。

最新精選

第 1–20 條 · 共 46 條
11月22日週日
  1. Dev.to Top Tech76

    StudioVisualIdentity 用一個提示詞打造 18 種短影片風格

    自己做短影片時,常會不小心用上和別人很像的版型、字幕和動畫。作者開源了 StudioVisualIdentity,整理出 18 種視覺風格,每種都有設計規則和實際做出的短片,也提供一個提示詞,讓 AI 助理挑選風格並建立新的製作專案。作者還比較了兩種判斷風格是否不同的方法:看顏色和線條的程式測試把 4 支短片分錯,盲測則把 72 個畫面全都分對。這提醒我們,判斷視覺風格不能只看配色,還得看形狀、字型和呈現方式。

    推薦理由:這個專案把 18 種短影片視覺風格整理成 AI 助理可讀的設計資料,並用盲測結果說明單看顏色與邊緣容易誤判風格差異。

11月21日週六
  1. Unsloth AI Releases65

    Unsloth 推出 Inkling 2 Mini,更新圖片生成、影片改風格與 MCP 對話

    在小型 GPU 上跑圖片生成模型常會佔用不少記憶體,和 AI 助理使用 MCP 工具時,每次對話都重新處理舊內容也會浪費資源。Unsloth 這次推出 Inkling 2 Mini,並更新多項桌面功能:Linux 和 macOS 載入 GGUF 圖片模型時,記憶體用量減少 52% 到 66%;Mac 可替整段影片換上新風格;使用 MCP 的聊天則只處理新內容,在工具測試中少用 83% 到 87% 的提示詞 token。更新也修正了圖片生成、檔案匯入和模型訓練等問題。

    推薦理由:這次更新同時改善小型 GPU 的圖片生成、Mac 影片改風格與 MCP 對話處理,可看出 Unsloth 如何擴充套件桌面端的使用情境。

  2. Apple Machine Learning Research72

    Depth Pro 2 用同一個模型估算照片與影片的景深

    從單張照片估算景深時,物體邊界可能不夠清楚;處理影片時,深度又可能一格一格地跳動。Apple 的研究團隊提出 Depth Pro 2,用同一個可擴充的網路處理照片和影片,並以原始畫面解析度估算每個畫素到相機的公尺距離。團隊表示,這個模型能同時做到距離準確、物體邊緣清楚,且影片前後畫面穩定,表現也勝過先前方法;研究團隊並釋出模型和程式碼。

    推薦理由:Depth Pro 2 把單張照片與影片深度估計放進同一個模型,呈現邊界清晰度和畫面穩定度如何兼顧。

  3. aihot79

    可靈推出 Kling Image 4.0,支援原生 8K 影像生成

    想生成高解析度圖片或修改圖片時,畫質、文字呈現和價格都是挑選工具時會考慮的事。可靈推出 Kling Image 4.0,主打原生 8K 影像生成、真實感、一組圖片的一致性和文字呈現。Artificial Analysis 的評測中,它的文生圖排名第 7、圖片編輯排名第 6;相較 Kling Image 3.0 Omni,兩項排名的 Elo 分數都提升超過 225。黑色星期五優惠期間,2K 圖片每張最低 $0.022,原生 8K 每張最低 $0.033。

    推薦理由:Artificial Analysis 的排名與 Kling Image 3.0 Omni 比較,呈現新模型在文生圖和圖片編輯上的變化,也提供不同解析度的價格資訊供讀者參考。

11月20日週五
  1. aihot76

    Google 在 Gemini API 和 AI Studio 推出 Genie 4 即時世界模型

    想做能即時互動的虛擬世界,開發者需要能生成畫面並接收操作的工具。Google 在 Gemini API 和 AI Studio 推出 Genie 4,可從文字或圖片生成 720p、每秒 24 格的世界,再用 WASD、提示詞和 48 kHz 立體聲即時操控。串流可透過 WebRTC 或 WebSocket 進行,相關檔案列在 Gemini API 檔案頁面。

    推薦理由:Genie 4 提供畫面規格與兩種串流接法,方便開發者評估如何把即時互動世界接進自己的應用。

  2. Philipp Schmid81

    想從文字或圖片做出能即時操控的影片場景,Genie 4 現在可透過 Gemini API 和 AI Studio 使用。它能建立 720p、24fps 的世界,使用者可以用 WASD 按鍵和提示詞即時操控,並搭配 48 kHz 立體聲音訊。內容可透過 WebRTC 或 WebSocket 串流;WebRTC 使用瀏覽器和臨時權杖。

    推薦理由:Genie 4 可用文字或圖片建立可即時操控的 720p 世界,並透過 Gemini API 或 AI Studio 使用,呈現了互動式影片生成的操作方式。

11月19日週四
  1. Unsloth AI Releases64

    Unsloth 更新 AMD NPU 支援,並加入影像與影片 LoRA 訓練

    在本機訓練和執行 AI 模型時,硬體支援、模型格式和等待時間常讓人卡關。Unsloth 這次更新讓轉換後的 Q4NX 模型能在 AMD NPU 上載入,也會標示每個模型能不能執行;此外,使用者可以訓練 LTX-2.5 和 MOSS-Image 的 LoRA,並在影片頁面載入 NVIDIA Cosmos3 的 FP8 模型。更新也加入聊天排程,讓排程任務的回覆直接出現在原本的聊天室。部分影像與訓練工作在特定硬體上每步最多快 42%,實際速度會依顯示卡和設定而異。

    推薦理由:這次更新把 AMD NPU、影像與影片模型訓練,以及聊天排程整合進 Unsloth,呈現本機 AI 工作流程涵蓋的範圍。

  2. The Decoder76

    Google DeepMind 更新 Project Genie,推出 Genie 4 和作品交流功能

    想打造互動 3D 世界,除了生成畫面,也得能隨時改變場景並分享作品。Google DeepMind 更新 Project Genie,推出 Genie 4,讓使用者用文字即時改變天氣、角色或故事情節,並依場景產生即時音效。Genie 3 也新增最長三分鐘的使用時間、360 度全景和可串接的世界;AI 助理能依口述描述協助建構世界,社群展示區則讓大家分享和改編作品。所有生成內容都會加上 SynthID 浮水印並經過安全檢查;Google AI Ultra 訂閱者可使用,Google AI Pro 會員可加入候補名單。

    推薦理由:Project Genie 更新把即時改寫世界、場景音效和作品分享放進同一套工具,呈現互動 3D 世界從生成到交流的使用方式。

  3. aihot77

    Google DeepMind 開放 Genie 4,讓使用者邊探索邊改變世界

    想像中的世界生成後,往往不容易再改變裡面的場景。Google DeepMind 在 11 月 18 日向符合條件的 Google AI Ultra 訂閱者開放 Project Genie 新體驗,首次提供 Genie 4。使用者探索時可以輸入提示詞,即時改變天氣、加入角色或調整劇情,場景也會搭配原生音訊。更新後的 Genie 3 每次最多可探索 3 分鐘,也能用 360 度全景圖作為起始場景。這些模型仍在研究階段,生成的影音會加上 SynthID 水印,輸入和輸出也會經過安全篩查。

    推薦理由:Genie 4 可在探索途中依提示詞即時改變場景,並加入會隨畫面變化的原生音訊,呈現世界模型的互動方式。

  4. aihot70

    Google DeepMind 把 Genie 4 加進 Project Genie,支援編輯虛擬世界

    用文字建立的虛擬世界,有時需要邊玩邊修改,也希望能搭配聲音互動。Google 宣佈 Genie 4 已在 Project Genie 上線,使用者可以在遊玩途中輸入文字來改變環境,並使用即時音訊和對話。Project Genie 也新增用對話共同創作世界的 AI 助理、自訂配樂和社群作品畫廊,讓人探索或改編其他創作者的世界。Genie 3 則新增最長 3 分鐘的遊玩時間、串連世界的功能,以及 360 度全景定位。

    推薦理由:公告列出 Genie 4 的環境編輯、即時音訊與對話功能,也說明 Genie 3 的時長和全景更新,呈現 Project Genie 這次改版的範圍。

  5. ComfyUI Blog63

    Comfy Cloud 開放團隊使用自訂 ComfyUI 節點與模型

    團隊一起做圖或影片時,每位創作者都要各自準備節點、模型和硬體,設定容易不一致,較重的工作也可能超出本機 GPU 能力。現在,Comfy Cloud 付費方案都能使用 Custom Builds,把團隊支援的自訂節點、模型、LoRA 和相依專案打包成共用設定;新成員開啟瀏覽器,就能用相同工具接手工作,也能在 ComfyUI 畫布上調整工作流程,或透過 API 執行。團隊可選擇 GPU,並按工作量增加同時執行的任務;GPU 只在工作執行期間計費,每小時費率依 GPU 而異,介於 $1.75/hr 到 $11.23/hr。

    推薦理由:Custom Builds 把團隊選用的節點、模型與 LoRA 放進雲端共用環境,並按工作量調整 GPU 和同時執行的任務數,呈現協作流程如何延伸到雲端。

11月18日週三
  1. NVIDIA Newsroom Press Releases76

    NVIDIA 推出 RTX Spark 小型桌機,可在本機執行 AI 模型與創作工作

    想在本機跑 AI 模型、處理創作工作,又不想讓筆電一直忙著執行任務,可以考慮專用桌機。ASUS、Dell 和 MSI 的 NVIDIA RTX Spark 小型桌機已開賣,搭載最多 128GB 共用記憶體,可在本機執行支援的模型、AI 助理、圖片與影片生成,也能微調模型。NVIDIA 表示,在本機處理程式碼和檔案可避免這些工作產生雲端 API 費用;桌機也能在筆電外出時繼續執行常駐 AI 助理和排程任務。文中另介紹 Adobe、Blender 和 ComfyUI 等創作工具在 RTX Spark 上的更新。

    推薦理由:RTX Spark 桌機把本機模型、常駐 AI 助理與創作工具放在同一臺電腦,文中也列出記憶體規格與適用工作流程。

  2. Artificial Analysis83

    OpenAI 發布 GPT-6.2 Astra 和 GPT-6.2 Sol。Artificial Analysis 的評測顯示,Astra 在 Intelligence Index 排名第二,僅次於 Claude Fable 5.2;Sol 得分 57,和 GPT-6 Astra 相當,完成任務的成本約為其 15%。Astra 的價格是每百萬輸入與輸出 token $8/$40,比 GPT-6 Astra 低 20%,快取輸入則從 $1.00 降到 $0.40;Sol 的價格維持每百萬輸入與輸出 token $2/$10。兩款模型在科學、3D 和機器人評測表現突出,但編碼助理評分沒有提升:Astra 持平,Sol 比前代低 3 分。

    推薦理由:GPT-6.2 Astra 與 Sol 在多項評測的名次和價格效率各有表現,也出現編碼評分停滯或下滑,便於比較不同用途的取捨。

  3. vLLM74

    看直播畫面時,AI 助理若要主動開口、回應內容並指出畫面中的物件,需要同時處理影片、對話和語音。vLLM Project 宣佈 vLLM-Omni 從第一天起支援 AURA 2.0,這款 9B 串流影片模型能判斷何時該說話、根據即時畫面和對話呼叫工具,並用方框標出正在討論的物件。vLLM-Omni 負責從語音辨識、影片理解到語音生成;在單一連線、使用兩張約 140 GB 加速器的設定下,首段回覆語音的中位延遲為 344 ms。原文也表示,AURA 2.0 在列出的四項基準比較中領先。

    推薦理由:vLLM-Omni 支援 AURA 2.0,並公佈單一連線設定下的首段語音延遲與四項基準比較,可瞭解這套視訊模型的互動方式與執行表現。

11月17日週二
  1. ModelScope68

    一般 AI 多半是等人提問後才回答,Duo 則想讓 AI 和人一起參與即時互動。它會持續聽對方說話、觀察對方的動作,再判斷何時該接話或等待,並同步產生語音和影片。這讓雙方能一起看物品、改變場景、接受引導或玩影音遊戲。inclusionAI 也釋出多種模型版本,並提供研究用流程和即時部署方式。

    推薦理由:Duo 把即時影音互動中的理解、發言時機與影音生成串在一起,呈現模型如何參與雙向交流的研究方向。

  2. ModelScope66

    讓 AI 角色跟著語音說話時,嘴型、表情和身體動作有時不夠自然,影片變長後也可能逐漸失去一致性。LongCat-Video-Avatar 1.6 改善語音和嘴型同步、臉部與身體動作,也降低說話時嘴巴動作過大的情況,並讓影片延續到超過 10 分鐘時更能維持角色樣貌和畫面連貫。它支援單人與多人角色影片,也能從音訊、文字、圖片或既有影片開始生成。在 33,051 張投票、共 6 個系統的評比中,它排名第二。

    推薦理由:LongCat-Video-Avatar 1.6 在 33,051 張投票的偏好評比中排名第二,也主打改善長影片延續時的角色一致性,提供了比較表現與長片能力的參考。

11月16日週一
  1. DogeDesigner78

    Starship 要投入商業飛行,還得逐步處理飛行器回收和再次使用的技術風險。Raymond James 分析師 Brian Gesuale 重申對 SpaceX 的「強力買進」評級,並給出 $800 目標價。他引述的說法指出,Starship 第 15 次飛行中,Ship 42 繞地球約 14 圈、部署 26 顆 Starlink V3 衛星,約 22.5 小時後返回 Starbase。兩個火箭級已在不同任務中分別回收,接下來的目標是同次任務回收兩者、縮短整備時間並重複飛行。

    推薦理由:分析師把 Starship 回收進展連到商業飛行的技術風險與後續目標,可看出市場如何評估這項發展對 SpaceX 長期佈局的影響。

11月15日週日
  1. Bilawal Sidhu84

    美國空中交通管制裝置出問題時,航班停飛的範圍和地面狀況不容易一眼看清。Bilawal Sidhu 把公開的飛機位置資料、地球同步衛星影像、FAA 通知和管制員通話合成 34 秒影片:藍色代表空中的飛機,橘色代表地面上的飛機,機場旁的圓圈和數字顯示等待航班數。官方說法指出,舊式類比裝置和路由器負荷過重,裝置升級時安裝的修補程式是主要懷疑原因;目前沒有網路攻擊證據,Duffy 也表示 FAA 的 SMART AI 航線工具沒有造成事故。全國停飛約 4.5 小時後解除,期間有 6,600 多班航班取消、8,600 多班延誤。

    推薦理由:這段 4D 重建把航班停飛期間的空中與地面狀況放在同一畫面,也整理了官方對裝置故障原因的說法。

11月14日週六
  1. The Decoder79

    Runway 開放 Praxis-1,讓影片 AI 控制機器人

    機器人要學會拿取、移動物品,通常得先收集專門的機器人訓練資料。Runway 開放了 Praxis-1 的模型權重與程式碼;它先從影片學物體如何移動,再結合人類動作影片和機器人資料,根據相機畫面、文字指令與機器人位置持續調整動作。Runway 表示,Praxis-1 在 RoboLab-120 模擬測試的成功率是 46.2%,高於同類的 FLUX 3 Action;這些測試由 Runway 自行進行,尚未經獨立驗證。模型仍需要機器人資料來適應不同機型,也可能混淆外觀相似的物品,或難以自行安排長串複雜動作。

    推薦理由:Praxis-1把影片學到的物體動作規律用於機器人控制,文中測試呈現它在模擬與實機任務中的表現,也交代了資料需求與操作限制。