跳到正文
aihot(aihot.news)· noreply@aihot.news (美團 LongCat:HuggingFace 新模型)·· 10 天前精選品質評分74

美團 LongCat 開源 LongCat-Video-Avatar 1.6,讓語音帶動數位人影片

美團 LongCat 開源 LongCat-Video-Avatar 1.6 音訊驅動數字人影片生成模型

重點導讀

製作數位人影片時,嘴部動作不自然、聲音和嘴型對不上,影片變長後畫面也可能不連貫。

  • 美團 LongCat 開源 LongCat-Video-Avatar 1.6,改進嘴型、臉部和身體動作的協調,也減少接續生成影片時累積的畫面誤差,能生成超過 10 分鐘的影片。團隊以 33,051 張有效人工投票比較六套系統,這個版本排名第二。
  • 新版本也加入推理最佳化,並提供單人和多人影片生成方式。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

LongCat-Video-Avatar 1.6 的人工偏好評測顯示,它在六個系統中排名第二;文中也說明瞭長影片生成與推理速度的改進。

正文

美團 LongCat:HuggingFace 新模型·2026-11-13 10:45· 2 天前精選AI 評分61

meituan-longcat/LongCat-Video-Avatar-1.6

AI 導讀

美團 LongCat 團隊釋出開源音訊驅動人體影片生成模型 LongCat-Video-Avatar 1.6,改進口型自然度、唇音同步、面部與肢體動作協調及長影片視覺一致性,緩解自迴歸續寫誤差累積,可生成超過 10 分鐘的影片,並加入端到端推理最佳化。

推薦理由

原文給出 1.6 版能力改進、33,051 票人工評測排名和完整部署引數,讀者可據此評估升級幅度與推理配置。

LongCat-Video


🚀 模型簡介

我們很高興宣佈推出 LongCat-Video-Avatar 1.6,這是我們開源音訊驅動數字人影片生成框架的最新升級版本。在 LongCat-Video-Avatar 1.5 的基礎上,1.6 版本提升了表現自然度、唇音同步、面部與身體動作的協調性,以及長影片生成過程中的視覺一致性。同時,該版本還引入了全面的推理最佳化,使部署更快、更高效。

核心特性

  • 🌟 更自然、更穩定的唇部動畫:減少誇張或緊繃的嘴部動作、嘴唇過紅以及嘴部區域的時間不穩定性。
  • 🌟 穩定的長影片生成:緩解自迴歸影片續寫過程中的誤差累積,可生成超過 10 分鐘的影片,同時保持視覺質量、身份一致性和時間連貫性。
  • 🌟 更快的端到端推理:通過端到端流水線和模型執行最佳化加速影片生成,實現更高效的部署與服務。

更多細節請參閱完整的 LongCat-Video-Avatar-1.6 技術報告。

🌀 效果預覽

LongCat-Video-Avatar 1.6 帶來更自然的唇部動作和更具表現力的動態,同時在超過 10 分鐘的影片中保持視覺質量與時間一致性。

📊 人工評測

我們將 LongCat-Video-Avatar 1.6 與前代 LongCat-Video-Avatar 1.5 以及四個商業系統 OmniHuman-2.0、HeyGen、OmniHuman-1.5 和 Kling Avatar 2.0 進行了對比。全配對人工偏好研究覆蓋全部 15 組模型配對,共收集 33,051 張有效個人投票。在包含 33,051 張有效個人投票的人工偏好競技場中,LongCat-Video-Avatar 1.6 在六個參評系統中排名第二。其 Bradley–Terry Elo 得分為 1068.1,排在 OmniHuman-2.0 之後,領先於 LongCat-Video-Avatar 1.5、HeyGen、OmniHuman-1.5 和 Kling Avatar 2.0。

LongCat-Video-Avatar

💡 快速開始

克隆倉庫

git clone --single-branch --branch main https://github.com/meituan-longcat/LongCat-Video
cd LongCat-Video

安裝依賴

# create conda environment
conda create -n longcat-video python=3.10
conda activate longcat-video

# install torch (configure according to your CUDA version)
pip install torch==2.6.0+cu124 torchvision==0.21.0+cu124 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124

# install flash-attn-2
pip install ninja
pip install psutil
pip install packaging
pip install flash_attn==2.7.4.post1

# install other requirements
pip install -r requirements.txt

# install longcat-video-avatar requirements
conda install -c conda-forge librosa
conda install -c conda-forge ffmpeg
pip install -r requirements_avatar.txt

模型配置中預設啟用 FlashAttention-2;你也可以修改模型配置,改用 FlashAttention-3 或 xformers。

⛽️ 模型下載

模型 說明 下載連結
LongCat-Video 基礎影片生成 🤗 Huggingface
LongCat-Video-Avatar-1.6 單角色與多角色音訊驅動影片生成 🤗 Huggingface

使用 huggingface-cli 下載模型:

pip install "huggingface_hub[cli]"
huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights/LongCat-Video
huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.6 --local-dir ./weights/LongCat-Video-Avatar-1.6

🔑 快速推理

使用提示

  1. 檢查點組成與 LoRA 混合

    LongCat-Video-Avatar 1.6 採用與 LongCat-Video-Avatar 1.5 相同的基礎架構,並包含兩個任務專用的 LoRA 介面卡:

    • loraA/lora.safetensors:DMD LoRA。
    • loraB/lora.safetensors:OPSD LoRA。

    檢查點包還提供了 base_model_int8,這是一個可選的僅權重量化 INT8 DiT,可通過 --use_int8 啟用。

    使用 --mix_steps=N 時,前 N 個去噪步驟使用 mix_alpha * DMD + (1 - mix_alpha) * OPSD,其餘 8 - N 個步驟僅使用 OPSD。增大 --mix_steps 或 --mix_alpha 會讓 DMD LoRA 在早期去噪步驟中發揮更大作用,這可能提升結構穩定性並減少視覺失真。

    在預設設定下,--mix_steps=4 --mix_alpha=1.0,前四個去噪步驟僅使用 DMD,其餘四個步驟僅使用 OPSD。

  2. FP8 依賴與 INT8 互斥

    啟用 --use_fp8 之前,請先安裝支援 PyTorch 和 CUDA 的 Transformer Engine。不要同時使用 --use_fp8 和 --use_int8,一次只啟用一種量化模式。如果優先考慮輸出質量,可以減少使用 FP8 的層數。

  3. 編譯預熱

    啟用 --compile_dit 和 --compile_vae 後,前幾次推理會包含圖追蹤和編譯開銷,因此可能較慢。之後使用相同輸入形狀執行時,會複用已編譯的圖,速度明顯更快。新的輸入形狀可能觸發重新編譯。

  4. FlashAttention 3

    對於 H20、H100、H200、H800 等 Hopper GPU,請安裝並啟用 FlashAttention 3。相比 FA2,FA3 能顯著提升推理速度。請確認模型配置中包含:

    {
      "enable_flashattn3": true,
      "enable_flashattn2": false
    }
    
  5. 多 GPU 通訊

    在超過兩塊 GPU 上執行時,啟用最佳化後的 All-to-All 工作區,以降低上下文並行通訊開銷:

    export LONGCAT_A2A_WORKSPACE=1
    

    將 --nproc_per_node 和 --context_parallel_size 設為用於推理的 GPU 數量。

單人動畫

# Speech-Text-to-Video
torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 --stage_1=at2v --input_json=assets/avatar/single_example_1.json --use_distill --lora_path loraB/lora.safetensors --model_type avatar-v1.6 --mix_steps=4 --mix_alpha=1.0

# Speech-Image-to-Video
torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 --stage_1=ai2v --input_json=assets/avatar/single_example_1.json --use_distill --lora_path loraB/lora.safetensors --model_type avatar-v1.6 --mix_steps=4 --mix_alpha=1.0

# Speech-Text-to-Video and Video-Continuation
torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 --stage_1=at2v --input_json=assets/avatar/single_example_1.json --num_segments=5 --ref_img_index=10 --mask_frame_range=0 --use_distill --lora_path loraB/lora.safetensors --model_type avatar-v1.6 --mix_steps=4 --mix_alpha=1.0

# Speech-Image-to-Video and Video-Continuation
torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 --stage_1=ai2v --input_json=assets/avatar/single_example_1.json --num_segments=5 --ref_img_index=10 --mask_frame_range=0 --use_distill --lora_path loraB/lora.safetensors --model_type avatar-v1.6 --mix_steps=4 --mix_alpha=1.0

多人動畫

# Speech-Image-to-Video
torchrun --nproc_per_node=2 run_demo_avatar_multi_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 --input_json=assets/avatar/multi_example_1.json --use_distill --lora_path loraB/lora.safetensors --model_type avatar-v1.6 --mix_steps=4 --mix_alpha=1.0

# Speech-Image-to-Video and Video-Continuation
torchrun --nproc_per_node=2 run_demo_avatar_multi_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 --input_json=assets/avatar/multi_example_1.json --num_segments=5 --ref_img_index=10 --mask_frame_range=0 --use_distill --lora_path loraB/lora.safetensors --model_type avatar-v1.6 --mix_steps=4 --mix_alpha=1.0

⚖️ 許可協議

模型權重以 MIT 許可證釋出。

除非另有說明,對本倉庫的任何貢獻均按 MIT 許可證授權。該許可證不授予使用美團商標或專利的任何權利。

完整許可證文本請參見 LICENSE 檔案。

🧠 使用注意事項

本模型並未針對所有可能的下游應用進行專門設計或全面評估。

開發者應考慮到大語言模型的已知侷限,包括在不同語言上的效能差異,並在敏感或高風險場景中部署模型前,仔細評估準確性、安全性和公平性。 開發者及下游使用者有責任瞭解並遵守與其使用場景相關的所有適用法律法規,包括但不限於資料保護、隱私和內容安全要求。

本模型卡中的任何內容均不應被解釋為改變或限制模型釋出所依據的 MIT 許可證條款。

📖 引用

如果您覺得我們的工作有用,歡迎引用。

@misc{meituanlongcatteam2026longcatvideoavatar16technicalreport,
      title={LongCat-Video-Avatar 1.6 Technical Report}, 
      author={Meituan LongCat Team},
      year={2026},
      eprint={},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={}, 
}

🙏 致謝

感謝 Wan、UMT5-XXL、Diffusers 和 HuggingFace 倉庫的貢獻者所做的開放研究。

📞 聯絡我們

如有任何問題,請通過 longcat-team@meituan.com 聯絡我們,或加入我們的微信群。

來源:美團 LongCat:HuggingFace 新模型 · huggingface.co

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論