跳到正文

#視訊/影片

RSS
今日 0 則
11月21日週六
  1. Apple Machine Learning Research72

    Depth Pro 2 用同一個模型估算照片與影片的景深

    從單張照片估算景深時,物體邊界可能不夠清楚;處理影片時,深度又可能一格一格地跳動。Apple 的研究團隊提出 Depth Pro 2,用同一個可擴充的網路處理照片和影片,並以原始畫面解析度估算每個畫素到相機的公尺距離。團隊表示,這個模型能同時做到距離準確、物體邊緣清楚,且影片前後畫面穩定,表現也勝過先前方法;研究團隊並釋出模型和程式碼。

    推薦理由:Depth Pro 2 把單張照片與影片深度估計放進同一個模型,呈現邊界清晰度和畫面穩定度如何兼顧。

11月20日週五
  1. Dev.to Top Tech43

    BirdDreams 把駕駛影片和俯檢視一起生成,推論更快

    駕駛模擬器通常要分別生成車內視角影片和俯檢視,得跑兩套流程,花的時間更多。BirdDreams 用同一個模型一起生成兩種畫面,還能依照輸入的行車路線調整場景,不必靠高精度地圖。評審認為,它生成的駕駛影片和其他領先方法一樣逼真,也比只生成車內視角的做法更能呈現周圍車輛的行為。不過,論文沒有公佈 BirdDreams 完整生成兩種畫面要花多少時間,因此還不能確認它能否即時運作。

11月19日週四
  1. Dev.to Top Tech47

    PhysLoop 用 LLM 修正影片動作,讓物理表現更合理

    AI 生成的影片常會出現不合常理的動作,過去想改善,可能得花很多力氣微調模型。PhysLoop 在影片生成後,讓 LLM 找出不合理的動作,再請模型重做有問題的片段,不必重新訓練影片模型。在 PhysLoop-Gen 測試中,PhysLoop 的任務成功率是 85%,Seedance 2.5 是 73%;修復有問題片段時,成功率則是 86.00%,最佳單獨基準只有 19.33%。不過,修正後的影片雖然動作更合理,畫面真實感分數仍低於 Seedance 2.5,也可能出現細微的材質瑕疵。

11月12日週四
11月10日週二
11月8日週日
11月5日週四
11月2日週一
10月30日週五
8月27日週四
  1. LMSYS Org Blog74

    SGLang Diffusion 如何加速 MiniMax-H3 影片生成,最快達 6.24 倍

    生成高畫質影片要反覆計算很多次,想加快速度,常得在畫面相似度上有所取捨。SGLang Diffusion 團隊在 8 張 NVIDIA H200 顯示卡上測試 MiniMax-H3,並和 Diffusers 比較;在不近似計算的設定下,速度快約 1.85 到 1.95 倍。加入重用前面計算結果的 Cache-DiT,以及略過部分注意力運算的 SubBlock 後,最快達 6.24 倍,但部分 T2VA 影片的 SSIM 降到 0.76 至 0.78。若更重視畫質,單用 Cache-DiT 可達 2.99 倍,SSIM 為 0.90 至 0.92。測試固定提示詞、種子和輸出設定,結果顯示加速幅度會隨影片型別和設定改變。

    推薦理由:這組實測在固定影片生成條件下比較速度與畫質,呈現不同加速設定的取捨,方便估算可接受的畫質變化。