By accepting you will be accessing a service provided by a third-party external to https://www.incgmedia.com/
TransPixar 以文字生成帶有 Alpha 通道的影片,有機會整合到 Adobe 旗下軟體中?
如果 TransPixar 之後發展成熟,可以生成多樣化視覺風格的 RGBA 影片,未來整合到像是 After Effects、Photoshop 等軟體的話,相信可以大幅加速後期合成的效率。
由 Adobe Research 團隊與香港科技大學共同發表了一項研究技術—TransPixar,可以利用文字生成出帶有透明背景的影片。就開發團隊指出,即使目前文字生成影片的模型已經有顯著的進展,然而,要生成出包含 Alpha 通道的影片仍然是一項挑戰,原因在於相關數據集的缺乏,以及與現有模型適應能力的限制。
而 Alpha 通道對於許多數位內容創作是至關重要的,特別是在視覺特效上,能夠使煙霧、反射等帶有 Alpha 通道的元素無縫融合至場景中。因此,TransPixar 旨在擴展預先訓練影片模型,以生成出 RGBA 的影片,同時保留原有的 RGB 生成能力。TransPixar 利用 Diffusion Transformer(DiT)架構,結合專為 Alpha 通道設計的 Tokens,並使用基於 LoRA 的微調技術,協同生成高度一致性的 RGB 和 Alpha 通道l。透過優化,TransPixar 在保留原始 RGB 模型優勢的同時,實現了 RGB 和 Alpha 通道之間的高度吻合。
除了文字生成影片之外,在展示頁面中也分享了利用單一圖片生成出帶有動作的 RGBA 影片。團隊表示,即使訓練的資料有限。但該方法可成功生成多樣化且一致的 RGBA 影片,進一步推動了視覺特效和互動內容創作極限。有興趣的朋友,可以到 TransPixar 的 huggingface Demo 頁面自己玩看看。
文章授權聲明
-
映CG 編輯整理
-
文章為映CG所有,如需轉載請標明出處