By accepting you will be accessing a service provided by a third-party external to https://www.incgmedia.com/

TransPixar 以文字生成帶有 Alpha 通道的影片,有機會整合到 Adobe 旗下軟體中?

由 Adobe Research 團隊與香港科技大學共同發表了一項研究技術—TransPixar,可以利用文字生成出帶有透明背景的影片。就開發團隊指出,即使目前文字生成影片的模型已經有顯著的進展,然而,要生成出包含 Alpha 通道的影片仍然是一項挑戰,原因在於相關數據集的缺乏,以及與現有模型適應能力的限制。

而 Alpha 通道對於許多數位內容創作是至關重要的,特別是在視覺特效上,能夠使煙霧、反射等帶有 Alpha 通道的元素無縫融合至場景中。因此,TransPixar 旨在擴展預先訓練影片模型,以生成出 RGBA 的影片,同時保留原有的 RGB 生成能力。TransPixar 利用 Diffusion Transformer(DiT)架構,結合專為 Alpha 通道設計的 Tokens,並使用基於 LoRA 的微調技術,協同生成高度一致性的 RGB 和 Alpha 通道l。透過優化,TransPixar 在保留原始 RGB 模型優勢的同時,實現了 RGB 和 Alpha 通道之間的高度吻合。

除了文字生成影片之外,在展示頁面中也分享了利用單一圖片生成出帶有動作的 RGBA 影片。團隊表示,即使訓練的資料有限。但該方法可成功生成多樣化且一致的 RGBA 影片,進一步推動了視覺特效和互動內容創作極限。有興趣的朋友,可以到 TransPixar 的 huggingface Demo 頁面自己玩看看。


文章授權聲明

  • 映CG 編輯整理
  • 文章為映CG所有,如需轉載請標明出處
2025 第 52 屆安妮獎入圍名單出爐:《荒野機器人》、《奧術》第二季分別獲 10 項、7 項提名...

相關文章

還沒有帳號嗎? 點此立即註冊!

登入您的帳號