視覺特效與動畫製作一直是門需耗費大量心力與時間的工作，每一部華麗影片的背後都是透過藝術家們嘔心瀝血創作，才能將最終成品呈現到觀眾眼前。日前，來自墨西哥的電影導演 Freddy Chávez Olmos 推出了一部獨立恐怖電影《BYE-BYE》，他表示這是一部採用「虛擬製作」所完成的作品，且由於需在限時內打造出視效，因此他選擇搭配生成式 AI 來進行協作，可說是目前業界少見的實戰演練。近日他受邀在外媒網站分享了背後的視效製作過程，現在就趕快跟著映CG 來一探究竟！

在短時間內打造吸睛視效的解決方案 – 生成式 AI

《BYE-BYE》根據都市傳說改編而成，目前正在 FilmQuest 電影節中展出；故事講述了兩名女性在老舊荒涼的月台等待地鐵時，黑暗深處突然傳來令人毛骨悚然的低語聲...。《BYE-BYE》是由加拿大導演協會所提出的企劃中的一個專案，主要目的是給八位導演一個機會，到溫哥華的虛擬製作工作室 Lumostage Virtual Production 執導相關短片。由於製作時間被限縮在兩個小時內，Freddy 便將目光轉向了目前最火紅的生成式 AI，為其中一個角色打造結構複雜的虛擬外觀，他表示：「我知道在短短兩小時內用特效化妝或手動打造 3D 虛擬效果是不可能的，所以我選擇用生成式 AI 和機器學習，來簡化後期製作的繁瑣步驟，以加速實現腦中的想法。」

延伸閱讀：映CG 第 52 期雜誌【未來製片 Virtual Production】 

利用 CopyCat 實現動態去背與遮罩生成

在本專案中，Freddy 所處的視覺特效兼動畫工作室 Boxel Studio 使用了多種全新的生成式 AI 與機器學習工具。其中，最重要的一款工具為影視合成軟體 Nuke 所推出的「CopyCat」，它隸屬於去年所開發的 AIR nodes 機器學習插件組合包；CopyCat 是一款具備神經網路的節點系統，使用者可透過訓練的方式讓它學習如何複製視覺效果並自動執行，為創作者簡化繁瑣的製程。Boxel Studio 將 CopyCat 與即時人像繪製模型 MODNet 搭配使用，從而在實拍影片裡將兩名角色從背景中分離出來。

延伸閱讀：即日起正式上線！全新革命性 AI 工具 Wonder Studio 釋出，只需一鍵即可讓實拍真人轉換為 CG 角色

搭配 Leonardo.ai 與 ControlNet 打造吸睛虛擬外觀

Boxel Studio 還將 CopyCat 與圖像生成式 AI「Leonardo.ai」結合使用，以打造出影片中所看到的特殊外觀，也就是將演員面部轉換成蒼老的女性，Freddy 透露：「有了 Leonardo.ai，我們可以創建自己專屬的個性化模型，並進一步生成我心中對年老女性所設想的外觀。透過建立一致的『風格化關鍵幀數』，我們能利用 CopyCat 彌補所缺乏的幀數並直接放進影片中。」根據他的描述，ControlNet 的圖生圖功能對整個創作過程來說也非常重要，因為它能忠實呈現演員的動作與肢體表現，並以其為基礎生成多種視覺外型。除了以上幾款 AI 工具外，他提到團隊還使用了 Adobe 為 Photoshop 所開發的的 AI 生成填色功能，其方便之處在於使用者可透過輸入提示詞，直接為圖像新增/移除影像內容。

延伸閱讀：產業生態將大變？Stable Diffusion 超強擴充外掛 ControlNet 亮相，只需上傳草圖、簡易骨架即可生成精美圖像

虛擬製作 + 生成式 AI = 獨立電影製作的全新可能性？

短片裡的場景主要是在 Unreal Engine 裡面完成的，雖然 Freddy 表示這部分並沒有使用任何的 AI 工具，但他透露 Boxel Studio 目前正為下一個專案，在 UE 中測試生成式 AI 與機器學習的工具。最後，此專案的虛擬製作總監 Juan Carlos Galindo（同時也是 Boxel Studio 的技術總監）表示：「《BYE-BYE》背後所使用的虛擬製作技術與 AI 工作流程的結合，可說是為電影製作者提供了不一樣的表達方式。全新的技術整正在改變整個產業，導演將會有更多的方法呈現、強化腦中所建構的畫面。」

查看《BYE-BYE》電影完整介紹

查看更多 Freddy 所做的 AI 視效創作測試