自《曼達洛人》以來，虛擬製作逐漸成為影視拍攝的主流，並應用於不同專案上，2023 SIGGRAPH Asia 邀請了資深虛擬製作總監 Paul Debevec 來分享 Netflix 作品所使用的虛擬製作技術，現今有什麼發展、未來又有甚麼技術改革？映CG 特別專訪該總監，帶你一窺國際的虛擬製作應用。

延伸閱讀：issue 52: 未來製片Virtual Production

聊聊你工作生涯的經典時刻，以及參與多少年的 SIGGRAPH 與 SIGGRAPH Asia？

Paul Debevec：我從 1994 年開始參加 SIGGRAPH，自那時以來幾乎沒有錯過任何一屆 SIGGRAPH。第一次參加 SIGGRAPH Asia 則是在 2008 年，當時為第一屆。雖然我沒有參加過每一屆，但每次能夠在這裡都能吸收很多知識與認識很多人，這讓我非常愉快。我每次參加都是在台上發表論文，包含我的博士論文，當時以「如何從照片中建模並渲染建築物」為主題，並以該技術製作短片《The Campanile Movie》，啟發了《駭客任務》中子彈時間的特技鏡頭所採用的虛擬背景技術。團隊運用我編寫的軟體創作這些虛擬背景，我也就此踏進特效業，並專攻高動態範圍成像和燈光技術的工作。

這些年我曾創建一個由 LED 燈組成的光環掃描儀，讓演員能進入其中掃描，創建他們的數位替身，而這些數位替身的光線反射與現實世界一樣真實。這被用在《蜘蛛人 2》、《班傑明的奇幻旅程》、《阿凡達》、《黑魔女：沉睡魔咒》和《銀翼殺手 2049》等電影。我掃描過最大咖的人物是美國總統歐巴馬先生，當時受到史密森尼美國藝術博物館的邀請，團隊建造了特殊版本的光環掃描儀，建造總統德數位替身，並運用 3D 列印製作他的半身像，現在正在我們研究所的大廳展示著。當時能跟總統交談，引導他進行掃描，並且還能合照，是我工作經歷以來最重要的一刻，現在加入了 Eyeline Studios，負責影視的虛擬製作，這真的非常酷，我希望能持續製作非常酷的專案。 

介紹 Eyeline Studios 是什麼樣的工作室？ 

Paul Debevec：Eyeline Studios 位於加州好萊塢，鄰居是 Netflix 南加州辦公室。工作室擁有一個大型、頂尖的虛擬製作棚和 LED 棚，深受業界愛戴，曾運用在多部影視專案中。技術方面，我們擁有領先業界的體積捕捉系統，可透過 100 多個攝影機錄製演員的表演。搭配特殊的 LED 面板能打出最符合需求的燈光，以獲得高解析度的 3D 模型，真實地呈現了演員的形象與表演，還能完全控制攝影機視角將其放入電影中，曾用於《閃電俠》和《黑亞當》等電影中以及一些即將上映的超級英雄的電影，用於空中飛行橋段。

我不確定整間工作室從事虛擬製作有多少人，畢竟我帶領的團隊只是其中之一。工作室正在招聘人才、擴大團隊。未來會嘗試開發新的虛擬製作技術，並利用機器學習技術改進虛擬製作流程。我們有一個舞台研究團隊，運營虛擬製作和體積捕捉設備，並構建我們研究所需的東西。我們還有來自不同城市的虛擬背景藝術家，確保工作順利進行。 

聊聊你一天的工作？ 

Paul Debevec：每天總是有很多會議，我真心能逃離這些會議，去設計一個新的捕捉設備或是評估是要購買新的攝影機。我主要帶領研究團隊，所以我會和他們一起開會，有時候是討論個人工作進度，或是對於專案的評估。我並非每天都在辦公室，因為我們執行彈性工作制度，有時在家工作。我最愛在星期一的時候去海邊工作，這是在洛杉磯才有機會做到的事。有時會進攝影棚看看是否有正確地設置攝影機與搭建為專案設置的場景，每次進棚都非常興奮。有時我也會到屋頂上，看夕陽光灑落在大大的好萊塢標誌。 

 聊聊 Eyeline Studios 虛擬製作攝影棚的基礎配備？

Paul Debevec：基本上是一些現成的產品，當然也有客製化的設備。像是最基本的四面 LED 面板。它們通常會彎曲到前方，會這樣設計是我們 20 年前撰寫的研究論文所得出的結論，如果用各個角度的 LED 包圍演員，可以透過反射作為演員的打光，做到類似現實世界的打光方法。我們還在天花板與地板下安裝了 LED 燈，可從上方與下方打燈，照亮演員。軟體上，也使用現在業界的標準工具，將人們看到的場景視角調整為在 3D 中被追蹤的攝影機視角，再透過遊戲引擎來製作成可即時調整的虛擬場景，另外，也使用很多追蹤系統來追蹤我們的鏡頭。於是這個虛擬攝影棚可隨時更換背景、添加 CGI 角色或進行其他視覺效果的處理，以符合拍攝團隊的需求。 

可針對不同專案，改變攝影棚的配置嗎？ 

Paul Debevec：絕對可以。Eyeline Studios 有一個工作團隊可針對拍攝需求，重新配置並搭建新版本舞台。有時候需要移除一些面板，讓起重機能搬運配置，或者建造更多面板，因為需求百百種，總會出現從沒預料到的打燈需求。也有些團隊會要求更強大的光線，這時就可以透過 DMX 控制，以專業的技術提供更強烈、更特定的燈光效果。

哪一種專案最適合虛擬製作？ 

Paul Debevec：雖然已經有很多著名且高預算的專案使用虛擬製作拍攝，但我認為虛擬製作適合低預算的專案。這些專案無法負擔起團隊前往秘魯等世界各國的費用，就能使用虛擬製作將秘魯場景放置 LED 背景，放置一些道具，完成拍攝，這樣的拍攝模式也能節能減碳。儘管，LED 面板確實需要一些電力運行，但遠遠少於整個團隊前往某地所需的飛機燃料。我認為這改變了影視製片的創作思維，能更彈性的運用預算，去拍攝各種畫面。 

延伸閱讀：專訪法國最大虛擬攝影棚 MADO XR 創意總監，一窺「虛擬製作」如何應用在時尚創意產業

拍攝過程中最常見的問題是什麼？你會如何處理？ 

Paul Debevec：每個專案都有不同問題，我們比較常研究的問題是如何在演員身上打出最自然的光線。儘管虛擬製作有非常強大硬體支援，但並不是輕易就能提供真實的燈光，當虛擬背景在背後的面板上、側面、天花板和地板上顯示時，通常會存在可實現亮度和面板動態範圍之間的差距。光線是否來自不同的角度？光線是否具有足夠的色彩還原品質，使演員在環境中看起來自然？以目前的技術，離自然還有一點距離，這時必須與一位優秀的攝影師合作。他能觀察到任何演員在任何光線下的效果，並確定是否良好。如果效果不好，也能討論如何修正。前一週在拍攝時，還加入七八個傳統燈具，提供其他方向的照明，讓整個畫面看起來很自然。我們目前正研究虛擬製作技術的擴展，希望能在一開始就獲得正確的光線，並能隨時快速地改變，服務拍攝團隊。 

聊聊《海賊王》真人版的拍攝經驗？ 

Paul Debevec：《海賊王》真人版採用多種不同拍攝手法，其中一部分是透過虛擬製作拍攝，我認為這方面做得很出色。最大的拍攝挑戰是關於虛擬角色的鏡頭，因為要賦予角色生命力，還有一些誇張的變形，畢竟是動漫改編，該如何衷於原作的視覺效果與故事？又如何在有趣與真實之間平衡？導演與特效師需作出很多決策跟設計過程。而這部作品很受歡迎，剛好讚揚了這群出色的團隊。 

延伸閱讀：issue 57：The Magic behind Visual Effects 迷人的視效魔法，特效製作的眉角

最令你難忘的專案？ 

Paul Debevec：在我參與的電影中，最難忘的可能是有史以來最大的電影之一《阿凡達》。我在 2006 年就認識一些在 Weta工作的人，其中一位同事是 Dr. Mark Sagar，他在 2006年SIGGRAPH 後拜訪我的實驗室，並瀏覽當時研發的新技術－可在光舞台中記錄人類皮膚的極高解析度細節。令他感到訝異，他邀請我進入劇組，於是我前往南加州大學洛杉磯分校的實驗室，《阿凡達》兩集的特效總監 Joe Letteri 到來，說三個禮拜後要帶演員來進行拍攝，於是我們在短時間內建立新的製作流程，讓演員能舒服地拍出我們想要的真實人物數據，增加臉部掃描的解析度和視角數量。

這個技術還可以用於植物類，潘朵拉星球上的植物也是被我們這樣掃描出來的，我們從各處帶來了蕨類植物等各種植物。之後我們並進一步改進了技術，提高了解析度，重新掃描所有演員的臉部，創建這些演員的納美人角色以及逼真的數位替身。這過程僅僅只是這偉大電影一小段但重要的旅程，至今依舊非常榮幸參與且難忘。

希望未來在虛擬製作中看到什麼樣的新技術或發展？ 

Paul Debevec：前面有提到，我希望下一階段的虛擬製作技術能更準確地將場景中的燈光效果呈現在演員身上，而不需要花費時間去檢查，移動燈光，應該是按下按鈕就可以來實現。我非常有興趣研究這個技術，以獲得良好的色彩重現或燈光。如果場景發生在 1950 年代的室內，人們會運用舊式燈泡打燈。舊式燈泡發出的黃色光譜非常特定，能呈現那個時代的美感。如果在虛擬製作中能夠進行這樣的燈光設置，就能拍攝類似的效果，而不需要經過後製。或是將攝影機設置為白平衡的白熾燈光，然後從圖像呈現就如同演員們處於白熾燈光下。目前虛擬製作技術已經出現其他光譜的 LED 面板，越來越能實現我上述所講的。 

延伸閱讀：SIGGRAPH Asia 2023 精彩亮點一次看！技術論文投件破歷史新高、首創青少年動畫競賽、NVIDIA 多間國際品牌與台灣品牌 MOXI 展示精彩技術與案例！