位於渭水驛站的常設展覽《你好，渭水》是為紀念臺灣自由民主思潮的推手蔣渭水先生的展覽。在此展覽中，運用4DViews 技術製作『4DViews 蔣渭水影片』，不僅重現蔣渭水的身影，更是首次以歷史文化展覽結合新媒體的方式讓參觀者有完全不同的感官體驗。本次映CG特別邀請負責 4DViews 拍攝與製作團隊，頑石國際-技術部經理 劉詩安與 4DViews 導演 林育賢來與我們聊聊製作過程與經驗。

《4DViews 蔣渭水影片》AR 作品想帶給觀眾什麼樣的互動體驗呢？

劉詩安:文化場館通常都透過導覽來輔助整個參觀過程，我們認為單獨透過圖片跟文字沒辦法很直接地將設計理念傳遞給參觀者，所以一開始的構想是，當參觀者來到實體展場時，能有專屬的虛擬導覽員，向參觀者介紹整個展覽的設計理念與內容。而進一步發想，誰來講渭水先生的故事最適合呢？當然是蔣渭水先生本人，所以從這個概念出發，就好像是渭水先生穿越至現代，親自為參觀者進行導覽、互動並由本人講述他的生平故事。

在《你好，渭水》紀念展中，團隊從展覽規劃到影片製作都一手包辦，是如何規劃整個展覽？

在本次紀念展中運用 4DViews 影像搭配 AI 空間辨識技術，將立體影像呈現於參觀者眼前，請聊聊最初是怎麼決定採用這樣的技術組合及如何操作嗎？

劉詩安: 本次拍攝是透過臺北市政府專案申請，並使用文策院所管理位於空總的 4DViews 攝影棚。4DViews 跟以往的技術最大的不同點是，透過容積擷取的技術，能夠以720度全視角捕捉被拍攝者的容貌與動態等，都能完整呈現並即時建模。

以往AR呈現大部分是以影片或圖片，較為平面的形式，所以只能從特定角度觀看，而且看到的也是較平面的影像，相較之下缺乏真實感。再者辨識是透過類似 QR Code 的二維條碼或是圖片掃描，所以此時觀眾的行動裝置就必須呈現一個特定的角度，而當轉到其他角度觀看時，也會導致系統無法判斷觀眾目前的位置與方向，而無法發揮 4DViews 的強項。

因此團隊這次也特別導入所謂的空間辨識技術，這項技術是針對整個空間來作辨識，而非單一的平面。它將展場的一隅透過 3D 掃描，讀入系統中比對，系統就能夠判斷觀眾的位置跟角度等，再透過即時運算的方式，將 4DViews 所拍攝的影像，與透過觀眾行動裝置顯示的真實畫面結合。此時不論觀眾從哪個角度看，被呈現於行動裝置裡的渭水先生都將是立體的，也更具真實感，進而得以呈現 AR 體驗的最好效果。

介紹一下整個策展的前置流程，在規劃中最大的挑戰是什麼？

劉詩安: 4DViews 是個很新的技術，因此我們需要嘗試各種方法來配合。在腳本規劃的階段，先思考設計怎樣的動作，才能很好地融入現場環境，或是後製部分遇到問題要如何配合。比如有場戲是在大安醫院的牌樓下，為了呈現真實感，我們安排渭水先生講完話後，會轉身走進門，那走進去的時候，我們就需要計算他的位置跟方向等，才能呈現一個比較好的虛實整合體驗。

以技術面來說，挑戰就是 4DViews 拍攝所產生的檔案非常龐大，而我們實際運行主要是在平板電腦上，所以我們就必須要將檔案優化或是減面，以解決平板電腦運算上的困難。4DViews 所拍攝出來的影像畫質是非常高解析度的，解析度從720P 至2280P 都能夠提供，但是受限於平板的效能，經過我們來回多次實際測試後，能運行的主要是解析度較低的影像，幸好只有特寫畫面畫質上的差異會比較明顯。主要的原因也是因為我們使用遊戲引擎 Unity 即時運算，且受限於平板電腦的硬體效能。

那像是在大安醫院牌樓這樣的場景拍攝動作，拍攝過程中，例如在動作上或服裝上有什麼細節是需要特別注意的嗎？

林育賢: 因為 4DViews 的影像輸出之後，無法改變或是調整，不像在一般3D軟體裡可以重新編輯，唯一能夠做的是決定影片從哪裡切掉畫面跟轉換。再加上表演者本身是素人演員，一氣呵成的拍攝方式會是個挑戰，所以我們後來決定分五個場景，並固定每次表演的長度來拍攝。

每一場戲都會拍攝大約3-4次，並會設定定位。但不是每次都需要重新設定定位，主要當場景有壁貼跟道具，這些會影響到掃描的精準度的物件時，團隊會先把障礙物移除，以便判斷場景中演員的走位，並重新設定定位。事先還會預錄所謂的參考音，並先拍攝預定走位，作成類似動態腳本的形式當作參考，並先預演一次，讓演員能在完全了解演出的情況下表演。

另外特別需要注意的是，在使用 4DViews 掃描時，演員身上的造型跟配件有可能產生破面或是動態過大，以致擷取不到的問題。所以我們在設計造型上，都會跟掃描的團隊討論，並於來回測試調整中作取捨。比如劇情中有一幕，我們希望渭水先生能將聽診器拿起並戴上耳邊，但是在實際測試後發現這個動作可能會導致模型破面，所以最後就刪減掉拿起聽診器這個動作。同時我們的畫面螢幕設定也會配合整個展場，考量觀眾使用平板時的觀影感受跟演員的表演是不是能夠清楚呈現，還有空間設定上對於走位的要求，我們會針對這幾點做前期規劃，以上大概就是拍攝時需要注意的細節。

操作過 4DViews 技術後，你認為這個技術最大的優勢為何，或是對 4DViews 在未來的應用還有什麼想法嗎？

劉詩安:我們認為 4DViews 的優勢跟特色是容積擷取的技術可以把演員的所有動作、神情等都很精確地捕捉。如果是以往透過建模，再使用動態捕捉的方式，比較容易被客戶說：「臉的神韻沒有很到位。」容積擷取就比較不會有這個問題，因為就是依照演員本人產生的 3D 掃描建模，它可以把被拍攝者真實的影像完整地紀錄跟呈現。

以目前來說 4DViews 的拍攝的費用，相對於傳統的綠幕、動態捕捉這類稍微偏高，因此我們認為 4DViews 的應用，有可能會被侷限在被拍攝者的人像具有較高的價值時，比如說文資保存方面，就可能使用這個技術記錄一些國寶級的表演者、舞蹈家的演出，或是明星的人像等等。撇開上述因素而言，因為現在整個多媒體產業都走向所謂的敘事整合，不論是透過 VR 頭戴裝置或是使用平板的 AR 等等，越來越多都朝向敘事者視角，未來應該會有不少容積擷取技術的需求，所以我們認為 4DViews 這類容積擷取技術未來將會有非常多運用的可能性。

台北市政府一直在推行無牆博物館，而渭水驛站周邊，這整個街區也有很多渭水先生相關的歷史足跡，所以其實整個區域都可以說是博物館的一部分。我們也希望未來能夠透過 4Dviews 製作的導覽，擴展到戶外的整個街區，讓參觀者可以拿著平板電腦，站在大安醫院舊址的門口，渭水先生便會現身與參觀者介紹自己的生平。目前韓國已經有類似的技術應用，而國內還尚未看到這部分的應用，所以我們認為 4Dviews 技術有這樣的發展潛能。