By accepting you will be accessing a service provided by a third-party external to https://www.incgmedia.com/
「我們始終都在跟隨父親的腳步,訴說這片土地的故事。」專訪看見‧齊柏林基金會「5G 虛擬展館線上導覽」,以虛擬人互動技術打造最真實的觀展體驗
看見‧齊柏林基金會推出第五回年度特展「韌島」,攜手威如科技及國立臺灣大學影像實驗室共同推出「5G 齊柏林空間虛擬場館線上異地導覽」。旨在運用 5G 和虛擬人技術,讓身處異地的觀眾也能享有最真實的導覽體驗。看見‧齊柏林基金會董事齊廷洹、威如科技,以及擔任虛擬人製作技術顧問的甲尚科技,將揭開背後的技術應用。
回想起《看見台灣》的上映,齊柏林導演讓許多台灣人首次以第一人稱的空拍視角,見識到這片土地的另一面。他不僅僅是帶回影像畫面,更重要的是展現了人與土地之間深厚的情感連結。適逢看見‧齊柏林基金會第五回年度特展「韌島」,基金會在文化部的指導下,攜手威如科技及國立臺灣大學影像實驗室(imlab),共同推出「5G 齊柏林空間虛擬場館線上異地導覽」。此項計畫旨在運用 5G 和虛擬人技術,讓身處異地的觀眾也能享有最真實的導覽體驗。本次,映CG 邀請看見‧齊柏林基金會董事齊廷洹、威如科技,以及擔任虛擬人製作技術顧問的甲尚科技,為我們揭開背後的技術應用。
用 5G 打破距離,讓更多人「看見台灣」
擔任基金會董事的齊廷洹,不僅肩負齊柏林導演的環境教育使命,還參與基金會營運的重要責任,致力於讓更多人「看見台灣」。本次舉辦的「5G 齊柏林空間虛擬場館線上異地導覽」的初衷,正是希望讓偏鄉的孩子們也能參與其中。齊廷洹表示:「我們時常與學校或社福機構合作,讓偏遠地區的孩子們能夠到我們的場館進行環境教育。儘管我們全程補助交通費和門票,但我發現問題已不僅限於交通。他們光是到達這裡就需要花上一整天的時間,更別提參觀展覽了。」
這讓齊廷洹開始思考如何突破地域和空間的限制。因緣際會下,他接觸到文化部推動的「博物館與藝術 5G 科技跨域應用計畫」,發現 5G 通訊技術能有效解決虛擬空間中的影像資料傳輸問題,即使內容龐大,觀眾也能透過高速網路實現零延遲的讀取。此外,以線上導覽的形式進行,也能讓觀眾彷彿親臨現場。他解釋道:「雖然製作 3D 數位影片的難度不高,成本也相對較低,但總覺得少了那麼一點『味道』。我希望即使觀眾不在現場,也能獲得百分之八、九十的觀看體驗。」
從底片到數位:齊柏林影像的時光穿梭之旅
本次線上導覽的主題圍繞年度特展「韌島」,以山脈為載體,講述人與土地之間的互動。為了籌辦此展覽,基金會重新整理了齊柏林導演拍攝的五十萬張數位照片和十萬張底片,最終精選出五十件作品進行現場展出。「挑選照片的過程真的非常耗腦!」齊廷洹笑著說:「這些照片從 1990 年延續到 2017 年,加上團隊的成員來自不同領域,因此我們進行了許多討論。例如,與齊導合作已久的同仁,可能會從父親的角度來思考;而策展的夥伴們則會從更實際的面向來考量。經過層層篩選後,才有了大家在展覽中所看到的照片。」
在籌備「韌島」的過程中,團隊面臨了一些技術挑戰,特別是在底片掃描數位化的部分。齊廷洹指出:「雖然在電腦螢幕上檢視時,兩者看起來並沒有明顯差異,但在進行大圖輸出時,畫質卻會顯得特別模糊。」他以「南投曲冰部落」的照片為例,原本團隊打算將其作為展覽的主視覺,但在輸出後發現畫質無法達到預期,最終不得不改用另一張畫質更佳的照片來替代。
從第一屆的「見山」到後來的「逐岸」、「映河」、「覓城」,再到最新的「韌島」,我們始終都在跟隨父親的腳步,以不同方式訴說這片土地的故事。
看見·齊柏林基金會董事 齊廷洹
齊導化身虛擬導覽人,帶給觀眾驚喜互動
線上導覽中最大的亮點,莫過於首次嘗試讓齊柏林導演以「虛擬導覽人」的形式出現在展間,與觀眾進行互動與講解。然而,當齊廷洹看到父親以虛擬形象再次出現在眼前時,心中卻百感交集。他表示:「必須說,我一開始是反對的。透過科技『重現』逝去的親人,並說出非本人所言的話,對我來說稍微難以接受。」儘管如此,在與基金會及團隊多次討論後,他開始理解這件事的重要性。「其實創建基金會的初衷之一,還是希望大家能以更輕鬆有趣的方式來認識我們、認識台灣。」他說道。
在與製作團隊溝通的過程中,齊廷洹希望虛擬分身必須切合齊柏林導演過去的風格,避免塑造過於表演性質或全新的個性,內容也需以介紹影像作品為主。在聲音的製作上,威如科技運用了 AI 語音模型,以最大程度還原齊柏林導演的聲音。透過基金會內部的資料庫,以及網路上所有關於齊柏林導演的採訪片段,挑選出僅有齊柏林導演的聲音後,提供給 AI 模型生成聲音。最後,再與齊柏林導演真實的聲音進行比對和細修,產生出最終的聲音。
數位工具打造更自然的虛擬人物互動
為了打造虛擬齊導的外觀,基金會邀請了甲尚科技擔任虛擬人製作的技術指導。甲尚科技前瞻創新部經理黃勝彥表示,透過甲尚的角色創建工具 Character Creator,可以創建虛擬人模型,並且能夠完成皮膚紋理、面部表情、頭髮及服裝設計等各項細節。此外,其專屬外掛 Headshot 讓使用者只需提供一張照片,即可生成高擬真的 3D 頭部模型。
一個虛擬人不僅需要外表相似,還必須具備「靈魂」。甲尚科技的動畫軟體 iClone 和 Motion Live 技術,能夠透過演員的動作表演,使虛擬角色模擬相同的肢體動作。在表情方面,Live Face 則可利用 iPhone 捕捉細微的面部表情,並結合 AccuLips 和 NVIDIA Audio2Face 技術,使虛擬角色展現真實的情感,從而實現更自然的互動對話。完成後的虛擬角色,還可以直接匯出至 Unreal Engine、Unity、Blender 或 NVIDIA Omniverse 等主流平台,進行即時渲染或互動設計。
由於虛擬展廳的互動皆透過網頁瀏覽器進行,為了確保不同裝置都能獲得流暢的顯示效果,威如科技將以網頁通用的 3D 模型格式「glTF」導入完成的虛擬齊柏林導演。製作階段必須特別注意模型在製作端(如 Maya、Blender 等)的呈現效果,以及與網頁顯示端的材質效果是否一致。由於不同平台的瀏覽器對於材質的呈現效果可能會有所差異,因此必須反覆確認,以確保一致性。
打造數位雙生虛擬展間,百分百還原實景導覽體驗
為了本次的線上導覽,基金會邀請了威如科技、imLab,共同策劃虛擬齊柏林空間的製作。專注於多媒體互動技術與內容開發的威如科技,以「數位雙生」為核心理念,運用 3D 建模和虛擬實境技術打造線上展館。為確保空間設計與實體場館一致,團隊也實際走訪淡水,深入觀察室內裝潢並親身體驗導覽,細緻還原每一個細節。來自 imLab 的互動系統與 5G 即時傳輸技術,則是能為多人同時導覽提供良好的觀影體驗。
在空間製作上,威如科技選擇以 Rhinoceros 3D 和 Blender 作為建置數位雙生的主要工具,這不僅能同步虛實空間的設計,也能加速不同領域團隊的資訊交流。待配置定案後,技術團隊將內容串接至 Unity,進行可互動模組開發、場景調整以及光源運算,藉此模擬實際展間的環境。最後,虛擬空間系統將移至網頁伺服器引擎 Next.js 運行,結合 WebGL 圖形運算技術,不論觀眾使用何種裝置類型,都能自由穿梭在虛擬齊柏林空間中。
為了讓體驗更生動靈活,威如科技特別開發了「直覺式空間觀覽模式」、「論述牆與作品展示」、「展間動態互動」三種觀展方式,包含透過滑鼠或手勢和作品進行互動及虛實整合操作等等,實現更貼近現實的互動體驗。「直覺式空間觀覽樣式」結合我們熟悉的遊戲操作介面,使用鍵盤的 WASD 鍵或點擊螢幕地面,即可進行前後左右的移動,亦能利用滑鼠改變觀看視角。另外,點擊小地圖也可瞬間移動至想去的區域,實現更快速的空間切換。
透過數位科技,持續延伸齊柏林導演對這片土地的關懷
從《看見台灣》到本次的「5G 齊柏林空間虛擬場館線上異地導覽」,齊柏林導演對國內環境生態教育的影響仍在持續發酵。他不僅是這片土地的記錄者,更是無數人心中環境與文化關懷的象徵。透過各種數位科技的協同應用,製作團隊重現了數位的齊柏林空間與齊柏林導演,使導覽體驗達到更真實的沉浸感。甲尚科技經理黃勝彥表示:「當看到虛擬齊導在螢幕上出現的那一刻,說實話,所有人都非常激動且感動。這不僅僅是技術層面的挑戰,最困難的是掌握『分寸感』。」製作團隊希望虛擬人能夠還原導演生前的神態和語氣,但又不希望其過於擬真,以免讓觀眾感到不安或有距離感。因此,在動作、表情甚至語音的細節上進行了許多調整,讓虛擬齊導既真實,又保有一絲「虛擬」的感覺。
威如科技製作團隊表示,齊柏林導演對台灣的影響深遠,無論是在大眾中,還是在與他熟識的友人和夥伴之間,他的形象都非常良好。因此,製作虛擬的齊柏林導演,不僅需要高度還原他的外貌、聲音與表情,以確保參觀者能夠真切地感受到沉浸感,還必須讓大家能夠順利地與他在印象中的形象重合。這是一項耗時且細緻的工作。