布袋戲隨著移民傳入台灣，歷經變化發展出屬於台灣的特色，除了吸收章回小說、武俠元素演化獨特的文本，更在技術面上不斷創新，「金光布袋戲」結合聲光、機關等技術成為知名 IP，而國科會「科技藝術跨域融合與創新研究計畫」近年的《未來布袋戲劇場：人機互動、混合現實與操偶美學》則以多種科技操偶方式，挑戰對未來布袋戲的想像。國立台灣藝術大學多媒體動畫系系主任李俊逸擔任子計畫《功名掌上尋》主持人，聚焦「動態捕捉操偶」，將傳統表演藝術結合科技，開創美學新境界。

以當代科技詮釋布袋戲起源傳說，虛實互動辯證文本主題

《功名掌上尋》取材自布袋戲起源傳說《功名歸掌上》，書生梁炳麟在夢中受到仙人指示將在掌上尋得功名，在考場失利後輾轉藉由布袋戲獲取了功名，方才明白仙人的真意。《功名掌上尋》則結合現場操偶、虛擬偶戲和肢體表演，透過全息投影，以虛實互動辯證文本主題。演員模擬布袋戲偶在操偶師手掌上翻飛的型態，而虛擬的戲偶也藉由動作捕捉技術呈現出真人表演的動作質感。團隊邀請擁有多年戲曲編導經驗的表演者劉富丞合作，在生、淨、旦、虎多角之間操控變換，不但考驗演員功力，也展現科技介面的效能。在初步劇本和角色設定成型後，台藝大多媒動畫藝術學系的學生們以 Blender 和 Substance Painter 進行角色概念和場景設計、3D 建模，並以 Unity 與演員一同開發、測試骨架轉換系統，最終再由導演整合系統，並加入操偶師現場演出，經過兩年打磨，最終完成豐富、順暢的腳本。 

在演出現場，團隊混和浮空網紗投影和短焦投影，將虛擬腳色投影至表演者身前，將「書生變身戲偶」的概念視覺化，同時也讓觀眾意識到表演者在操控著虛擬偶，此外，分開投影虛擬偶和虛擬背景，更提升了空間設計的層次感。

真人演繹虛擬角色挑戰重重，慣性動捕系統 Xsens 讓表演更自由

在《功名掌上尋》中，團隊利用慣性動態捕捉系統 Xsens motion capture，即時建立動作資料。相對於光學動捕系統如 Vicon、Motion Analysis 和 OptiTrack， Xsens motion capture 以感測器組捕捉動作，表演者可以自由移動，不須受標記點或攝影機視角限制，可以隱藏在衣服內的裝置也讓穿著更有彈性。為了將捕捉到的人體骨架完美轉換到布袋戲偶身上，他們也開發了人體骨架轉換系統 VRM ，讓虛擬布袋戲偶可以在模擬手掌骨架操偶的結構下律動。

然而，Xsens 和 Unity 軟體內的人體模擬（Humanoid）本身有特定的骨架結構，無法支援特定 3D 軟體的特殊功能，此外，雖然系統中有一鍵校正功能，但若演出中感測器大幅偏移或斷訊，也只能仰賴演員的臨場反應，到幕間才能調整。演員們也表示，穿著動補設備表演時需要控制肢體角度避免穿模，演繹虛擬角色更是一大挑戰，需要多加揣摩。

傳統與新興型態共存，科技結合藝術獲美國謬思創意大獎金獎肯定

《功名掌上尋》於 2023 年 11 月在台藝大科技藝術實驗劇場呈現，並以錄像形式在高雄市立美術館展出，近期獲得 2024 美國謬思創意大獎金獎。《功名掌上尋》是台灣第一齣融入戲曲、布袋戲及動態捕捉技術的科技藝術表演，讓實體演員、虛擬與實體布袋戲偶三方進行對話，富有傳統與新興型態共存的意涵。藉由新型態科技的介入及表演形式的融合，帶給觀眾不同的布袋戲表演樣貌及想像。