By accepting you will be accessing a service provided by a third-party external to https://www.incgmedia.com/
探討多重感知與藝術的可能性，將人類意識上傳的 VR 體驗裝置《Upload Not Complete》
由黑川互動媒體藝術與 PSquare 媒體實驗室，所共同製作的《Upload Not Complete》是以其前身的表演藝術作品《CyberCube》衍生而來，製作團隊以其中提到的意識上傳概念具象化，打造出一個彷彿能夠將人類意識上傳的 VR 體驗裝置，讓我們一起來看這個裝置是如何探討多重感知，又是如何結合藝術激發出更多的可能性，並在 2019 的 SIGGRAPH Asia 榮獲延展實境（Extended Reality, XR）類別最佳科技大獎。
黑川互動媒體藝術 & PSquare 媒體實驗室
致力於科技藝術創作，以及互動設計開發的團隊，我們希望用科技做為媒介，打破藝術與設計的界線，讓團隊能夠在藝術創作、研發上面，有更多的可能性。
《Upload Not Complete》官方網站
跟我們聊聊你在《Upload Not Complete》在研究中所參與的工作內容?
《Upload Not Complete》主要的分工是由胡縉祥負責藝術概念的發想、風扇電流可程式化控制、軟硬體整合介面；張兆慶負責混合實境的視覺開發，以及硬體控制的訊號傳送；PSquare 媒體實驗室蔡秉樺負責無線穿戴裝置的設計、LED 燈的軟硬體設計。
當初為什麼會想要以「觸覺」來探討藝術的可能性？期待能帶給觀眾什麼樣的體驗和幫助？
這機會來自於 2018 年底的台北數位藝術節策展人「羅禾淋」，以五感作為策展主題，邀請藝術家創作，同時我們也有幸與「社團法人臺灣非視覺美學教育協會」合作，共同以觸覺感知來探討，是否能藉由多重感官的結合，讓觀眾感受到除了視覺、聽覺之外的可能性，以加深沉浸感。例如，體驗時我們讓觀眾看到石頭從風扇中吹出，打到觀眾身上時產生數位的震動，穿戴裝置也因此產生振動。
從創作初期，我們就想做出有別常見的 VR 體驗，希望能夠帶給觀眾不只是一個人的感受作品，而是也能夠和空間、朋友有一些互動與連結。
by 胡縉祥
你們為了這個創作研究了哪些感知能力？
我們在虛擬視覺和聽覺上都做了緊密的配合，在視覺上我們將 VR 頭盔加上立體攝影鏡頭，透過左右眼視覺，讓觀眾看到除了虛擬的 3D 物件外，還能夠看到現實世界，更能夠感受空間的深度，在聽覺也上配合了重拍節奏及裝置環境用 LED 燈來模糊虛實之間的界線，讓整場表演的視覺、聽覺一致，並達到混合實境的效果。而在觸覺方面我們研究了兩個部分，一方面是周圍的八個方向的風扇，配合節目上的時機，有同時吹，有時隨機、有時一一啟動，讓觀眾感受數位空間的空曠感；另一方面也透過振動背心，希望讓觀眾更能夠感受到虛擬空間的影響。
研究過程中最大的挑戰是？又是如何去克服？
我們在研究的過程中發現是風扇的觸覺感知是非即時性，不像是燈光有立即性，觀眾對風的感知會有時間上的延遲，為此我們也在時間差上面做了細微的調整。
作品中整合了非常多種的軟體、硬體和技術，如Unity整合視覺畫面，但與硬體互動的介面是用 C++ 設計，中間我們用 OSC 協定去溝通，C++ 再透過 Serial 與單晶片控制器溝通，控制風扇電流，以及告訴無線控制器 XBee 振動，在網站可以看到更多資料。而這些挑戰也好在我們三人經過長時間的默契培養，已有多次緊密的合作，才得以完成。
可以介紹一下你們是如何製作出，作品中數位空間裡的幾個人物模型?
2018 年底的第一版本，我們利用深度的攝影機，透過 3D 掃描的方式，將視障的學員掃描成 3D 模型，再到 3D 軟體中修補破面和降低面數，最後再將它放入數位的空間中的橋段，象徵著被上傳的人類意識。後來在 2019 年入圍威尼斯拉古納藝術節時，我們也更進一步，將現場裝置就放上深度攝影機，將每一位互動中的觀眾，即時掃描並錄下 5 秒點雲資料，再自動產生 mesh，合成到數位空間中，讓每一次體驗的觀眾都可以看到過去的觀眾。
相較於一般的 VR 互動是可以走動的，《Upload Not Complete》 從外觀上看起來起來是比較有空間侷限性的，可以跟我們談一下為甚麼這樣設計?
裝置的直徑是 3 米，我們透過3個傳感器來捕捉觀眾在空間中的位置，觀眾同樣可以在空間中來回移動，我們思考可能是作品在某些人的體驗中，會產生恐懼感，尤其從原本看的見的現實空間，逐漸轉變成看不見，到最後變成完全的虛擬實境時，觀眾通常會很沒有安全感，但我們也有看過有觀眾非常的好奇，不斷的嘗試觸摸風扇、粒子效果與身上的背心。而我們也樂於看到這樣不同的體驗感受。
VR 通常對於電腦硬體的要求比較高，面對大量的粒子系統和一望無際的場景，在執行上有遇到過什麼樣的困難嗎?
的確，相較於呈現在螢幕上，在 VR 環境中很多的 3D 物件無處口藏，也都需要佔用到電腦的資源，因此在視覺上，大多的視覺效果，我們都是盡量透過程式即時產生，希望能將 GPU 的效能發揮到最大，包含一開始環境光的模擬、風粒子的特效、隧道、數位空間等，在視覺細節大量使用 shader 來即時的處理質感， 不會增加電腦過多的負擔。
你認為這套系統可以做什麼樣的延伸應用?
起初我們並不是以延伸應用作為目的，而是單純的藝術創作和技術研發，在有初步成果後，我們認為這樣多感官的體驗，其實應該是沉浸式體驗必備的裝置，如同數位輔助器官一樣，將人的五感透過數位方式模擬呈現，這樣一來，電影「獵殺代理人」，動畫「刀劍神域」這樣的想像世界，將會離我們就會愈來愈近。
更多 VR 報導
