前陣子，NVIDIA 創辦人暨執行長黃仁勳突然回來台灣，並偶然在台北街頭上遇到李以樂和李欣庭兩位歌手，當下便與其一同高歌，之後該直播影片隨即在網路上獲得廣大迴響。因聖誕節即將到來，黃仁勳便透過 NVIDIA Omniverse 製作自己的虛擬分身 Toy Jensen，並獻唱〈Jingle Bells〉一曲，作為送給大家的聖誕節禮物。

使用 NVIDIA Omniverse Avatar Cloud Engine 打造的 AI 分身

黃仁勳藉由以人工智慧（AI）打造而成的虛擬分身 Toy Jensen 的幫助下，構想出以節日為主題，又富有樂趣的回應。NVIDIA 的創意團隊迅速為 Toy Jensen 打造這項以節日為主題的演出，從中展現出 NVIDIA Omniverse Avatar Cloud Engine（ACE）平台的部分核心技術。Omniverse ACE 集合雲端原生 AI 微服務與工作流程，供開發人員輕鬆建立、自訂與部署迷人的互動式虛擬分身。與當前想要開發虛擬分身，需要同時具備專業知識、特殊設備及人力密集型的工作流程不同，Omniverse ACE 建立在 NVIDIA 的 Unified Compute Framework （UCF）之上，只需要用最簡易的程式碼，便能快速建立及設定 AI 作業管道。

NVIDIA 技術專案經理 Cyrus Hogg 表示：「這項技術非常了不起！我們能夠做到這個程度，表現實在是太出色了！」NVIDIA 的團隊為了實現這個目標，使用最近開發的語音轉換模型，從其中的樣本中提取專業歌手的聲音，並把它變成 Toy Jensen 的聲音 – 原本是需要耗費數小時，實際錄音以進行訓練而開發出的聲音。團隊使用樣本裡的音符，並將其套用到 Toy Jensen 的數位聲音上，讓這個虛擬分身唱出跟原唱一樣的音符和節奏。

NVIDIA Omniverse 生成式 AI - Audio2Face、Audio2Gesture 支援製作逼真的臉部表情與肢體動作

該團隊接著使用 NVIDIA Omniverse ACE、Omniverse Audio2Face 和 Audio2Gesture 等技術，單純按照 Toy Jensen 的聲音，便為整段表演產生出逼真的臉部表情和肢體動作。Omniverse ACE 這項技術背後的團隊，花了多年時間來開發和微調演出中所展示的技術，但只用了不到數小時的時間，就將他們創作的音樂曲目變成一段精美的動畫。

Toy Jensen 以《Jingle Bells》一曲來與粉絲同樂

這予以團隊有更充足的時間來確保完成一場令人驚豔的表演。他們甚至攜手曾與 Michael Bublé 和 David Foster 合作過的作曲家兼製作人 Jochem van der Saag，為 Toy Jensen 創作完美的伴奏。Hogg 表示：「有 Jochem van der Saag 全力幫忙的作曲和編曲，對團隊來說可是如虎添翼。非常高興能有他的加入。」

ACE 將會徹底改變虛擬體驗

這支動畫完美展現出 NVIDIA Omniverse ACE 的優勢及其用於各行各業的情況 – 像是虛擬活動、線上教育和客戶服務，以及為電玩遊戲、社群媒體和虛擬實境體驗建立個人專屬的數位化身。我們很快將開放合作夥伴搶先試用 NVIDIA Omniverse ACE。

本文經 NVIDIA 授權發布，內容僅有做字詞修改，保留作者所述內容，但不代表映CG 立場。如需轉載請聯絡原作者。