Richard Kerris 為 NVIDIA 全球開發負責人暨 Omniverse 部門總經理。負責帶領團隊與各開發商合作。同時也負責維護初期協助測試 Omniverse 的客戶。此外，也負責 Omniverse 平台的商業發展策略，不論是 NVIDIA 的產品線，或是企業客戶，只要使用到 Omniverse，皆為 Richard 與團隊負責的項目。映CG 這次很榮幸在 COMPUTEX 2021 展開前夕，與 Richard 一同聊聊虛擬協作平台 Omniverse 將如何為全球各大產業的工作流程帶來全新變革。

Omniverse 早在前幾年就已經有消息了，但對大多數的產業使用者來說，還是相對新穎的技術，可與我們簡單解釋一下什麼是 Omniverse 嗎？

Richard：是的，我們在幾年前就已經帶出 Omniverse。因為它對於目前創作者的作業方式是很重大的轉變，它將解決眾多使用 3D 的產業所面臨的問題，像是如何跨越不同地點、跨軟體程式開發，以及如何在即時的環境下模擬跟工作。對於建築視覺化、產品設計、遊戲開發、電影製作，或汽車製造的專家而言，總是會遇到許多不同的 3D 工具，你必須去了解如何在不同的工具之間做溝通，如何匯入匯出檔案等等。

同樣的，很多團隊分散在世界各地。據我們所知，過去一年這個狀況更加明顯。雖然問題已經被顯露多年，但它其實是建立在產業面臨的挑戰堆積而成的軌跡上。過程中有幾個重大轉折加快了 Omniverse 的誕生。首先是，USD (Universal scene description) 的格式的出現，它不僅僅是個檔案格式，更像是包含整個 3D 場景的檔案。USD 原先是由皮克斯所開發，但現在已被許多產業所應用。我們其實是在研發一個可協同工作的環境在此之前，我們曾推出的定點式的 Holodeck VR 協作計畫。在那時候我們決定將 USD 作為 Omniverse 的基底。這項決策的重點在於能讓我們以不同的軟體作業，同時以統一的方式進行溝通。

另一個革命性的改變是 RTX 技術。RTX 將即時光線追蹤技術帶到這個世界，一件人們預期還要很長一段時間才會實現的技術，NVIDIA 花費多年的努力來達成。現在 RTX 突破性的發展讓你能夠在即時光線追蹤環境下互動，不論是在你的筆電或是伺服器，或是與兩人以上的團隊進行協作，這些都是讓 Omniverse 如此獨特的關鍵因素！

你所提到的 USD 檔案格式，它目前在使用上有著什麼樣的限制嗎？

Richard：這會依據產業端如何使用它，當初皮克斯開發 USD 之後，你可以想像很多娛樂內容製作產業的人們可以毫無障礙地使用，這也是為什麼 USD 能夠融入許多軟體當中的原因。例如製造業，對模型表面進行有限元素分析等等，都是工作流程中不可或缺的，雖然它仍然有些地方需要改善，但都在進行中。實際上我們正在將這個技術引導到全世界。逐漸看到所有不同要素集結在一起，因此可以將它稱作 3D 世界的 HTML 語法 ─ 一個可以讓大家溝通的共通語言。

所以 USD 和其它常見的檔案格式，例如 FBX 又有什麼樣的差異呢？

Richard：FBX 是一個檔案格式，而 USD 則是所有相關元件的整合。我們可以將各種檔案格式讀取進 Omniverse 中，我們可以讀入 FBX 檔，也可以載入 Alembic 檔案等等。但是 FBX 或是其他的檔案格式，雖然詳細描述了一項 3D 元素，但它們可能沒有燈光、陰影及材質等等的資料。但是 USD 可以將 3D 環境中的元件打包成一個包裹。所以， FBX 的本質是一個檔案格式，而 USD 就是檔案格式存在的那個世界。

所以 USD 也不太像是一個專案檔的概念，對嗎？

Richard：不只是這樣。一個專案檔案會以工作流程的角度呈現，但是 USD 給你的是整個世界。就像是先前 HTML 的比喻，當全球資訊網路（World Wide Web）開始後，很多事情都在發生，但同時也有很多事情沒有如預期發生，直到 HTML 的出現，大家才有一種統一的方式來做事。以 Google 文件為例，作為一種共同的方式來將文件處理橫跨多個網站，因為所有事物都是以 HTML 為基底，所以我們就能一起合作處理文件。而 Omniverse 所呈現的也就是這樣的核心概念。不止是一個可以轉換檔案或是資料的方式，而是一個完整的套組。

回到你今年 Computex 大會帶來的主題「Metaverse 虛擬空間誕生：NVIDIA Omniverse 和共享世界的未來」，你對於「Metaverse」的定義是什麼呢？

Richard：我們常常被問這個問題，整個產業也常被問到。什麼是 Metaverse？Metaverse 一詞源自於作家尼爾史蒂文森(Neal Stephenson)在著作《雪崩》( Snow Crash )的科幻小說。而其中牽涉了一個想法—有天虛擬世界將會存在，人們將能夠如我們所見，在那虛擬世界裡面做著各種事情，不論玩遊戲、創建專案等等。但是這些世界需要有一個共同的方式，來呈現各種體驗，例如地心引力、光源等等。因此 Metaverse 就是這些虛擬世界的集合，而 Omniverse 就是連接這些世界的方式。

你在 2008 年接受過 VARIETY 的專訪，談到當時在娛樂產業中的下個大事件，將不是著重在產品上，而是工作流程，那 Omniverse 對你來說，會是近代到未來的一個終極工作流程嗎？

Richard：沒錯，那時候我還是盧卡斯影業的首席技術長，當時面對的挑戰，一直到現在我們依舊碰到，也並試著透過 Omniverse 來解決。當時的挑戰是公司團隊遍佈世界各地，有的在新加坡，有的在加州，我們同時又和在倫敦跟布拉格的公司合作。因此，如何一起工作、一起合作就是一大挑戰了，我們開始專注在如何擁有一個共同的工作流程。當時與 Sony Pictures Imageworks 合作一部電影，我們共同開發了出 Alembic 開放式的 3D 檔案格式，回想起來這有點像是邁向 Omniverse 的第一步。在當時，要創造協同工作流程可說是最重要的任務。所以當我們看著現在所研發的事物時，會發現它確實是當時的延續。這其實是我們長久以來一直有的難題，而現在我們開始看到 Omniverse 會是這個難題的解決方案。

如你所說的，特效公司早在 Omniverse 出現前，就與全球各地的創作公司合作，那 Omniverse 的出現，主要會解決了哪些問題？

Richard：多年來我們總有橫跨不同地點一起工作的方法。但最頭痛的地方在於雙方得將所有專案檔案放在雲端硬碟，讓其他團隊下載下來，完成工作後，再把檔案重新上傳上去，然後另一個團隊再下載下來。這其實不是協同合作的精神，也沒有即時協作的連貫性，這種作法在我們以前是稱作「Sneakernet」。也就是將檔案放進硬碟裡面，然後把硬碟拔起來交給另外一個人的方式。現在雖然轉移到雲端硬碟上，但這其實不是一個合作過程，只是一個共享的工作流程或步驟，讓我們可以與其他人一起工作。但 Omniverse 革命性的關鍵在於我們將一起在那個世界中，假如我們雙方都在使用 Omniverse，一起建構這個世界，那全部人都將能夠即時看見創造的世界，也能在不需要匯入或匯出的情況下做出改變，演變成一種全新的協作方式。

這便帶到我下一個問題，當同時二個人在 Omniverse 環境中對同一區域或物件做編輯時，會發生什麼事？

Richard：如果我們共同創造一個房間，而你正在以 3D 模式畫牆壁的貼圖，然後我開始放物件到牆壁上等等，我們將能看到彼此正在做的事。即使到一個程度，比如我想將牆壁塗成不同的顏色，你同時又想將牆壁塗成其他的顏色。其中一個人可以進到裡面，並指定「我擁有牆的控制權」，那另一個人就只能看，或提出修改權利的請求。所以這種有「階級性」的環境正是 Omniverse 的核心，但背後的想法是我們在同一個場景中一起工作，就有辦法說：「好，你在做這個，那我去建造剩下的書櫃，或是我去建造家俱等等…」團隊會團結一致的合作。如下列圖片中，不同的創作者可以在不同地點使用多種軟體。他們實際上在改變結構、打光、陰影、材質等，這些都是即時發生的事。

像這樣協同工作的概念，在美國已經是很常見的作業方式了嗎？

Richard：能夠在即時協作的環境下工作一直是個夢想。但如先前所說，我們一直被限制在只能夠來回地傳送檔案，或是分享硬碟等。而我們最大的期望總是：「天啊，好希望整個團隊都跟我在同一個空間工作，然後我們可以一起合作。」而我們正在實現他們的願望。現在因為已經解決了一些比較大的問題，解決了需要共同檔案格式的問題，也解決了需要即時、互動性跟地點的條件，而這等待已久的夢想，同時也是我們要橫跨產業界所面臨的挑戰。我們現在看到許多產業都順利的適應 Omniverse 的理由，正是我們解決了長年來的問題。所以沒錯，在美國跟其他地方，協同合作一直都有，但就像先前所說，以往時常與國外公司合作，但都不是即時的，只是一種盡力滿足工作流程的作法。

談到與工作室的合作，NVIDIA 與 ILM 之間在 Omniverse 上有什麼故事分享呢？

Richard：他們目前正協助我們評估 Omniverse。而他們近期在虛擬製作上( Virtual Production )有了突破性的進展。他們巨大的螢幕是由 36 台 NVIDIA 高階的專業顯示卡所驅動，全部是螢幕跟攝影機同步。他們正在積極地評估 Omniverse，並不斷地在工作流程方面提供給我們回饋。我們與 ILM 一直有著良好合作關係，是我們最重要的客戶之一，也是夥伴。所以在將 Omniverse 完全準備好，放進像是《曼達洛人》這樣重要專案的工作流程之前，是需要花一些時間準備的。希望我們能到達成這目標。

在 GTC 大會上，BMW 展示了數位孿生（Digital Twin ) 科技，可與我們聊聊 Omniverse 是如何成就這項科技呢？

Richard：Omniverse 可以處理非常龐大的資料集。以 BMW 的範例展示，它是一個對於未來工廠的想像，那個工廠是藉由 CAD 或 CAD Data、300 台以上的車輛且每台車約 10 GB 大小，再加上環境和機器，那是非常龐大的資料。而 Omniverse 能為它做到仿製一間工廠的寫實模擬。藉由此方式讓 BMW 能夠在現實世界中下決策前，先在人工合成的世界作決策。重點在於當你一年製造兩百萬台汽車，如果你要將工廠改成製造新的車型，如果有一天發生錯誤，試想如果是一週的話，那會讓公司損失慘重。現在透過 Omniverse 在虛擬世界中作決策，以一個真實狀況的角度看是否能正常運作之後，再到真實世界中作抉擇。他們也說，多虧了 Omniverse，讓他們省下 30% 的開銷。這就是它的價值。

這次在 Computex 大會上發表的 Omniverse 個人與企業版本，之間有什麼差異呢？

我們從去年開始 Open Beta 版本測試，截至目前為止大約有 38,000 人次下載，他們在社群上分享著很棒的作品。看著人們運用創意做出產物是很美好的一件事。但那是設計給個人使用的。而個人與大型工作室所面臨的挑戰是一樣的，如何在不同軟體之間即時交換使用。

那我們就可以來看看近期發布的 Omniverse 企業版。企業版是一個給企業客戶的完整解決方案。當中包含所有構成 Omniverse 的元件。從技術觀點來看，包含 Omniverse Create 程式，以及 Nucleus 讓他們能夠與多個使用者異地協同工作。同時也包含 View，可以檢視所有正在執行的工作，這些功能都能夠使用。但最重要的是我們對企業使用者的支援，包含安裝指南等是企業最需要的。因此，透過訂閱制，支付一定費用可以使用一年的時間。而這筆費用會依組織的規模與需求而有所變動。我們可以從小至五人的團隊開始，以他們完全可以負擔的金額，也有大到 5,000 人的組織。我們也在跟尋求不同部署方式的公司們討論。像 BMW 擁有幾千人的創作者、設計師等等，而其他工作室可能是小型機動性高。他們運用 Omniverse 的目的就是可以跟不同規模的工作室合作。所以今年夏天將可以作搶先體驗。

也就是說，對一個10 人規模的動畫工作室，什麼樣的解決方案更適合他們？你會如何建議決策者做評估？

Richard：10 人規模工作室，取決於他們想要 10 個人一起工作，或是只有當中幾個人要協作。我們有方案可以讓他們體現 5 人或 10 人的工作流程。很多時候在不同的場景中，有一組人在做造型、有一組人在做動畫，還有一組人在做上色及素材，並非每個人都需要在同一時間進行互動，而 Omniverse 的好處在於具有彈性。根據預算及他們的工作範疇，可以提出希望 10 個人都是協作者，或是同時只要 5 個人是協作者，在我們的訂閱模式都可以支援。

所以這種評估方法對所有產業是適合的嗎？

Richard：當然。我們正在接受評估。也與建築設計、產品設計、遊戲開發、媒體、視覺特效、自動駕駛機器等領域的公司密切合作，正如我開頭所說，在許多垂直行業裡，3D 已經越來越普遍，以至於我們確實需要全面地為每個人解決問題。

對於一家想要在短時間內能夠導入 Omniverse 的公司，有可以遵循的標準程序嗎？

Richard：我們有推出許多線上教學、文件和範例檔案可供參考，同時也擁有非常強大的論壇和社交媒體網站，並積極地與 3 萬個人合作，一旦我們進入這些企業環境後，相對來說可以更快速地部署運行，替企業客戶提供更多培訓計畫。同時，我們也與 OEM 夥伴合作，也許你會從我們認證的硬體合作夥伴中聽到 Omniverse。我們會為他們進行培訓，讓他們能夠對客戶做訓練，這對平台開發商的我們來說是格外重要的。產業幫助我們一起打造 Omniverse，他們也從中獲得益處。我們不希望打造出一種大家遵循的工作方式，而是透過大家的回饋，視他們的需求讓 Omniverse 來解決問題。這就像是不同產業的客戶共同協作的成果。

那他們又該如何選擇硬體配置呢？

Richard： 在我們舉辦的 Create with Marbles: The Contest 的競賽中 ，有超過一半以上的人是使用 GeForce 與 GeForce RTX 顯示卡來創作的。因為 Omniverse 是設計在 RTX 顯示卡上運行的。當然顯示卡的記憶體越大越好，不過也是得看創作者的需求是什麼，可以在筆電上運行 Omniverse，也可以在伺服器上運行，或是在虛擬雲端上運行。

那麼 Omniverse 企業版又是如何計價呢？

我們會依使用需求以及創作者數量進行收費。當創作者使用 Omniverse，包含 Create 等其他工具則會有另一個收費標準；對於使用 Nucleus 的也會有一個收費標準。我們有各種方案可以支援所有情況。一個小公司，例如五人的團隊，可能會以低於 15,000 美金的費用來使用 Omniverse。費用會依據各種工作環境需求而有所不同。

在DCC 工具與 Omniverse 的互動方式中，有一種稱作「OmniDRIVE」，主要支援像 Blender、ZBrush、Photoshop 等軟體，這些軟體使用此互動方式的原因是什麼呢？

Richard：這個判斷的依據是軟體是否原生支援 USD 格式。如果是的話，那它就能與 Omniverse 進行雙向互動；或如果他們是以匯出的方式支援 USD 格式，那我們就能夠把匯出的內容放到 Omniverse 上，但就不是雙向的互動方式。所以 Blender 目前正在開發可全面支援 USD 方向前進，就像 3ds Max 和 Maya 一樣，如此一來就能夠來回的更新。而我們知道其它軟體開發商也正朝著相同的目標前進，但都還是以他們的時程進行。

目前僅供 Uni-directional 互動方式的軟體，在未來有機會發展成能夠與 Omniverse 進行雙向互動嗎？

Richard: 當然，有些軟體公司已經能夠支援 USD 格式，那他們就能夠與 Omniverse 進行雙向互動。其它的軟體開發商則是計畫這麼做，至目前都能夠以各自的方式將場景匯出成 USD 格式。但如果它們並非原生性的支援 USD 格式，那雙向互動對它們來說就會有所限制。如我所說，大部分與我們合作的軟體開發商，都對於要能夠支援 USD，或即將進行開發支援 USD 格式是有共識的。

Omniverse 目前提供幾款相當棒的 App 程式，接下來有預計推出哪些新程式呢？它們又有什麼特點？

Richard：Omniverse 是一個開放性的平台，使用者可以建構、擴充應用程式。我們的團隊會開發應用程式，客戶也是。接下來在 Open Beta 中，我們會釋出二個程式，第一個為「Audio2Face」，它讓你藉由簡單的音源檔案來驅動 3D 角色的臉部動畫，無論你是透過麥克風說話，或是載入現有的聲音檔，在經過特徵匹配後，便會為臉部製作動畫。對許多人來說節省了大量時間，也讓遊戲開發更容易，對於需透過聲音來驅動動畫的專案來說，更是非常大的技術突破。

另一個程式為「Machinima」，目前還在 Open Beta 的階段。也許你很久以前就看過這個名詞，它是對於一種用來為遊戲內容或其它 3D 資產中說故事工具的定義，一種用軟體製作動畫的方式，像是設計來製作影片或電腦遊戲。我們的團隊期望透過 Machinima 讓設計故事的人用簡易的方式來說故事。基本上就是將遊戲內的 3D 物件，透過在 Omniverse 上的 Machinima 中結合像 AI Pose Estimator、Audio2Face 以及擬真的渲染與特效模擬能力，快速做出遊戲的敘事劇情動畫。我們從許多測試使用者看到令人興奮的成果，這是一種全新的說故事方式。

最後我想特別介紹一個來自第三方公司所開發的程式。Bentley Systems 宣布他們以 Omniverse 平台所開發的數位孿生科技「 iTwin 」，是他們用來建立數位孿生內容的工具組，在與他們客戶合作的過程中，讓他們得以管理和監控設施，同時也成功為客戶解決非常棘手的問題。舉例來說，當客戶建造了許多大型電廠、工業設施或交通轉運站等，要對這些設施進行管理是非常耗時耗工的。但透過數位孿生打造的 3D 模型環境，客戶可以了解並開發機器人，以更有效率的方式來處理那些危險性較高的工作。

站內連結：什麼是「數位孿生」(Digital Twin)！帶你搞懂橫跨娛樂、科技、設計等產業的最新關鍵字

我們在 Youtube 上看到許多 Audio2Face 的精彩運用，如果能與 Unrea Engine 的 Metahuman 技術結合的話，那應該做出非常高品質的劇情動畫。

Richard：能夠集結所有最棒的技術就是我們所期待的。Epic Games 的 Unreal Engine 是我們最棒的合作夥伴之一，Unreal Engine 大概是與 Omniverse 擁有最好連結性的軟體。結合 Metahuman 和 Audio2Face 的技術將能夠為所有人帶來最好的娛樂體驗。

最後，想和那些還沒嘗試過 Omniverse 朋友說些什麼嗎？

首先，感謝每位下載測 Omniverse 的使用者們，而那些還在考慮、同時又有 RTX 顯示卡的朋友們，我想邀請你們到 NVIDIA Omniverse 網站直接免費下載 Open Beta 試用。我認為讓更多人看到 Omniverse 的能耐是很重要的，能夠體驗不同產業如何運用它，並看看是否能解決自己當前遇到的問題，無論是在開發遊戲、打造一棟大樓，或設計次世代的汽車，Omniverse 都能在你的工作流程中佔有一席之地，如此令人興奮的機會，希望各位能夠親身體驗！

歡迎觀看 Richard Kerris 於 2021 COMPUTEX 分享「Metaverse 虛擬空間誕生：NVIDIA Omniverse 和共享世界的未來」之演講內容。

翻譯協助：

Carrey Chuang
Claire Hung