科技巨頭 Google 繼上次推出自家的對話式 AI 工具「Bard」後，便在全球造成一股轟動，搖身一變成為 ChatGPT 的最強對手。近日，Google 內部的技術研究部門 Google Research，更推出了一款全新的 AI 模型「Lumiere」，使用者可以純粹只用圖片與文字提示來生成一部風格化的影片。另外，與其他市面上的生成式 AI 相比之下，它的成品擁有更高的流暢度，但由於部分原因目前仍未開放使用，待未來釋出後，相信將成為最具指標性之一的生成式 AI。

延伸閱讀：動畫師要躺平了！全新升級 AI 工具 Pika 1.0，一張圖做出各種風格的影片

運用全新擴散模型，使生成畫面更「滑順」

和大部分的 AI 工具一樣，Lumiere 允許使用者透過文字與圖片來生成影片，但不同的是開發團隊採用了一種叫做 STUNet（Spce-Time-U-Net）的全新擴散模型，它會自動追蹤影片中的人物或物品位置，以及移動與變化的時間。這使得系統從提示中創建一個基本幀數圖後，會接續生成更多類似的幀數圖（類似於翻書動畫的運作原理），以呈現更流暢、無縫的視覺外觀。以 Stable Diffudion 為例，Lumiere 生成的影片擁有 80 幀，而 SD 僅有 25 幀，足以看見它的強大之處。

延伸閱讀：無需微調或訓練！全新生成式 AI 架構 AnimateDiff，可直接透過 Stable Diffusion 模型生成動畫影像

搭配四大便利功能，解決使用者的一切需求

除了單純用文字與圖片來生成影片外，團隊還為 Lumiere 開發了四項便利的功能，第一個是「Stylized Generation」，只要餵食單一張圖像並下相關提示詞，Lumiere 就能以該圖像為基準，生成與其視覺風格相符的圖片；第二個是「Video Stylization」，在上傳影片並給予指令後，系統就會自動將角色的外觀造型做變換；第三個是「Cinemagraphs」，該功能可針對被框選的特定區域內的影像進行動畫處理，並將其他部分保留不動；第四個為「Video Inpainting」，它能將影片中缺失的部分，透過 AI 運算來彌補，以及為角色生成相關配件，以即時變化造型。

待未來開發檢測工具，以提供安全的使用環境

現在 Lumiere 官網上有大量的示範案例，而這些訓練資產的來源都是由許多合作藝術家提供的，網頁最底部也列出了所有相關人員清單。另外，儘管此技術擁有非常多的可能性，但開發團隊認為使用 Lumiere 仍存在一些風險，官方表示：「我們的主要目標是讓新手使用者，也能透過創意及靈活的方式生成視覺內容。然而，現在仍無法杜絕有心人士將未授權的內容餵給 AI 模型，我們認為若要打造一個安全與公平的使用環境，開發一款能偵測非法使用與惡意用途的工具也是非常重要的。」

點此查看 Lumiere