開發 ChatGPT 而爆紅的人工智慧新創公司 OpenAI 於 2/15 在社群平台 X 公布全新的模型 Sora，該模型可以根據文字提示生成長達 60 秒影片，該消息一出造成許多人的討論，在 X 平台有許多生成式 AI 使用者已開始使用 Sora，並將該影片餵食給市面上的 3D 模型生成演算法，創造驚人的 3D 場景。現在就一起來了解 Sora 以及可能對產業造成的影響。

看 OpenAI 攜手多組創意團隊強化 Sora

建造符合關鍵字的 60 秒動態影片

於 OpenAI 官網陳述，Sora 能夠生成具有多個角色、特定類型的動態影片，以及明確主題和背景的複雜場景。不僅能實現複雜的攝影機運動 (能在一個影片創建多顆鏡頭)，還能創造引人注目的角色與精準的物理移動行為，可生成最久 60 秒的影像。除了影片，只要餵食靜態圖像也可以製作動畫。 

Prompt: “A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. she wears a black leather jacket, a long red dress, and black boots, and carries a black purse. she wears sunglasses and red lipstick. she walks confidently and casually.… pic.twitter.com/cjIdgYFaWq

— OpenAI (@OpenAI) February 15, 2024

Prompt: “Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the distance… pic.twitter.com/Um5CWI18nS

— OpenAI (@OpenAI) February 15, 2024

然而目前 Sora 還有一些待改進的地方，例如無法生成複雜場景的物理特性，也無法理解行為的因果關係。官方舉例，人咬了一口餅乾後，餅乾可能沒有咬痕。另外，該模型還可能左右顛倒，並無法精準生成特定秒數的事件以及遵循特定的攝影機運動。 

Prompt: Step-printing scene of a person running, cinematic film shot in 35mm. .

關鍵字提示：以 35 毫米拍攝一個人奔跑在跑步機

開發工具作為 AI 生成的判讀依據 

該模型現正於紅隊演練（Red Teaming），也提供給影片製作人與視覺藝術家使用，希望獲得更多使用反饋，矯正人工智慧系統的不足。針對生成式 AI 產品的反對聲浪，OpenAI 表示目前正在開發「判斷影片是否為 Sora 生成」的工具，未來可供大眾使用時也會將詮釋資料（Metadata）嵌入至影片中，作為 AI 生成的判讀依據。

網路上已經出現不少神人，拿 Sora 生成影片餵給高斯潑濺三維模型生成演算法 LumaAI ，一鍵生成全 3D 的場景與影片，Sora 應用方法將開啟下一個生成式 AI 時代。 

It totally works, only tested with a Sora sample video but making generative gaussian splats will be a thing: https://t.co/oVsLHwHXbF https://t.co/ZMOPn28ZUa pic.twitter.com/AIDEMKPSLt

— jin (@dankvr) February 15, 2024

延伸閱讀： AI 新巨星誕生！Google 推出自家首款生成式 AI「Lumiere」，透過 4 大功能與全新開發架構，賦予文字與圖片無限可能性

觀看詳細技術報告