By accepting you will be accessing a service provided by a third-party external to https://www.incgmedia.com/

「AI 並沒有取代藝術家,反而讓團隊更專注設計與故事上」專訪木下曰本,暢聊如何將 AI 技術 LoRA 導入動畫製程

AI 繪圖技術發展至今,在藝術圈掀起不少討論,包含在繪圖比賽拿下冠軍、作品集網站是否能放上 AI 繪圖產出的圖像、AI 繪圖技術是否違反著作權法等爭議,然而也有創作者使用 AI 技術優化創作製程,高效率地產出具有原創性的作品。積極開發原創動畫的工作室木下曰本,也在社群公開分享使用 AI 技術 LoRA 生成圖像,透過餵食自己創作的設計圖,輔助團隊創作動畫。創辦人柚柚與製片兼 AI 影像研究者高捷在本次受訪時表示:「此次使用 AI 技術並沒有取代藝術家的工作,反而能解決繁雜的工作,讓團隊更專注在故事開發與設計上,縮短創作時程。」透過本次專訪,將帶你一探木下曰本如何將 AI 技術導入製程,實驗出令人眼睛為之一亮的動畫測試影片。


木下曰本

致力於動畫影像創作,在視覺上有穩定的美術基礎。目前正積極開發於台灣原住民族原創性動畫《CEMACEMAS》系列、漫畫《SARAY》《P'uma》、短篇動畫《CEMA》及新型態媒體作品等,將推廣本土文化立為長程目標。多年於法國安錫影展中展示此系列作品概念與美術,受到各國讚賞與喜愛。

FB


AI 技術變革-餵食自己的設計圖,強化畫面品質

木下曰本正如火如荼地開發以台灣原住民為題材的奇幻動畫《CEMACEMAS》系列,而在去年 AI 繪圖技術成為藝術圈的「當紅炸子雞」時,團隊也跟著投入研究,試圖理解 AI 技術是否能帶來變革,將危機化為轉機。到了 2023 年初,團隊發現由微軟技術人員引入的技術-LoRA: Low-Rank Adaptation of Large Language Models (用於快速文本到圖像微調) ,儘管是用來處理大型語言模型 (例如, ChatGPT) 微調的問題,並節省重新訓練模型時間而開發的,但很快有人將其用到 Stable Diffusion,透過餵食特定圖像,訓練出想要的圖像美術風格或角色設計圖,再加上它不像傳統 AI 人工訓練,需要用到 3090、4090 P等高階顯卡,訓練 LoRA 技術產出圖像,只需要用低階顯卡就能做訓練,因此團隊將這個 AI 技術導入《CEMACEMAS》動畫製程中,餵食自己設計的圖像,訓練 AI 產出特定的美術風格。這一步讓木下曰本看見了轉機! 

「傳統的 AI 繪圖技術是運用大量的資料訓練出知名繪師的風格或是某種流行風格的樣貌,但這不是我們需要的。我們期待透過少量的資料學習我繪製的美術風格,藉由 AI 去調整已製作好的模型或人物。」創辦人柚柚表示,在做 AI 動畫測試影片前,團隊已經繪製不少關於《CEMACEMAS》系列的美術設定圖、角色設計圖,甚至已經建好人物的 3D 模型,產出部分的 3DCG 動畫,然而團隊希望用手繪加強原本渲染的內容。柚柚提到:「《CEMACEMAS》系列獨特的美術風格是我在概念美術階段親自繪製而成,我們使用 AI 技術,將其置入到流程中,儘管還是需要人工修正誤差,卻可以得出不錯的效果,並使創作流程更加穩定,加速製作流程。」 

以我們這樣的創作形式,避免現今討論 AI 繪圖的版權爭議,因為訓練的圖像都是團隊設計的,所以呈現出來的都是我們所繪製的畫風與人物設定。

by 木下曰本創辦人 柚柚

在既有的 3DCG 內容中,導入 AI 生成的圖像 

至於團隊又是如何將 AI 技術 LoRA 導入動畫創作流程呢?柚柚提到,要訓練 LoRA 生成材質或是特定風格的美術圖時,需要繪製很明確的角色設計圖,包含草稿、人物設定、三視圖、衣服髮型特寫、各種表情等,最後團隊畫了 50、60 張角色與風格設計圖,餵給 LoRA 去學習。動畫測試影片耗時 1 個月多,但在製作測試短片之前,團隊已經預先做好一些 3D 模型跟動態,製作流程與一般動畫一樣,在做好的 3DCG 內容上添加 AI 生成圖像,補齊一些需要手繪加強的地方。柚柚繼續說明:「團隊透過 AI 訓練算出來的圖,會去修正一些體態或是 3D 轉 2D 不協調的地方。在上色與線條呈現上,加強繪製的紋理與筆觸,產出來的圖像會更接近繪本或是我們理想的美術風格。」因此木下曰本使用 AI 是為了提升作畫與動態品質,而模型、RIGGING、動態一樣需要請 3D 動畫師協助製作。 

AI 並沒有取代任何藝術家的工作,相反的是減少繁複工作的時間,讓創作者更專注在設計與故事上,提升作品在市場上的競爭力與質感!

by 木下曰本創辦人 柚柚
角色設計圖

然而 AI 技術並非無所不能,有時也會產出令人啼笑皆非的圖像,這時就必須再經過後製調整修改,柚柚與我們分享兩種後期調整方法。一種是針對圖像不夠好的地方,例如:頭髮或是衣服,繪製 10 至 20 張設計圖或特寫,再餵給 AI 去訓練,並重新生成。另一種是挑選特別奇怪的圖像去修改文本進行重新計算,如果最終還是不行,才會進到人工修正階段。製片兼 AI 影像研究者高捷也向我們解釋 AI 技術的原理:「常見的 AI 繪圖技術通常需要 150 至 200 張圖像,再配上精準的英文文字去解釋每張圖像,但 LoRA 技術不需要這麼多張,但還是需要針對細節提供合適圖像,也必須調整每張照片的文字文本,才能獲得理想的結果,若想要生成 30 張,就會需要 30 個文本,雖然也可以用機器辨識生成文本,但文本不一定準確,所以還是需要手動調整。」 

要寫出多詳細的文本呢?木下曰本以此圖舉例,這張圖片的文字是「a cartoon girl orange hair with 2 side ponytail hairstyles and a dark blue dress。」

沒有絕對的製程,只有不斷地實驗 

AI 技術更新地非常快,幾乎每個禮拜都有新消息,或是別人開發出的新應用軟體。因此上述提及的製程並非成熟的工作流程,只是木下曰本針對團隊現有問題提出解決方案,不一定適用於每個團隊。高捷認為:「就像聯合公園的新 MV《Lost》,也有使用 AI 創作,但他們做的方式可能會跟我們不同。因此每間公司或藝術家可以透過我們這個案例去思考,該怎麼使用 AI 工具到你們的製程,完成符合團隊需求的創作。這部分是得花心思投入,才能獲得理想的結果。」至於未來,木下曰本仍會思考如何將 AI 融入動畫製程,甚至是商業專案上,嘗試不同可能性。柚柚說道:「我們也會很明確跟客戶說明,這個作品可能會用到 AI 技術,如果有疑慮的話,就不會使用它。如果願意嘗試,就會導入到製程中。」 

由於木下曰本團隊皆是藝術背景出身,對於電腦科學一知半解,但依舊透過自學,接收國外分享的資源,吸收 AI 相關知識,就算不太理解某些演算法,也會去看網路上整理資料,所以才會對 AI 技術有一定的認知,並完成現在所看到的成果。 

AI 技術更新地很快,因此這條自學之路會是無止盡的。

by 木下曰本 製片兼 AI 影像研究者高捷

invalid quix collection shortcode!


圖片由 木下曰本 提供,文章由映 CG 所有,如需轉載請聯絡我們。  

AI 影片編輯工具 Dreamix,支援上傳圖片與影片,只需要輸入文字即可生成與編輯影片!
產業生態將大變?Stable Diffusion 超強擴充外掛 ControlNet 亮相,只需上傳...

訂閱電子報

還沒有帳號嗎? 點此立即註冊!

登入您的帳號