由前皮克斯分鏡師 Connie He 帶領的動畫團隊與 Google DeepMind 的研究人員共同製作這部動畫短片《親愛的樓上鄰居》（Dear Upstairs Neighbors）。目的在探索生成式 AI 工具可以如何與藝術家的創作流程相互結合，讓創作者對作品有更好地掌控。本片也在日舞影展的「故事論壇」（Story Forum）上進行首映。

《親愛的樓上鄰居》的故事與主角 Ada

故事聚焦在一名叫 Ada 的年輕女性，她因為樓上鄰居製造的巨大噪音而飽受失眠之苦。在極度渴望睡眠的折磨下，Ada 對噪音源的想像逐漸失控，導致現實與幻覺的界線開始模糊，隨之展開了一場為了捍衛和平與理智而爆發的荒誕大戰。

這個故事是導演 Connie He 以自身受鄰居噪音所困擾的經歷為靈感，先透過分鏡圖構思出一系列隨著夜晚降臨而愈發荒誕、失控的幻覺場景；資深美術指導 Yingzong Xin 則操刀整體的視覺，不僅為主角 Ada 打造了比例誇張、線條稜角分明且表情極其生動的設計，更在場景與風格上展現巧思，利用冷色調將臥室塑造成平靜的避風港，並在幻覺出現時運用粗獷筆觸與霓虹配色，透過隨情緒變換的色彩、質地及抽象表現主義手法，深刻地呈現出 Ada 內心的情感起伏。

協同 AI 突破傳統動畫技術瓶頸

導演表示，要讓如此抽象表現的手法作為述事的核心，若使用傳統動畫技術，是很難達到理想的效果。因此期望能透過 AI 來協助填補這一個技術缺口。Google DeepMind 的研究團隊也發現，由於片中的風格過於獨特且細膩，他們必須開發全新的客製化功能，才能實現動畫所要求的藝術目標。

挑戰一：微調視覺風格的能力

團隊首先遇到的挑戰就是要維持 Ada 的角色與其手繪質感在不同鏡頭的一致性。因此，研究團隊建立一個工具，讓藝術家能利用客製的 Veo 以及 Imagen* 模型來做「微調」。也就是說，透過幾張參考圖片來教導模型學會《親愛的樓上鄰居》的視覺概念。以下是一連串測試成果。

上圖左：Yingzong Xin 的原畫。上圖右：經微調後由 Veo 生成的風格化動畫影片。Veo 從概念圖所學到的內容令團隊十分驚訝。它不只學會了顏色和紋理等表面細節，還掌握了像是「兩點透視」這類深層的藝術概念。

上圖：Ada 的角色設計嚴格遵守 2D 準則，例如她標誌性的蓬鬆髮型與凌亂髮髻，必須始終是輪廓線的一部分，而且絕對不能遮住臉部。

左下圖：Ada 頭髮的 3D 模型無法在每個角度都看起來正確，因為實體形狀會違反這些 2D 規則。右下圖：經過 Ada 圖像微調後的 Veo 完美解決了這個衝突，它能平滑地調整形狀，確保頭部在轉動時輪廓始終保持正確。

挑戰二：用「表演」代替「打字」

另一個挑戰是能精準控制每一鏡頭的內容與動態。因為單靠文字提示是永遠無法控制角色或鏡頭的細微節奏，例如 Ada 昏昏欲睡的手指動作，或趣味的表情時機。Google DeepMind 研究團隊為此開發了全新的「影片轉影片」（Video-to-Video）工作流。動畫師可以使用他們熟悉的工具（如 Maya 或 TV Paint）製作粗略的動畫，再由 AI 模型將其轉換為風格化的最終畫面。

這個工具流的開發靈感，其實就是來自平常動畫師們會透過簡單的手繪或是自己表演動畫參考影片的方式而來的。

即便使用了經過微調的 Veo 模型，單純透過「文字轉影片」生成的畫面雖然看起來像 Ada，但其動作卻是隨機、失控且往往顯得詭異。單憑文字描述，無法傳達敘事動畫電影所需的那種細膩感與精確性。

為了創造出足以撐起故事的細膩表演，動畫師 Ben Knight 先在 Maya 中製作了初步的 3D 粗略動畫，再由研究員 Andy Coenen 利用微調後的 Veo 模型將其轉化為最終的視覺效果。

這種「影片轉影片」的工作流讓每位藝術家都能在自己擅長的領域中創作。例如，動畫師 Mattias Breitholtz 使用 TV Paint 創作了 2D 手繪粗稿，研究員 Forrester Cole 則在自定義的 ComfyUI 工作流中使用微調後的 Imagen 模型，逐幀將其轉換為最終畫面。

動畫師 Steven Chao 則在 Maya 中為 Ada 製作動畫並加入動態的低面數的特效，隨後由研究員 Ellen Jiang 和導演 Connie He 利用微調後的 Veo 與 Imagen 模型，將這些元素轉化為表現主義風格。其中，油畫質地隨節奏跳動的視覺效果，更為動作場面增添了張力與強度。

挑戰三：依據回饋做局部調整、反覆迭代

團隊表示，即使有了先前開發的全新工作流與模型，但沒有一顆鏡頭是按一鍵就做好了。他們比照傳統電影製作，經歷「每日審片」（Dailies）過程，根據回饋來反覆修改。但是，為了不必每次審視後得重新生成整個鏡頭，他們開發了局部精修工具，針對影片中的局部範圍做一定程度的調整。

為了創作出 Ada 幻覺中那隻「嚎叫的狗」，團隊先參考了 Yingzong Xin 的概念原畫，並利用 Veo 的「圖像轉影片」（image-to-video）功能賦予其生命。Veo 最初生成的版本（未經微調）對這部電影來說過於寫實；因此，改用經過微調的 Veo 模型，使鏡頭更貼近我們預想的視覺風格。這種「影片轉影片」的工作流，讓團隊能在 Veo 與 Premiere 等傳統工具之間自由切換。

透過微調後的 Veo 結合影片轉影片工作流，得以針對狗的設計及其周圍的油畫特效進行反覆迭代，以超高的自由度與掌控力，探索各種風格的可能性。

動畫總監 Cassidy Curtis 先在 Maya 中製作了該鏡頭的粗略 3D 動畫，隨後由研究員 Erika Lu 利用微調後的 Veo 模型將其轉化為最終成品。為了改善 Ada 的頭髮輪廓，Lu 加入了一個粗略的遮罩來標示需要增加髮量的區域，並利用 Veo 在該處即興生成了一叢頭髮，使其與鏡頭的其他部分完美融合。

以實例驗證未來影像製作的協作模式

除了上述挑戰與解決方案之外，為了將動畫搬上大銀幕，他們也運用 Veo 的 Upscaling 功能將最終畫質提升至 4K 解析度，在放大的同時又能保留原始的藝術風格細節。目前這款 Veo 4K Upscaling 模型已在 Google Flow 平台開放使用（需付費）。

《親愛的樓上鄰居》是一個將藝術家與生成式 AI 技術協同合作的成功案例，也藉此驗證無需將生成式 AI 視為取代藝術家的威脅。相反地，透過創作者與技術人員的交流與協作，AI 可成為將創意邊界推向極限、協助創意的強大工具助手。