By accepting you will be accessing a service provided by a third-party external to https://www.incgmedia.com/
大容量檔案的儲存救星,好萊塢視效大廠都在用的 Quantum 高速儲存方案
隨著市場上對於高畫質影像要求不斷提升,目前影視特效產業正遭遇到許多困難,像是龐大的非結構化檔案、檔案分散、製作時程緊湊、多人協作不易等等難題。但影視產業先鋒的許多好萊塢視效公司,目前已經有能力處理這些問題,小編這次透過管道,先幫各位讀者來一窺神祕的解決方案,接下來就讓我們一起來認識 Quantum 儲存方案是如何幫助影視產業,解決各種疑難雜症,讓我們一同看下去吧!
Quantum 是美國一家專門提供資料儲存、高效能儲存設備以及檔案管理儲存方案的公司。其儲存方案廣運用在全球各種機構,舉凡像是政府機關、金融產業、製造、安防或科學研究等領域,皆看得到 Quantum 技術的身影。甚至在數位娛樂產業也有許多知名案例,其中最廣為人知的即是《阿凡達:水之道》電影特效工作室 Wētā FX 工作室,Wētā FX 運用 Quantum 的 CatDV 素材資料庫管理平台管理龐大的影音專案資產,以及為無數好萊塢電影提供後製、特效與動畫服務的 Framestore、2G Digital、a52,則導入了 Quantum H 系列高速儲存設備以及 StorNext 檔案管理系統,藉此達成他們對 4K 超高解析度工作流程、多人協同作業以及大量檔案備份管理的需求。
其它像是英國廣播公司 BBC、美國太空總署 NASA 等知名機構,也都有運用到 Quantum 儲存方案作為主要儲存設備與檔案管理空間,在台灣也有部分電視台開始導入 Quantum 的產品來管理、備份龐大的非結構化檔案*。
*非結構化檔案
簡單地說,檔案本身的內容或資訊是無法被量化或排列順序的資料,其形式包括了文字、聲音、圖片、影像等。若為非結構化資料加上可量化的中繼資料則可以將其轉為半結構化檔案。以 YouTube 影片為例,它的影片標題、影片描述、影片內容都可能是非結構化的資訊,再加上如上傳日期、時間,觀看次數等可量化的中繼資訊後,就變成半結構化檔案了。
儲存巨量檔案不是問題,多樣化的硬碟選擇
隨著國際間影視製作技術的進步,4K 或更高畫質的影片格式已成為未來發展趨勢。不論是好萊塢大片或是 Netflix 等 OTT 串流平台,都已將高畫質納入影視拍攝標準。也因此,高畫質影片所產生的檔案內容相常龐大,對於影視製作流程中大量的編輯效率、協同作業與儲存、備份的速度,甚至是急迫的交期壓力,高畫質影像也相對在儲存空間與檔案管理時間上產生巨大的成本。
為此,映CG 實際透過問卷調查,向國內的視效、動畫和影音剪輯相關的產業人士進行調查,發現多數人在工作中時常遭遇到幾大痛點,包含檔案保存的安全性、影像檔案容量龐大、儲存空間有限、檔案素材分散、檔案編輯速度緩慢導致交期緊迫,其中最重要的就是檔案保存的安全性,因為拍攝素材在過程中遭遇意外毀損,幾乎是不太可能有重拍的機會了。
面對這些問題,Quantum 的高速儲存設備儲存方案,可以依據使用者的需求,從硬碟種類、儲存容量與速度上提供了多種不同的規格和效能,包含硬碟有 SAS 10K RPM、SSD、NVMe 等種類。以 Quantum 中階儲存設備 Quantum H4000 來看,根據選用硬碟種類不同,就能從最少 29TB 到最多 369TB 的儲存容量,甚至串聯多台機器後,可以達到 PB(Petabyte) 級別的儲存容量。在速度方面,根據選擇的硬碟種類速度,由快至慢分別為 Nvme、SSD、SAS 10KRPM,可以透過串聯多台 Quantum H4000 來升級存取效能。對於檔案保存的安全性方面,Quantum H4000 使用了兩組 RAID 6* 來組成,RAID 6 最大的優勢就是能在其中兩顆硬碟故障時,RAID 還能正常運作,對檔案存放的安全性來說是最大的保障,對管理人員來說也提供足夠的時間替換故障的硬碟。搭配 Quantum 獨家的 StorNext 共享儲存檔案管理系統軟體,方便管理人員檢視、掌控所有設備狀態。但無論如何規劃,最終就是要把檔案安全性擺第一順位,才比較不會因意外情況,導致努力許久的心血結晶和投入成本付之一炬。
*RAID 6 硬碟陣列
從檔案安全性來看,只要有四顆硬碟以上即可組成 RAID 6 硬碟陣列,當同時遇到兩台硬碟故障時,硬碟陣列仍能夠維持正常運作,存取資料不受影響,不會因為硬碟故障而導致整組 RAID Offline,至今為止仍是許多企業經常使用的 RAID 架構。以 Quantum H4000-series 為例,RAID 6 的容量只有 21.8TB。另外大約 20TB 的容量被當作「容錯」運算使用(Parity Blocks),平均分散在不同硬碟內,即是 2 份相同的 Parity Blocks。
打造高速、低延遲,多人檔案共享的儲存空間
除了巨量的儲存容量擴充能力之外,Quantum 獨家研發的檔案共享管理系統軟體 StorNext,包含了桌面程式以及網頁管理介面,使用者可透過桌面程式統一納管所有儲存設備,並透過網頁管理介面來檢視現有的儲存設備狀態,包含硬碟速度和頻寬的狀態。
StorNext 支援多種作業系統如 Windows、Linux 以及 macOS,並且透過光纖網路高速、低延遲的特性建立 SAN* 的 StorNext 共享存取的檔案儲存檔案系統,可掛載所有儲存設備(Mounted),讓多台電腦可對同一個儲存池進行存取、共享大檔案傳輸和多人多方檢視及編輯檔案等工作。當檔案進入到 SAN 系統時,StorNext 會自動產生 Metadata 紀錄檔案所在位置,使用者端的設備上會有兩種不同網路,1GB 乙太網路和 10GB 的乙太或光纖網路,當使用者要讀取檔案時,會透過 1GB 乙太網路向 StorNext 詢問檔案的儲存位置,並取得 Metadata ,然後透過 10GB 的網路直接到儲存位置將資料磁區讀取回來,就像是在本地端讀取硬碟一樣快速。
StorNext File system 是由數個儲存池組合而成,這些儲存池可以依照掛載的儲存設備選用的硬碟種類來區分儲存池和工作流程, 並透過 Stornext 網頁管理介面來制定工作流程,這些工作流程的好處是能夠讓素材檔案在不同的製作階段中,將檔案移動適合的硬碟儲存池中,以獲得最大的使用效率。
舉例來說,在為高解析度、高幀率的素材進行非線性影像剪輯時,通常需要高頻寬、低延遲性的儲存設備來加快剪輯效率。此時 StorNext 儲存池就可以發揮效用,將素材搬移到 SSD 硬碟陣列的高速儲存池中,當剪輯完成後,系統就會再將素材移動回較低功效的儲存硬碟中,讓其它使用者存取,非常適合像影視製作公司、電視台等有大量、穩定的影音拍攝製作需使用。
*儲存區域網路(storage area network,SAN)
專屬且獨立於網際網路之外的高速網路,可連結多台設備,提供共同的儲存空間,類似於網路磁碟機。通常,SAN Storage 是透過光纖網路、光纖網路交換器、儲存伺服器組成,儲存區域網路中的每個交換器與操作設備都必須彼此連接。對比 SAN Storage 與 NAS Storage 的好處,系統可藉由 1Gb 乙太網路和 Metadata 與10Gb 乙太網路速度,快速提取在各個硬碟中的檔案數據,無需像NAS Storage 需逐一等待處理檔案數據,也因為檔案數據自動分配處理,其使用檔案時的操作情況跟一般沒有差別。
方便 IT 人員擴充與維護
以高速儲存設備來說,後續的維護和擴充也是很重要的一環,也影響著企業選購系統的重要考量。為了讓 IT 資訊人員在後續維護上容易進行,Quantum 將原先需要佔據 4U 機櫃空間的多台儲存設備,包含控制器節點、儲存伺服器重新設計,將多台機器整合成一座僅需 2U 機櫃空間的儲存伺服器,省下了將近一半的機櫃空間。除了讓設備的連接線路更單純,也能夠獲得更好的電力能源節省以及散熱成本,多出來的機櫃空間,還可以用於後續擴充儲存空間使用,在後續維護的優勢上非常明顯。
Quantum 的解決方案非常全面,意味著佔用空間更小,還能夠兼具節能、高速和高效能。這就是吸引我們選擇這款產品的原因。
a52 工程經理 Kevin Bass
通常企業採購新的儲存設備主要原因是現有容量不足需要進行擴充,或是舊設備即將汰換,但又沒有地方能夠做檔案備份。而 StorNext 一大優勢在於能整併舊有的 SAN Storage 儲存伺服器,透過光纖或者 iSCSI* 與 Quantum 的儲存設備連接,既能增加整體 StorNext 儲存池的容量,也可以延長舊設備的使用壽命,降低成本。
*iSCSI架構
在使用 iSCSI Target 服務時,會讓使用者感覺連接了一顆本機硬碟,透過一般網路基礎架構就可管理。實際上,新增的是 NAS 上的虛擬硬碟,可以將它初始化後分割使用,甚至規劃成 RAID 硬碟陣列。ISCSI 利用最普遍的 IP 架構網路來使用承載 SCSI 指令,達成儲存區域網路(SAN)所要求的區塊層級(Block Level)資料傳輸。一直以來,SAN 都是採用光纖建置,不僅價格昂貴,複雜的管理和技術的門檻讓大多數企業望而卻步。iSCSI 目的就是要讓企業能以更低的成本,享受到 SAN 的好處,真正的儲存虛擬化、靈活的伺服器與儲存資源整合、高速的備分/備援能力等。
引用內容:https://www.hongku.com.tw/web/SG?pageID=39859
CatDV 媒體資產管理軟體,提升影視內容協作效率
當今的數位時代,多元化的內容創建與需求達到空前高峰,對各行各業來說,如何有效管理龐大的媒體資產,早已是一項艱巨的挑戰。加上後疫情時代來臨,遠端、異地協作的概念更加落實,如何對高品質影像、圖片、聲音或是其它的數位內容進行高效率的組織、檢索與協作變得至關重要。這正是 Quantum 的媒體資產管理解決方案 CatDV 優勢所在。
對於電視台、影音內容製作公司等中大型組織來說,時常得面對影音素材無法有效率地查找,或是現有的製作流程造成重覆素材散落於不同的儲存位置,造成專案管理混亂、重覆檔案佔據儲存空間卻又無從下手整理。CatDV 的目的即是提供組織一個有效統整複雜媒體資產的管理平台。從電視廣播製作公司、大型品牌企業到視效製作公司,都有許多導入 CatDV 的案例。
CatDV 可以輕鬆佈署一個共享的媒體庫,從素材的資訊擷取、產生 Proxy 、初步剪輯到進度審核都可完成,確保團隊的使用者能輕鬆找到檔案,不僅節省寶貴的時間,也增強團隊在處理檔案素材的協作程度,提高生產力。
讓 CatDV 如此獨樹一格的原因,在於它先進的 Metadata 元數據管理能力。我們知道,業界常見的影視剪輯的工作流程,通常並不會直接使用 4K 的 Raw 檔案去做剪接,而是先產生所謂的小檔(Proxy),透過小檔即可完成初剪作業。而原檔則是會用於特效、調光的作業,當最後完成時才回去剪輯部門做最終的套片並進行輸出,而高低解析度的素材即是透過 Metadata 來做連接。而 CatDV 可透過自動化分析,將素材的 Metadata 擷取,進一步實現其強大的搜尋能力。使用者可以透過關鍵字、日期,或是建立專屬標籤,來快速分類、查找素材,更支援業界標準的 Metadata 概要,讓 CatDV 能夠輕易地與多數主流工具或系統做無縫銜接。
讓 CatDV 如此獨樹一格的原因,在於它先進的 Metadata 元數據管理能力。我們知道,業界常見的影視剪輯的工作流程,通常並不會直接使用 4K 的 Raw 檔案去做剪接,而是先產生所謂的小檔(Proxy),透過小檔即可完成初剪作業。而原檔則是會用於特效、調光的作業,當最後完成時才回去剪輯部門做最終的套片並進行輸出,而高低解析度的素材即是透過 Metadata 來做連接。而 CatDV 可透過自動化分析,將素材的 Metadata 擷取,進一步實現其強大的搜尋能力。使用者可以透過關鍵字、日期,或是建立專屬標籤,來快速分類、查找素材,更支援業界標準的 Metadata 概要,讓 CatDV 能夠輕易地與多數主流工具或系統做無縫銜接。
實測介紹:Quantum 儲存設備規格與前置設定
接下來,我們將透過一系列測試來體驗 Quantum 高速儲存設備的操作。以模擬使用者的工作狀態來看看其效能表現與工作流程。在實際測試前,先和大家介紹本次實測的規格,規格如下:
評測規格:
機器名稱:Quantum H4000 共享硬碟檔案系統 |
安裝的硬碟類型: 24顆 x 1.92TB SSD 組成 兩組 Raid 6 硬碟陣列 |
環境建置:10G 網卡、連接的電腦要有兩個網路孔 (1Gb、10Gb)、乙太網路交換器 (1Gb)、光纖乙太網路交換器 (10Gb)。 |
連接方式:光纖線(10Gb)、乙太網路線(1Gb、10Gb) |
支援網速:1Gb、2.5Gb、10Gb、20Gb、25Gb |
機架高度:2U 機架式機箱 |
電供瓦數:至少 1300W 以上、以兩個 750W 電源分流 |
https://www.quantum.com/en/products/file-system/stornext/h4000-series/ |
實測一:單人、多人存取檔案的表現
對大容量高速儲存設備的使用者來說,最看重的就是其優秀與穩定的傳輸效能。我們透過 CrystalDiskMark 軟體對 Quantum H4000 進行測速,我們分別以單人和多人的方式來看不同狀態下的傳輸效能表現。
01 單人存取效能
在單機測試存取效能的實測上,我們分別以 ASUS ESC4000、HP Z1 G5、HP E800 G4 進行實測,CrystalDiskMark 中皆統一設定為傳輸 3 次 16G 設定檔進行測試,實際測試結果為,在單人傳轉的情況下,連續讀取速度最快可達到 1142MB/s、連續寫入最快則為 339MB。
02 多人同時存取效能
Quantum H4000 可支援十人以內的團隊同時進行存取,這邊我們同樣使用上述三台工作站同時進行實測,從實測結果得知 CrystalDiskMark 的平均讀取速度為 791MB/s,寫入速度為 288MB/s。
03 實際傳輸檔案測試存取效能
以實際傳輸一組 25GB 的檔案來看,從 Quantum H4000 回傳至本機的速度為 939MB/s。從使用者電腦端傳輸至 Quantum H4000 的速度平均為 356MB/s ,在大型專案備份或大量素材上傳時,能夠輕鬆享受穩定且快速的傳輸效能。
實測二:CatDV 與 Adobe Premiere Pro 的協作
在這個實測中,我們將會以實際的剪輯流程來看 CatDV 如何管理影片素材和專案檔,以及如何透過 CatDV Pegasus 軟體上傳素材到 CatDV Server上,並製作 Proxies 檔案。另外,CatDV Server 還能夠進行素材分類、標籤、影片初剪、時間標記,以及與影音剪輯軟體密切合作,讓多人協作變得輕鬆且方便。
01 透過 CatDV Pegasus 上傳高畫質影音素材到 CatDV 並建立 Proxy 檔
接下來說明如何透過 CatDV Pegasus 軟體將檔案上傳到 CatDV Server ,以三部 4K 影片來進行示範,接下來將檔案從本機拖曳到 Project ,然後從上方功能表中選到 Server > Publish Changes 完成素材上傳,這時候就可以在網頁中看到相應的檔案了。
02 在 Premiere Pro 中安裝 CatDV 外掛程式
接下來,安裝 CatDV 在相關的軟體上。安裝方式非常簡單,從官網下載 UberManager,即可安裝對應的 ZXP 檔案。接下來就可以開啟 Premiere Pro, 從上方功能表中 Window > Extensions > CatDV ,登入後將看到與 CatDV Server 完全一致的專案結構。除了可以存取影片素材之外,還可以透過「Check-in / Check-Out」功能,來將 Premiere Pro 專案檔儲存並發佈到 Server 上,方便專案檔能在不同電腦中存取,也可用來做檔案版本的控制,實現遠端作業與跨電腦的協同作業。
03 自行建立 Metadata 標籤,方便素材分類
在 CatDV Server 上,可以依照專案需求來為影像素材自定義標籤與分類,方便大量素材上傳到 Server 時更加容易管理與搜尋。使用者可以在 CatDV Server 的設定中,建立標籤與呈現方式,包含下拉式選單、標籤列表等多種選項。也可以自行增加欄位,甚至指定特定標籤為必填項目,讓企業組織以更有系統的方式進行檔案管理。
04 使用 CatDV 網頁挑選素材與初剪
CatDV Server 也提供便利的標記功能,可在影片中標記單幀畫面,或是指定起始和結束時間點(In/Out 點)來建立片段,舉例來說,以一個十分鐘的片段為例,導演或剪輯師只需要用到其中 30 秒的畫面,這時候就可以透過 CatDV 的 Marker 功能來指定需要的片段,並透過 CatDV 的外掛匯入到剪輯軟體中,如此一來,即能夠快速的進行剪輯工作。透過 Marker 功能還能為素材加入備註或以畫筆來標示和圈選需要修改的部分,甚至能啟用聊天室功能,方便導演、剪輯師能針對素材和剪輯內容在影片進行討論,讓初剪的工作變輕鬆,溝通協作更有效率。
05 將初剪素材匯入 Premiere Pro 完成剪輯輸出
從 Premiere Pro 中打開 CatDV Server 介面後,可直接匯入選定的影片素材。素材匯入後,將保留原本在 Server 上做的任何標記,等同於加速了剪輯速率,可快速進入後續的調色、特效製作與輸出的階段。
為什麼推薦
經過這次的實際測試,完整體驗到了 Quantum H4000、StorNext 與 CatDV 三位一體的強大威力,在多人共享檔案上完善的管理方式,讓各種高畫質的素材影片可以快速且流暢的使用,使用者無需經歷耗時的檔案傳輸與剪輯過程,猶如在本機一樣的操作體驗。對於電視台、影視內容製作公司來說是非常合適的選擇。為此,Quantum 推出全新的組合方案—Quantum H4000 Essential、Quantum Stornext、CatDV 的組合方案,內部配備的硬碟為 SAS HDD,儲存容量為 48TB,未來還可進行擴充,有興趣了解更多,請點選此連結查看更多資訊,或來電洽詢朕宏國際。
本文與 Quantum 合作。如需轉載請標明出處。