Hollywood tonie w danych

W branży filmowej nastąpiło zapotrzebowanie na archiwizowanie dużej ilości danych. Stanowisko montażu filmu niewiele zmieniało się od lat 40-tych do lat 90-tych ubiegłego wieku., a od początku XXI wieku przechodzi istną rewolucję. Zamiast montować filmy poprzez ręczne ciecie taśm filmowych obecnie montaż filmu odbywa się wyłącznie komputerowo. Nawet filmy nadal kręcone na taśmie zaraz po nakręceniu są skanowane oraz dalej obrabiane i montowane cyfrowo. W związku ze zmiana sposobu montażu i nagrywania filmów nastąpił geometryczny wzrost zapotrzebowania na miejsce na hollywoodzkich dyskach.

Obecnie filmy w Hollywood najczęściej są nagrywane bezpośrednio na dyski SSD przy użyciu bardzo popularnych kamer cyfrowych firmy Red w rozdzielczości obrazu 4096 x 3072 pixeli. Najnowszy model kamery jest już w stanie nagrywać w rozdzielczości 5120 x 2700 pikseli. Ten nowoczesny sposób nagrywania generuje ogromne ilości danych do zapisania i zarchiwizowania. Surowy materiał z jednego tylko filmu (np. The Social Network) zajmuje około petabajta danych (1PB = 1024 TB). Jak ogromna jest to liczba danych do przechowania podam dla porównania, że 1 petabajt to całkowity rozmiar danych przechowywanych  przez średniej wielkości amerykański bank, a Wielki Zderzacz Hadronów (LHC) rocznie przetwarza ok 14,3 PB danych.

W skład nowoczesnej ekipy filmowej wchodzi naczepa z mobilnym data center oraz obsługującą je ekipa „data wranglers”. Data Wrangels, oprócz standardowej obsługi data center, zajmują się porządkowaniem napływającego materiału, tak aby odnalezienie konkretnych ujęć nie nastręczało problemów w czasie postprodukcji.
Znaczenie data center w wytwórniach filmowych w ostatnich latach drastycznie się zmieniło. Data center z roli pomocniczej, podobnej do tej jaką pełni w większości dużych firm, urosło do rangi jednego z kluczowych elementów, od których zależy powodzenie przedsięwzięcia filmowego. W związku z nagłym wzrostem znaczenia przechowywania danych w data center  studia filmowe zaczęły poważnie się przyglądać możliwościom jakie one dostarczają, oraz ich wpływu na konkurencyjność firmy.

Hollywood nie było przygotowane na taką zmianę w ilości generowanych i archiwizowanych danych, dlatego też obecnie każde studio próbuje znaleźć najlepsze rozwiązanie na własną rękę. Zastanówmy się, dlaczego Hollywood potrzebuje takiej przestrzeni dyskowej? 
Surowy, nakręcony  materiał to około 1PB danych. Dodatkowo materiał ten dla usprawnienia pracy nad nim jest konwertowany na kilka mniejszych rozdzielczości roboczych. Każdy dział w postprodukcji korzysta z innego oprogramowania, w związku z czym tworzone są kolejne pliki w różnych formatach. Dlatego postprodukcja pojedynczego filmu potrzebuje ponad 10 PB miejsca na dane bieżące. Dodatkowo wszystkie nawet niewykorzystane materiały są archiwizowane, gdyż mogą się jeszcze przydać w bonusach, squealach, itp.
Osoby z działu kreatywnego nie zgadzają się na dużą kompresję danych podlegających archiwizacji w obawie o to, że materiał o zredukowanej rozdzielczości może w przyszłości nie nadawać się do wykorzystania. Biorąc pod uwagę fakt, że produkcja filmu kosztuje ponad 100 mln USD, nic dziwnego, że producenci bardzo obawiają się o to, żeby nic z efektów tej pracy się nie zmarnowało i cały nagrany materiał był tak zarchiwizowany, aby można było go ponownie wykorzystać.

Obecnie dominującym rozwiązaniem problemu ogromnej ilości danych w Hollywood jest archiwizowanie ich na taśmach magnetycznych LTO-5 o pojemność 1,5 TB. Jest to aktualnie najtańsze z dostępnych rozwiązań, jednak obarczone jest znaczną liczbą problemów, a mianowicie najwolniejszym czasem dostępu do danych oraz wymaga bardzo dużej dyscypliny prowadzenia archiwum. Jakiekolwiek odstępstwo od procedury magazynowania danych może powodować praktycznie utratę zapisanych danych, gdyż odnalezienie nie właściwie zarchiwizowanych danych może okazać się czasochłonnym i bardzo kosztownym przedsięwzięciem. Kolejnym problemem może okazać się uzyskanie dostępu do zarchiwizowanych na taśmach danych za kilkadziesiąt lat, gdy znalezienie sprawnego czytnika taśm LTO-5 może być bardzo trudne.

Więcej na datacenterdynamics.com/focus/archive/2011/11/hollywoods-big-data-problem  

Be Sociable, Share!

    Comments are closed.