Medienarchive in Petabyte
Big Data mit Object Storage bewältigen
Die Fans schreien auf: Von den insgesamt 798 Episoden der legendären BBC-Serie Doctor Who sind 97 Episoden verschwunden! Das berichtete unlängst das amerikanische Magazin The New Yorker. Alte Episoden der Serie, die seit 1963 ein Millionenpublikum begeistert, wurden von der BBC nach der Ausstrahlung einfach auf Tape überschrieben.
Was heute undenkbar ist, war damals jedoch gängige Praxis - aus Kostengründen. Während sich heute die Mittel des Broadcasting etwa durch das Internet potenziert haben, sind die Herausforderungen bei der Datenarchivierung für Filmleute komplexer als vor 50 Jahren: TV-Sender, Postproduktionsstudios und Digital Imaging-Anbieter jonglieren mit einem riesigem Content-Pool an digitalem HiRes-Bildmaterial, Visual Effects und Sounds, verteilt über weltweite Standorte und über verschiedene Teams.
Foto: Quantum
RAID in Petabyte-Archiven ineffizient und unsicher
Aufgrund des steigenden Wettbewerbsdrucks und den immer knapperen Produktionsfristen, haben Einsparungen bei Betriebs- und Personalkosten oberste Priorität; und machen Filmcrews umso abhängiger von einer zuverlässigen und effektiven Lösung für den End-to-End-Workflow von Ingest bis Storage. Nur: Die Anforderungen an Skalierbarkeit, Robustheit und Verfügbarkeit werden in großen, langfristig angelegten Big Data- Medienarchiven immer extremer. Sie müssen einen hochperformanten Dateizugriff in heterogenen Umgebungen bieten, den Verwaltungsaufwand und Speicherkosten reduzieren und die Performance bei hohen Workloads steigern.
Traditionelle RAID Disk-Archive, wie sie heute weit verbreitet sind, können diesen Anforderungen nicht mehr standhalten: Skalierung im Petabyte-Bereich geht bei Diskkapazitäten von 3 bis 4 TByte mit einer entsprechend hohen Zahl an Disks einher. Mit der wachsenden Anzahl der Disks nimmt jedoch die Wahrscheinlichkeit zu, dass diese ausfallen. Wiederherstellungszeiten liegen bei RAID-6 bereits heute in einer Größenordnung von 24 Stunden und mehr. Zudem fehlt es RAID-Systemen an einem Mechanismus zur proaktiven Erkennung von Bitfehlern (die Bitfehlerrate liegt bei einem RAID-Array mit zehn 3-TByte-Disks bereits bei 33 Prozent) und an der Sicherheit bei Knotenausfällen. Die Folgen sind Performanceverlust, Komplexität und hohe Kosten.
- Johannes Wagmüller, Director Systems Engineering, NetApp
"Der Trend wird zum Multisourcing gehen. On-Premise Storage wird weiterhin erste Wahl bleiben, wenn mit den Daten und Leistungen erhebliche Wertschöpfung für das Kerngeschäft der eigenen Organisation geschaffen wird." - Vincenzo Matteo, Disk Product Management Director, Oracle
"Es wird immer Bereiche geben, die von On-Premise-Storage-Lösungen profitieren, dazu zählen etwa datenintensive Aufgaben wie Big Data Analytics." - Ralf Colbus, Leading Storage Professional, IBM Deutschland
"Nein, die beiden Möglichkeiten werden sich aber stärker ergänzen. Sicherheit, Verfügbarkeit und Performance werden nach wie vor für On-Premise Storage-Systeme sprechen." - Dr. Stefan Radtke, CTO Isilon Storage Division, EMC Deutschland
"Das ist auch eine Frage der Kosten. Wenn sie gelegentlich ein paar Gigabyte oder weniger Daten analysieren wollen, kann man sicher Cloud Services nutzen. Muss man die Daten aber erst in die Cloud übertragen, wird die Analyse sehr unhandlich. Bei großen Datenmengen dürfte eine eigene Infrastruktur günstiger sein." - Stefan Roth, Manager Sales Competence Center, Fujitsu
"Nein, denn sehr viele Kunden lagern nicht ihre komplette IT Infrastruktur aus, sondern setzen auf sogenannte Hybrid-Cloud-Architekturen. Bei diesem Sourcingmodell werden nur ausgewählte Applikationen, Prozesse, Infrastrukturen oder Datenbereiche ausgelagert." - Dr. Georgios Rimikis, Senior Manager Solutions Strategy, HDS
"Wir würden nicht sagen, dass On-Premise Storage überflüssig wird, es wird eher eine Vielzahl von Kombinationen aus Cloud Services, Virtualisierung und On-Premise geben. Wir sehen eher eine Koexistenz dieser Konzepte." - Guido Klenner, Business Unit Manager Storage, Hewlett-Packard
"Mithilfe einer Datenklassifizierung lässt sich herausfinden, welche Speicher, Protokolle und Speicherorte sich am besten für die Speicherung eignen. Nicht alle Daten sind gleich, nicht alle Daten haben eine gleich hohe ‚Lebenserwartung‘ und nicht alle Daten müssen in gleicher Geschwindigkeit bereitgestellt werden.“ - Hans Schramm, Field Product Manager Enterprise, Dell
"Um welche Daten handelt es sich? Wie sensibel sind diese? Soll die Analyse in Echtzeit stattfinden? Es ist in vielen Fällen hilfreich, die Analysen auszulagern, am besten dorthin, wo auch die Daten liegen."
Object Storage macht Datensätze skalierbar
Angesichts von Media Workflows auf Petabyte-Level bietet die Tiered Object Storage-Technologie eine neuartige Architektur für Disk-basierte Archive. Sind moderne Media Asset Management Systeme (MAM) in eine Tiered Storage-Lösung integriert, können Daten neben der direkten Katalogisierung und dem Quick Review über Proxies auf zweiter oder dritter Speicherebene mit einem einzigen Mausklick abgerufen werden. Bestehen traditionelle Speichersysteme aus einem streng hierarchischen Verzeichnis aus Ordnern und Dateien, bedient sich Object Storage einfacher Schlüsselwert-Paare.
Ein Objekt bildet eine Einheit aus originären Datenmaterial, seinen Metadaten und einem Key. Dies ist ein Zugangsschlüssel, der nur einmal pro Objekt vergeben wird. Er dient dem Client als Objekt-ID, so dass für ihn Daten eindeutig identifizier- und schneller erreichbar sind. Gruppierte Objekte können zudem in sogenannten Containern zusammengefasst werden, so dass Administratoren digitale Datensätze nahezu unbegrenzt skalieren können. Über den einfachen Objektnamensraum können Disk-Archive in einer Object Storage-Architektur ohne weiteres von 500 TByte auf Hunderte Petabyte skaliert werden.