Robust, skalierbar, verfügbar: Die Anforderungen an Big-Data-Medienarchive werden immer umfassender. Traditionelle RAID-Disksysteme können da nicht mehr mithalten. Die Object-Storage-Technologie verspricht Abhilfe. [...]
Die Fans schreien auf: Von den insgesamt 798 Episoden der legendären BBC-Serie Doctor Who sind 97 Episoden verschwunden. Das berichtete unlängst das amerikanische Magazin The New Yorker. Alte Episoden der Serie, die seit 1963 ein Millionenpublikum begeistert, wurden von der BBC nach der Ausstrahlung einfach auf Tape überschrieben.
Was heute undenkbar ist, war damals jedoch gängige Praxis – aus Kostengründen. Während sich heute die Mittel des Broadcasting etwa durch das Internet potenziert haben, sind die Herausforderungen bei der Datenarchivierung für Filmleute komplexer als vor 50 Jahren: TV-Sender, Postproduktionsstudios und Digital-Imaging-Anbieter jonglieren mit einem riesigen Content-Pool an digitalem HiRes-Bildmaterial, Visual Effects und Sounds. Das Material liegt verteilt auf weltweiten Standorten und bei verschiedenen Teams.
RAID IN PETABYTE-ARCHIVEN IMMER INEFFIZIENTER
Aufgrund des steigenden Wettbewerbsdrucks und den immer knapperen Produktionsfristen, haben Einsparungen bei Betriebs- und Personalkosten oberste Priorität; und machen Filmcrews umso abhängiger von einer zuverlässigen und effektiven Lösung für den End-to-End-Workflow von Ingest bis Storage. Nur: Die Anforderungen an Skalierbarkeit, Robustheit und Verfügbarkeit werden in großen, langfristig angelegten Big-Data-Medienarchiven immer extremer.
Die Archive müssen einen hochperformanten Dateizugriff in heterogenen Umgebungen bieten, den Verwaltungsaufwand und Speicherkosten reduzieren und die Performance bei hohen Workloads steigern. Traditionelle RAID-Disk-Archive, wie sie heute weit verbreitet sind, können diesen Anforderungen nicht mehr standhalten:
Skalierung im Petabyte-Bereich geht bei Diskkapazitäten von drei bis vier
TByte mit einer entsprechend hohen Zahl an Disks einher. Mit der wachsenden Anzahl der Disks nimmt jedoch die Wahrscheinlichkeit zu, dass diese ausfallen. Wiederherstellungszeiten liegen bei RAID-6 bereits heute in einer Größenordnung von 24 Stunden und mehr. Zudem fehlt es RAID-Systemen an einem Mechanismus zur proaktiven Erkennung von Bitfehlern (die Bitfehlerrate liegt bei einem RAID-Array mit zehn 3-TB-Disks bereits bei 33 Prozent) und an der Sicherheit bei Knotenausfällen. Die Folgen sind Performance-Verlust, Komplexität und hohe Kosten.
DATENSÄTZE NAHEZU UNBEGRENZT SKALIERBAR
Angesichts von Media Workflows auf Petabyte-Level bietet die Tiered-Object-Storage-Technologie eine neuartige Architektur für Disk-basierte Archive. Sind moderne Media-Asset-Management-Systeme (MAM) in eine Tiered-Storage-Lösung integriert, können Daten neben der direkten Katalogisierung und dem Quick Review über Proxies auf zweiter oder dritter Speicherebene mit einem einzigen Mausklick abgerufen werden.
Bestehen traditionelle Speichersysteme aus einem streng hierarchischen Verzeichnis aus Ordnern und Dateien, bedient sich Object Storage einfacher Schlüssel-Wert-Paare. Ein Objekt bildet eine Einheit aus originären Datenmaterial, seinen Metadaten und einem Key. Dies ist ein Zugangsschlüssel, der nur einmal pro Objekt vergeben wird. Er dient dem Client als Objekt-ID, so dass für ihn Daten eindeutig identifizier- und schneller erreichbar sind.
Gruppierte Objekte können zudem in sogenannten Containern zusammengefasst werden, sodass Administratoren digitale Datensätze nahezu unbegrenzt skalieren können. Über den einfachen Objektnamensraum können Disk-Archive in einer Object Storage-Architektur ohne weiteres von 500 TB auf hunderte PByte skaliert werden.
DATENSICHERHEIT DURCH VERSCHLÜSSELUNG
Neben der einfachen Adressierungslogik ist ein weiterer Vorteil von Object Storage, dass Daten global auf Rechenzentren an verschiedenen Standorten verteilt werden können; je nach Object-Storage-System sogar über heterogene Disks und Knoten. Bei RAID hingegen müssen alle Daten lokal vorliegen. Üblichen Latenzen aufgrund großer Distanzen wird unter anderem durch lokales Caching, Netzwerkkomprimierung und Lastenausgleich entgegengewirkt.
Mittels HTTP-REST-Schnittstelle zur Cloud ist bei Object-Storage-Lösungen der flexible Zugriff auf Datenobjekte in Hochgeschwindigkeit möglich. Datenintegrität wird erreicht, indem Objekte über verschiedene Knoten mit entsprechender Redundanz mittels so genannter Erasure Codes verteilt werden. Wie der Name „Erasure“ schon andeutet, nutzen Object-Storage-Systeme Algorithmen zur Fehlerkorrektur, die sie in eindeutige Codes umwandeln.
Das Besondere: Sind die Codes zur Speicherung verteilt, reicht eine zufällige Teilmenge der Codes zum schnellen Abruf der Daten. Einzelne Codes werden automatisch getestet und im Fehlerfall durch Ersatzcodes ersetzt. Auf diese Weise werden verschwiegene Bitfehler vermieden. Durch Features wie Kompression und Verschlüsselung können Administratoren die Sicherheit ihrer Daten individuell anpassen und das Level der Datenintegrität selbst definieren.
Wurden Object-Storage-Systeme ursprünglich für die Cloud mit entsprechenden Protokollen entwickelt, stehen heute Standardprotokolle wie CIFS und NFS zur einfachen Integration von Object Storage in die Betriebssystemumgebung zur Verfügung. Als Disk-basierte Speicherlösung kann Object Storage gegenüber Tape sofort mit dem Datenstreaming starten.
AUTOMATISCHE SELBSTHEILUNG
Ist der Austausch von Laufwerken oder die Implementierung in eine neue Umgebung nötig, werden mit den Funktionen der Selbstheilung und Migration Objekte automatisch umgeschichtet – ohne Performance-Einbußen und Auswirkungen auf den Workflow. Geht es um Investitionen in eine neue Technologie, sind die Argumente Kapital-und Betriebskosteneinsparungen am überzeugendsten – heute ebenso wie noch vor 50 Jahren; wie im Falle der BBC.
Das Pro von Object-Storage-Lösungen: Aufgrund der robusten Algorithmen können kostengünstigere Disklaufwerke eingesetzt werden, die bekanntlich weniger Strom- und Kühlungsbedarf haben. Je nach Umfang der Infrastruktur versprechen Object-Storage-Lösungen jährliche Einsparungen von zehn bis 30 Prozent – bei Big-Data-Umgebungen ist dies ein entsprechend hoher Betrag.
* Der Autor Laurent Fanichet ist Product Marketing Manager bei Quantum.
Be the first to comment