Speicherarchitektur für Big Data und die Cloud

Viele Wege führen nach Rom oder zum Erfolg und daher gibt es unterschiedliche Konzepte, Daten auf Speichermedien zu bannen. [...]

Zu den am weitesten verbreiteten Speicherarchitekturen zählen Dateisysteme, bei denen Daten hierarchisch als Dateien abgelegt werden, und Blockspeicher, der Daten als einzelne, direkt auf den Spuren und Sektoren von Festplatten adressierbare Blöcke verwaltet. Bei beiden Architekturen werden die eigentlichen Informationen zusammen mit den Meta-Informationen gespeichert. Bei größeren Datenbeständen müssen Administratoren oder Anwender mit logischen Volumes, RAIDs und intelligenten Ordnerstrukturen arbeiten, um den Überblick zu behalten.

Bereits Mitte der 90er Jahre kamen daher Überlegungen auf, die Metadaten von den eigentlichen Daten zu trennen und gleichzeitig flexibel mehr Informationen zu den Daten zu sammeln. Die Daten werden nach diesem Ansatz als “Objekte” in einem Data Lake ohne Unterverzeichnisse gespeichert. Jedes Objekt enthält neben den Daten eine individuelle, eindeutige ID, die direkt auf die entsprechende Datei verweist, sowie entsprechende Metadaten. Letztere werden separat gespeichert und enthalten beliebige Informationen, über die sich auch Datenschutz, Ablaufdaten und Löschung, Zugriffskontrollen oder Autorisierungen verwalten lassen. Ein weiterer Vorteil: Wenn Daten beispielsweise bei einem Hyperscaler liegen und der Index in-house, so ist mit der Löschung des Index auch der Datenbestand entwertet, ohne die Logik liegt dort nur noch “Datensalat”. Und da bei Suchanfragen nur der Index mit den Metadaten durchsucht werden muss, sind Suchprozesse außerdem erheblich schneller und akkurater als bei Dateisystemen.

Storage für das Cloud-Zeitalter

Die ersten kommerziellen OBS-Plattformen (Object Based Storage) wurden vor allem für Archiv- und Backup-Zwecke eingesetzt, da die meisten gängigen Anwendungen auf Dateisysteme angewiesen waren. Spätestens mit dem Siegeszug der Cloud hat sich das Blatt aber gewendet: Alle Hyperscaler nutzen OBS für ihre Public-Cloud-Angebote und das AWS-Protokoll S3 hat sich im Enterprise-Umfeld als De-facto-Standard etabliert. Im Unternehmensumfeld kommt OBS heute vor allem bei der Speicherung unstrukturierter Daten (Big Data) für Analysezwecke zum Einsatz. Moderne Analysewerkzeuge wie Pentaho von Hitachi Vantara sind in der Lage, über Standardschnittstellen wie beispielsweise REST auf die Datenbestände zuzugreifen und nahezu in Echtzeit Analysen zur Verfügung zu stellen.

Aber auch im Anwendungsbereich gewinnt OBS zunehmend an Boden. Die meisten modernen Applikationen sind auf Objektspeichertechnologie ausgelegt und in der Lage, ohne Einbeziehung einer Datenbank direkt mit dem Storage zu kommunizieren, containerisierte Lösungen setzen ohnehin von vornherein auf OBS. Auch der immer noch oft ins Feld geführte Performance-Nachteil bei Transaktionsdaten, die sich permanent ändern, ist ein Mythos. Ein aktuelles Storage-Systeme wie die Hitachi Content Platform lässt sich mit schnellen Flash- oder NVME-Modulen bestücken und bis zu einer Kapazität von mehreren Exabyte ausbauen. Von Vorteil ist es für Unternehmen, sich im OBS-Umfeld für das beste Gesamtpaket zu entscheiden, um die Voraussetzungen für eine effektive Hybrid-/ Multi-Cloud-Nutzung zu schaffen. Das Analysehaus IDC sieht Hitachi Vantara hier an führender Position.
Mehr erfahren

Zu den deutschsprachigen Webinaren