Die digitale Transformation führt zu einer schnellen Verbreitung von Anwendungsfällen, die auf leistungsintensive Workloads angewiesen sind. [...]
Diese Workloads, die früher nur in akademischen und staatlichen Einrichtungen zu finden waren, gehören nun zum Mainstream und verdanken sich dem dringenden Bedarf nach intensiven Einblicken in verschiedene Datengruppen.
So hat eine vor kurzem durchgeführte Umfrage von IDC ergeben, dass mehr als die Hälfte der Unternehmen inzwischen Wachstumsraten ihrer Daten von 20 bis 50 Prozent pro Jahr erwarten, und ein Drittel geht sogar von einem Wachstum bis zu 99 Prozent aus.
80 Prozent dieser Daten werden unstrukturiert sein, wobei der Schwerpunkt auf schnell verwertbaren Erkenntnissen liegt. Workloads, die solche Erkenntnisse liefern, verwenden algorithmische Ansätze und Workflows wie zum Beispiel Modellierung und Simulation (auch bekannt als High Performance Computing [HPC]), Training und Inferenzen bei Artificial Intelligence [AI] und Machine Learning [ML]) und besonders leistungsfähigen Datenanalysen. Herkömmliche Ansätze für Datenverarbeitung und -speicherung genügen nicht mehr solchen Skalierbarkeitsanforderungen.
Die Infrastruktur in diesen Umgebungen ist von Natur aus komplex und besteht aus vielen eng miteinander verknüpften Teilen, die nicht ohne Weiteres getrennt werden können.
Die Speicherinfrastruktur muss den abweichenden E/A-Mustern der traditionellen HPC-Modellierung (kleine Dateneingänge/große Datenausgänge) und den neuen AI/ML-Trainings- und Inferenzmustern (große Dateneingänge/kleine Datenausgänge) gleichzeitig genügen. In der Vergangenheit hat dies häufig zu höheren Kosten geführt, was im Widerspruch steht zu der geforderten Wirtschaftlichkeit der digitalen Transformation.
Neue Anbieter wie VAST Data – ein Produzent von Scale-out-Lösungen für die Speicherung unstrukturierter Daten Lösungen – versuchen, die Situation grundsätzlich zu ändern. So bietet VAST Data eine einzigartige Architektur an, die das hochleistungsfähige Network File System (NFS) für den Datenzugriff verwendet und zu einer verbesserten Agilität, Leistung und Skalierung von konvergenten HPC-AI-Infrastrukturumgebungen führt.
Gefragt sind solche Lösungen u.a. bei Finanzdienstleistungen, Behörden, Gesundheitswesen, Medien und Unterhaltung oder Telekommunikation und Bildungswesen.
Von HPC- zu NFS-Umgebungen
In den Anfängen der Modellierungs- und Simulationsumgebungen (die auch als traditionelle HPC-Umgebungen bezeichnet werden), unterstützte die HPC-Community das Network File System (NFS) als Protokoll für die gemeinsame Nutzung von Daten in HPC-Clustern.
NFS hatte sich aufgrund seiner großen Anpassungsfähigkeit, Vielseitigkeit und Benutzerfreundlichkeit durchgesetzt. Als bewährtes und erprobtes IP-basiertes Protokoll Bot NFS eine kostengünstige Lösung für die gemeinsame Nutzung von Dateien im Netzwerk über mehrere heterogene Rechnerknoten hinweg.
NFS vereinfachte außerdem die Dateiverwaltung, beseitigte Speichersilos, reduzierte Dateiübertragungen zwischen Knoten und bot transparente Tiering-Funktionen für Dateien.
Um die noch immer bestehenden Probleme bei der Skalierung von Systemen zu lösen, setzte man auf Netzwerke mit hoher Bandbreite, niedrigen Latenzen und aktualisierten Versionen des Protokolls.
Die Vorbehalte, die mit der Verwendung von NFS als primärem Zugriffsprotokoll verbunden waren, konnten mit einer Scale-Out-Architektur für HPC-AI-Umgebungen abgebaut werden. Um dies umzusetzen, ist die Adressierung von Parallelität im Speicher selbst und nicht im Protokoll erforderlich.
Laut IDC wird NFS in der HPC-Gemeinschaft immer noch sehr häufig verwendet. Gerade in traditionellen HPC Umgebungen wird NFS-basierter Speicher oft als Protokoll für den Speicherzugriff in einer heterogenen und hybriden Infrastruktur eingesetzt.
Die Untersuchungen von IDC zeigen auch, dass die meisten HPC-Umgebungen bis zu drei Speicherebenen (primär, sekundär und tertiär) verwenden – wobei NFS häufig als sekundäre oder tertiäre Ebene verwendet wird.
Glücklicherweise hat die mangelnde Akzeptanz von NFS als primäres Protokoll im HPC-Bereich Anbieter und Entwickler nicht davon abgehalten, weiterhin in NFS zu investieren. Das schnelle Wachstum des Open-Source-Ökosystems, angeführt von Linux, hat zu einer rasanten Entwicklung der NAS-Industrie (Network Attached Storage) geführt.
Hinzu kamen TCP/IP-Netzwerke mit hoher Bandbreite und niedrigen Latenzen sowie Anwendungen, die für die Arbeit in solchen Umgebungen zertifiziert sind. Die Hauptnutznießer der Ausgereiftheit von NFS sind Unternehmen gewesen, und die Zunahme von unstrukturierten und halbstrukturierten Daten hat dazu geführt, dass NFS nun weitgehend in Unternehmen unterschiedlicher Branchen akzeptiert.
Die Zunahme von Workloads auf Basis von AI oder ML in vielen Unternehmen gibt der Verbreitung von NFS weiteren Auftrieb. Mehrere Interviews von IDC mit IT-Praktikern, die im letzten Jahr AI oder ML in ihren Unternehmen installiert haben, zeigen, dass die meisten von ihnen besonders hochskalierbare Dateisysteme mit gemeinsamem Zugriff auf die Daten in der Regel über NFS eingeführt haben.
Für die meisten Arbeitslasten mit eher bescheidenen Ein- und Ausgabe-Anforderungen funktioniert NFS gut. Kommt es jedoch zu starkem Wachstum in diesem Bereich, kann es laut IDC zu Problemen kommen.
Häufige Anforderungen, die bei diesen Leistungsproblemen auftauchen, betreffen u. a. den Bedarf an extrem hohen sequentiellen Lese-/Schreibleistungen für eine einzelne große Datei und die Fähigkeit zu skalieren, wenn weitere Clients und Anwendungen, die auf die Daten zugreifen, hinzugefügt werden.
Fazit
Mit der zunehmenden Verbreitung von HPC und der Konvergenz mit AI/ML, Datenanalyse und technischen Workloads erlebt der Markt eine Verschiebung der Nachfrage hin zu diesen Anforderungen. HPC findet sich heute in vielen Unternehmen, die eine digitale Transformation durchlaufen und eine optimale Leistung und Effizienz in ihrer Infrastruktur vor Ort, in der Cloud und am Netzwerkrand erreichen wollen.
Der „2022 Worldwide HPC Survey“ von IDC präsentiert eine Mischung von konkreten Antworten aus Unternehmen, gewinnorientierten Institutionen (zum Beispiel Start-ups und Partnerschaften), traditionellen Kunden, nationalen und staatlichen Forschungseinrichtungen (zum Beispiel Universitäten).
Weitere Informationen:
Auf der aktuell in Hamburg stattfindenden ISC Performance ist VAST Data am Stand D418 präsent.
Den vollständigen Bericht von Josephine Palencia Ashish Nadkarni, Group VP and General Manager in IDC Infrastructure Research, gibt es hier zum Download.
Be the first to comment