Storage-Trend: Start-ups bringen die NVMe-Technologie voran

Einer der heißesten Speicher-Trends heißt Non-Volatile Memory Express (NVMe). Die sonst eher behäbige Storage-Sparte gewinnt allmählich an Dynamik. [...]

Die Revolution in der IT wurde schon oft ausgerufen, aber genau genommen haben sich ihre Grund­elemente gar nicht so sehr geändert: CPU, Memory (Arbeitsspeicher), Storage (Speicherort) und Netzwerk. Ob im eigenen Rechenzentrum, in der Cloud oder am Edge zwischen beiden, irgendwie müssen diese Grundelemente miteinander klarkommen. Allerdings: Die Einzelkomponenten und ihre zusammengesetzten Formen vom Mainframe bis zum Miniserver haben Veränderungen durchlaufen.

Dabei sind die Veränderungen innerhalb der Storage-Abteilung, die lange den anderen Zweigen etwas hinterherhinkte, von besonderer Dynamik. Eine wichtige Rolle dabei spielt Non-Volatile Memory Express, kurz NVMe. Mit dem NVMe-Protokoll, das speziell für Flash-Architekturen entwickelt wurde, verloren die übergangsweise weiterverwendeten SAS-, SATA- und SCSI-Protokolle an Bedeutung – sie waren nicht in der Lage, die Vorteile von Flash auszuspielen.

Bei NVMe werden Flash-Speicher und CPU direkt miteinander verbunden, und von den nun möglichen Geschwindigkeiten profitieren viele Anwendungen. Besonders Datenbanken und Analytics-Tools arbeiten mit großen Datenmengen, die kaum oder gar nicht in klassische Memories passen, um sie zügig durchforsten zu können. Moderne Festplatten verfügen zwar über große Kapazitäten von 16 bis 20 Terabyte, sie können aber nur mit 60 bis 200 I/O pro Sekunde (IOPS) für Lese- und Schreibprozesse angesprochen werden. Man müsste also sehr viele solcher Festplatten gleichzeitig für Auswertungen verwenden.

Auch in solchen Fällen kommt Flash ins Spiel und ist zusammen mit NVMe und NVMe-oF (NVMe over Fabrics) fast unschlagbar – egal auf welchen Netzwerkverbindungen von Ethernet bis InfiniBand diese Technologien eingesetzt werden. Da aber noch nicht alles auf diesem neuen Feld der Technologie und der Anwendungen in Stein gemeißelt ist, eröffnen sich gerade für wagemutige Start-ups exzellente Möglichkeiten.

Moderne Storage-Strategien als Schutz vor Ransomware

Express und Superexpress

Die Storage Networking Industry Association (SNIA) definiert NVMe so: „NVMe ist ein neues Protokoll für den Zugang zu sehr schnellen Speichermedien, besonders All-Flash-Arrays (…). Dieses Protokoll ist vor allem für nichtflüchtige Medien (NAND und Persistent Memory) geeignet, die über die PCIe-Schnittstelle direkt mit der CPU verbunden sind. Die Transportgeschwindigkeit ist mehr als zweimal so hoch wie bei der traditionellen SATA-Schnittstelle.“

Das bedeutet: Das NVMe-Protokoll stützt sich auf parallele Datenpfade mit geringen Latenzen, ähnlich wie man sie bei hochperformanten Prozessorarchitekturen findet. Bestehende und vor allem neue Anwendungen profitieren davon, Work­loads können in Echtzeit verarbeitet und zwischen Rechenzentrum und Edge-Strukturen übertragen werden. NVMe führt laut SNIA auch zu einer besseren Auslastung der Infrastruktur und reduziert so die Total Cost of Ownership. 

Fibre-Channel-Netzwerke sind ein anderes Gebiet, auf dem sich die neue Technologie positiv auswirkt. NVMe over Fabrics kann laut Fibre Channel Industry Association (FCIA) die etwas ins Hintertreffen geratene Fibre-Channel-Netzwerkinfrastruktur wieder attraktiver machen. FC-Umgebungen gelten schon länger als zuverlässige, sichere und belastbare Infrastruktur – aber auch als schwierig zu installieren und nicht zuletzt als teuer. Lösungen für Cloud-Storage und Network Attached Storage (NAS) haben deshalb den FC-Netzen Konkurrenz gemacht.

All-Flash-Arrays (AFAs) begünstigen den Einsatz von NVMe, da deren erhöhte Geschwindigkeit und Performance zu Engpässen an anderen Stellen des Netzwerks führt. Das NVMe-Protokoll unterstützt nämlich Arrays auf der Basis von Non-Volatile Memory (NVM), und gespeicherte Daten bleiben selbst dann erhalten, wenn es zu Stromausfällen kommt. NVMe-oF ermöglicht den Einsatz von NVMe auf verschiedenen Netzwerkverbindungen, eignet sich aber besonders für Fibre Channel. Die FCIA führt im „Fibre Channel Solution Guide 2020“ aus: „NVMe over FC erlaubt es gerade großen Unternehmen, ihre bestehende Storage-Infrastruktur weiter zu benutzen, während sie ihre Speicheranwendungen mit NVMe optimieren. Das bestehende Netzwerk nicht einreißen zu müssen, ist Musik in den Ohren der Finanzabteilung.“

Das Segment neuer NVMe-Protokolle ist hart umkämpft, und neben vielen Start-ups – wir stellen im Folgenden drei davon vor – sind auch Storage-Marktführer wie Dell EMC, IBM, HPE, Hitachi Vantara, NetApp und Pure Storage dabei.

Beispiel Lightbits Labs

Das israelische Start-up Lightbits Labs wurde 2016 von Veteranen der IT-Industrie auf die Beine gestellt, die vorher unter anderem bei IBM, EMC und Apple tätig gewesen waren. Mehrere Mitglieder des Teams waren früher bereits an der Ausarbeitung des NVMe-Standards und an der Entwicklung von NVMe-oF beteiligt.

Chairman Avigdor Willenz und CEO Eran Kirzner sammelten in zwei ersten Finanzierungsrunden 55 Millionen Dollar ein – von Cisco Investments, Dell Technologies Capital, Micron, Square Peg Capital und WRVI Capital. Im September 2020 kam Intel Capital hinzu, was erneut das Interesse der etablierten Hersteller an der Technologie von Lightbits beweist.

Die im September 2020 vorgestellte strategische Zusammenarbeit mit Intel sieht neben einer finanziellen Beteiligung vor, bei der Weiterentwicklung des Betriebssystems LightOS zusammenzuarbeiten und das Go-to-Market voranzutreiben. Wie Remi El-Ouazzane, Vice President und Chief Strategy Officer bei Intel, ausführt, gehe es darum, die Rechenzentren angesichts der überall festzustellenden Datenexplosion zu verändern: „Unsere verschiedenen Hardware-Angebote geben zusammen mit der innovativen Software von Lightbits für NVMe over Fabrics unseren gemeinsamen Kunden eine außergewöhnlich ökonomische Lösung an die Hand.“

Lightbits fügt seinen NVMe-Angeboten mit NVMe-oF eine neue Variante hinzu. Die Speicherinfrastruktur des Start-ups besteht aus zusammensetzbaren Komponenten, bei denen Sto­rage und Compute voneinander getrennt sind. Verwendet wird die bestehende Netzwerkinfrastruktur, zunächst mit NVMe/TCP und seit Neuestem auch mit NVMe-oF. Die Performance im Netz soll der von lokal angeschlossenen NVMe-SSDs entsprechen. Die Standardinfrastruktur aus Client/Server und Networking funktioniert laut Lightbits unabhängig von bestimmten Herstellerpräferenzen. Neben internen Rechenzentren will das Start-up auch Public Clouds ausrüsten.

Die Kunden können Server plus LightOS für bestimmte Anwendungen oder Cluster aus mehreren solcher Komponenten auswählen und um Software-Services wie Komprimierung, Thin Provisioning oder Erasure Coding ergänzen. Bei Ausfall einzelner SSDs soll eine schnelle Wiederherstellung der Daten gewährleistet sein. Der Global Flash Translation Layer (GFTL), mit dem die Daten über alle SSDs verteilt werden, ist laut Lightbits Labs zuverlässiger als Flash Translation Layer (FTL), die an einzelne Laufwerke angebunden sind.

Ziel von Lightbits ist es, einen reibungslosen Übergang von direkt angeschlossenen SSDs zu einem entfernten Pool von NVMe-SSDs mit geringen Latenzen anzubieten. Dabei unterscheidet das Start-up vier Ebenen:

• Bring Your Own Hardware: Eine Software-defined-Lösung auf handelsüblichen Server-Systemen für Storage mit standardmäßigen NVMe-SSDs
• Einsatz von global FTL: Das stellt Funktionen bereit wie Thin Provisioning, Komprimierung, RAID/EC, Quality-of-Service, QLC-ready, Karten für Storage-Beschleunigung
• Keine Änderungen im Netzwerk (NVMe/TCP): Verwendung einer gewöhnlichen TCP/IP-Netzwerkinfrastruktur. Läuft auf standardmäßigen Ethernet-NICs
• Keine Eingriffe auf Client-Seite. Es ist keine proprietäre Client-Software erforderlich. Cluster möglich für Hochverfügbarkeit, außerdem Standard-Treiber für NVMe/TCP-Clients.

Erst im März 2019 offiziell aus dem Stealth-Modus aufgetaucht, bietet Lightbits bereits mit Partnern gemeinsame Produkte an. Dazu zählt ein NVMe/TCP-Storage-Server mit Light­OS und LightField auf der Basis von Dell EMC Power Edge: Damit wird skalierbarer, cloudnativer Storage etwa für Datenbankanwendungen zur Verfügung gestellt – darunter MySQL, Mongo­DB und Cassandra – sowie für Analytic Workloads.

Zusammen mit Intel bietet Lightbits inzwischen eine Lösung an, die LightOS NVMe over Fabrics TCP (NVMe-oF/TCP) mit Intels Ethernet-800-Series-Network-Adapter mit ADQ-Technologie und mit der Performance von Remote Direct Memory Access (RDMA) verbindet. Intel erläutert dazu: „ADQ (Application Device Queues) versetzt NVMe-oF/TCP in die Lage, die gleiche verteilte Speicher-Performance wie RDMA-basierte Protokolle zu erreichen, während NVMe-oF/TCP wegen seiner leichten Installation und Skalierbarkeit eine breite Einführung ermöglicht. Erste Resultate zeigen Verbesserungen von bis zu 30 Prozent bei den Antwortzeiten.“

Mehr Speicher für externe Mitarbeiter dank Storage-as-a-Service

Beispiel Pavilion Data

Das aus Indien stammende Start-up Pavilion wurde 2014 gegründet und hat seinen Hauptsitz in San José, Kalifornien. Mehr als 85 Angestellte arbeiten in Nordamerika, Europa und Asien für das Unternehmen. In drei Finanzierungsrunden konnte Pavilion bisher 58 Millionen Dollar einsammeln, etwa von Artiman, Kleiner Perkins, RPS, SK telecom, Taiwana und Tyche Partners. Zu seinen Besonderheiten zählt eine durchdachte Partnerstrategie, zu der in Europa Reseller wie bsi, BMR, Computacenter und PROACT gehören. Außerdem arbeitet man mit großen OEM-Partnern wie Dell EMC, HPE und einem Hersteller von Whitebox-Servern zusammen.

Die Strategie von Pavilion Data stützt sich auf die Einschätzung, dass sich in den vergangenen zwei Jahrzehnten die Server-Technologie verändert hat – die Entwicklung sei von Single Socket zu Dual und Quad Socket sowie zu Rack-Scale-Servern vorangeschritten. Und die Netzwerke seien von einem doppelten Bus-System zu mehrfachen Switch-Verbindungen ausgebaut worden. Nur bei den Storage-Arrays sei das Prinzip unverändert geblieben: Zwar seien Festplatten durch SSDs und NVMe-SSDs abgelöst worden, doch ein entscheidender Einschnitt sei bisher nicht erfolgt.

Pavilion sieht nun in der „dritten Welle“ des Ausbaus der NVMe-Technologie diese wesentliche Innovation am Start: Erstens würden hyperparallele All-Flash-Arrays mit NVMe, NVMe-oF und einer netzwerkzentrischen Architektur für Scale-up und Scale-out erweitert; zweitens wolle Pavilion Storage-Systeme mit einer Echtzeit-Performance ausstatten; drittens sollen bisher unerreichte Speicherdichte und -Performance günstiger und einfacher umgesetzt werden.

NVMe ist laut Pavilion der Schlüssel zur Umsetzung dieser Technologie. CEO Gurpreet Singh spricht davon, dass insbesondere NVMe-oF eine „disruptive Kraft“ entwickle. NVMe-oF sorge dafür, dass Non-NVMe-Flash nur noch einen deutlich geringeren Anteil am Flash-Einsatz haben werde. IDC-Analyst Eric Burgener sieht das ähnlich: „Im Jahr 2022 werden über 20 Prozent der neuen Verkäufe von All-Flash-Arrays NVMe-oF verwenden, um Performance, Latenzen und effektive Bandbreite zu optimieren.“

Die Hyperparallel Flash Arrays (HFAs) liefern in dieser „dritten Welle des Computings“ laut Pavilion besonders hohe Performance und Kapazität. Laut CEO Singh schlägt HFA die File- und Block-Konkurrenten um Längen und bietet einen besseren Durchsatz pro Rack-Einheit als der Mitwettbewerb von Object Storage. Ein HFA hat bis zu 20 Controller, Shared Memory für Metadaten und schnellen parallelen Zugang zu den SSDs. Die Systeme unterstützen Block-, Object- und NFS-File-Zugang. Das Betriebssystem Pavilion OS soll in Version V2.4 schnellen Object-Speicher hinzufügen sowie System-Monitoring von Nagios, Datenkomprimierung und Windows-Treiber für NVMe-oF/TCP und RoCE.

Für kleine und mittlere Unternehmen gibt es optional einen besonderen Support. Pavilion Data beansprucht, mit dem neuen System nichts weniger als „Storage-Performance neu zu definieren, indem wir in unserem einzigartigen Ansatz Speicher-, Netzwerk-, Memory- und Compute-Komponenten miteinander verbinden“. Man sieht sich bei Pavilion voll auf Linie mit einem „Business Impact Brief“ von 451 Research. In dem Paper von 2019 „NVMe: The Welcome Aftershock of the Flash Revolution“ argumentieren die Analysten: „Es ist keine Übertreibung zu sagen, dass Flash die Speichersysteme in den Rechenzentren revolutioniert hat. Der Prozess begann mit der Installation von hybriden Speichersystemen, die Festplatten mit wenigen Flash-Speichern verbanden, und führte schnell zu All-Flash-Systemen.

Dies ist heute Mainstream.“ Gleichzeitig gab es Verbesserungen auf CPU- und GPU-Ebene sowie beim Netzwerktempo. Neue Anwendungen integrieren zudem daten­intensive Analytics und Machine Learning (ML).Auf Speicherebene erhöhen den Analysten zufolge das Protokoll NVMe für Flash-Arrays sowie die Netzwerkvariante NVMe over Fabrics die Speicher-Performance ein weiteres Mal. Sie würden jetzt die SAS- und SATA-Protokolle, die noch aus der Ära der Festplatten stammen, ersetzen.

NVMe und NVMe-oF wurden mit breiter Unterstützung von der Herstellerseite entwickelt, aber 451 Research rät Unternehmen, sich genau anzusehen, inwieweit die Hersteller die neuen Technologien auch in die Praxis umsetzen. Start-ups hätten da Vorteile, weil sie nicht an die Vorgaben und Wünsche einer bestehenden Klientel gebunden seien, die sich noch im Übergang von Disk zu Flash befinde und primär an der Sicherung ihrer Altinvestitionen interessiert sei.

Um die volle Performance von NVMe zu realisieren, müssen aber auch die Nebenbedingungen in der IT- und Speicher­architektur stimmen. 451 Research konstatiert: „Not all NVMe systems are equal.“ Wenn bestehende Systeme geändert würden, um die volle Leistung von NVMe einzufahren, könnten Engpässe an anderen Stellen entstehen – etwa auf Netzwerk­ebene. Auf jeden Fall solle das Potenzial von NVMe-oF mit in Betracht gezogen werden.Was ist NVMe?

Cisco definiert NVMe als „optimierte, hochperformante, skalierbare Schnittstelle, die für die Arbeit mit der aktuellen und der nächsten Generation der NVM-Technologien entwickelt wurde. Die NVMe-Schnittstelle soll Host-Software mit nichtflūchtigem Memory over PCI Express (PCIe) verbinden.“ NVMe wurde von Grund auf neu entwickelt, um folgende Leistungen zu bieten:

• Bis zu 64.000 Queues für Kommandoübertragung und -durchführung. Jeder CPU-Kern kann sein eigenes unabhängiges I/O-Queue-Paar haben, ohne dass es zu Sperren und Zugangskonflikten kommt.
• Jede Queue ist im Vergleich zu SAS oder SATA viel tiefer (bis zu 64.000 Kommandos). Der erweiterte Parallelismus der NVMe-Schnittstelle wurde für sehr schnelle CPU- und Speichersysteme entwickelt.
• Stromlinienförmige und einfache Kommandosätze fūhren zu weniger CPU-Instruktionen für die Durchführung von I/O-Anfragen. Gleichzeitig stellen sie mehr Input/Output Instructions Per Second (IOPS) für CPU-Befehlszyklen und weniger I/O-Latenzen auf der Software-Ebene des Hosts zur Verfügung.
• Dank dieser und mehrerer anderer Verbesserungen auf der Ebene der Storage-I/O hat NVMe laut Cisco dazu beigetragen, die Performance von Flash-Speicher mehrfach zu verbessern – und zwar auf eine Weise, die mit den traditionellen Technologien vieler Betriebssysteme nicht möglich gewesen wäre.

Speicher über alle Plattformen hinweg klug auslasten

Beispiel VAST Data

Im Unterschied zu den beiden beschriebenen Lösungen legt  VAST Data den Fokus auf die Hardware. Das Start-up mit Headquarter in New York, das 2016 gegründet wurde und im Februar 2019 an die Öffentlichkeit trat, liefert Storage-Arrays für Unternehmen. Ähnlich wie seine Konkurrenten Infinidat oder StorONE geht VAST Data davon aus, dass klassische All-Flash-Arrays selbst mit schnellen NVMe-oF-Anschlüssen nur dann überleben, wenn ihre Speicher-Software komplett neu aufgesetzt wird. VAST Data zielt auf ein Gleichgewicht von Performance und Kapazität ab, was frühere Ansätze dem Start-up zufolge nicht erreicht hätten. Die ersten VAST-Arrays benutzten TLC-Flash mit 3 Bits pro Zelle und wurden dann auf dichtere und günstigere QLC-NAND-Flash-Systeme umgestellt. VAST Data propagiert ein Dreieck aus:

• All-NVMe-Performance: Schreiben mit 3D-XPoint-Tempo, Lesen mit Terabytes pro Sekunde und Millisekunden bei IOPS
• File- und Object-Storage mit Exabyte-Skalierung: Übertrifft die Kapazitätsanforderungen von Unternehmen jeder Größe
• Kosteneffizienz: Entwicklungen auf unterschiedlichen Niveaus für jeweils ausreichende Systemeffizienz.Dafür setzt VAST nach eigener Aussage Technologien ein, die vor 2018 nicht verfügbar waren: NVMe over Fabrics, nichtflüchtiges oder Storage Class Memory 3D XPoint (Intel-Optane-SSDs) und Flash zu niedrigen Preisen.

VAST Data Universal Storage basiert auf einer „Disaggregated, Shared Everything“-Architektur (DASE): Kunden können auf Basis eines Global Namespace verschiedene NVMe-Enclosures mit QLC-Flash und 3D XPoint installieren, die über eine NVMe-Fabric (handelsübliches Ethernet oder InfiniBand) mit VAST-Storage-Servern oder Containern verbunden werden. Auf Client-Seite können unter anderem NFS, RDMA, SMB, S3 oder K8s eingesetzt werden.

VAST bietet verschiedene Varianten an: Enclosure plus Server-Appliance, Enclosure plus VAST-Container oder eine Software-only-Lösung aus SSDs und Containern. Eine Hardware-Appliance ist gegenwärtig das Top-Angebot. Es besteht aus NVMe-Enclosures à 400 oder 675 Terabyte mit 4 x 100 Gigabyte NVMe-oF-Connectivity (Umfang 2U), NVMe-Fabric mit 100 Gigabyte Ethernet oder InifiniBand und vier VAST-Container-Servern in einem 2U-Chassis mit Ethernet- oder InfiniBand-Connectivity.

Als Backup-Lösungen werden im Rechenzentrum MinIO und Cloudian, in der Public Cloud AWS und Azure angeboten. Für QLC-Flash bietet VAST eine Zehnjahres-Garantie, was der doppelten Garantiezeit bei Festplatten entspricht.  VAST empfiehlt seine Architektur besonders für:

• vertikale Anwendungen wie Genomics, Finanztransaktionen, spezielle Inhalte, High Performance Computing (HPC)
• sekundären Storage wie er von Commvault, Veeam oder Rubrik angeboten wird
• Big Data und Künstliche Intelligenz etwa von Splunk, Spark oder TensorFlow
• Enterprise-Infrastructure-Angebote wie Kubernetes, Open­Shift oder VMware.

Das junge Start-up kann im Unterschied zu vielen Konkurrenten schon auf Kundenreferenzen verweisen, darunter Ginkgo Bioworks, HHS, Zebra Medical oder Squarepoint. Jeff Denworth, Co-Founder und Vice President of Products, erklärte auf einem digitalen Presse-Event im Sommer 2020 stolz: „VAST Data hat bereits im ersten Geschäftsjahr auf der Einnahmenseite andere erfolgreiche Start-ups wie DataDomain, Isilon, Pure Storage oder Nutanix deutlich überrundet.“

Sein Potenzial hat sich VAST Data von IDC bestätigen lassen. Ein Analystenpapier ist betitelt mit „IDC Technology Spotlight – Transcending the Limitations of Legacy Storage Architectures Through New Solid State Technologies“. Und darunter steht in kleiner Schrift: „Sponsored by: VAST Data“.