Schneller und zuverlässiger Storage für das CERN

Bereits im Jahr 2013 beteiligte sich das CERN an der Erprobung der ersten Prototypen von Heliumlaufwerken, wobei die Erwartungen hinsichtlich Stromverbrauch und Speicherdichte übertroffen wurden. In den letzten zwei Jahrzehnten hat Western Digital das CERN mit mehreren Petabyte an sehr leistungsfähigen und zuverlässigen Laufwerken zur Datenspeicherung beliefert. [...]

Das CERN (die Europäische Organisation für Kernforschung) ist eine zwischenstaatliche Organisation, die von 23 Mitgliedstaaten unterhalten wird und ihren Hauptsitz in Genf hat, mit Einrichtungen auf beiden Seiten der französisch-schweizerischen Grenze. Die Aufgabe und Zweck des CERN ist die internationale Zusammenarbeit auf dem Gebiet der Hochenergie-Teilchenphysik. 

Das IT-Rechenzentrum des CERN betreibt getrennte Rechen- und Speicherpools mit etwa 11.000 Servern und 470.000 Rechenkernen, die mit etwa 350.000 Terabyte Rohplattenspeicher auf mehr als 100.000 Festplattenlaufwerken und etwa 400.000 Terabyte genutzter bandgestützter Speicherkapazität verbunden sind. 

Um die HDD-Speicherdichte pro Rack weiter zu erhöhen und das Kosten/TB-Verhältnis sowie die Infrastrukturkosten zu optimieren, setzt das CERN ab 2021 die Ultrastar Data102 von Western Digital ein, die 102 Laufwerke aufnehmen kann und über 2 PB Speicherplatz in einem 4U-Format bietet.

Die Ausgangslage

Das Flaggschiff des CERN ist der Large Hadron Collider (LHC), der sich 100 m unter der Erde in einem Tunnel mit einem Umfang von 27 km befindet. Er beschleunigt Protonenstrahlen und lässt, aber auch schwerere Ionen bis hin zu Blei kollidieren. Alle, was bei diesen Kollisionen passiert wird aufgezeichnet. Dabei ergibt sich eine Datenmenge, die etwa 1 Petabyte beträgt. Extrem schnelle Computerfarmen, die direkt mit dem LHC verbunden sind, erfassen und filtern diese Daten, um sie über mehrere Ethernet-Verbindungen an das IT-Datenzentrum des CERN zu senden, wo sie gespeichert und verarbeitet werden. 

Mit einer Zunahme der Kollisionsdaten um zwei Größenordnungen im Vergleich zum vorherigen Durchlauf, erforderte Durchlauf 3 noch schnellere und größere Speicherlösungen. Um die vom Collider kommenden Daten zu speichern, benötigte das CERN Speichersysteme mit hoher Kapazität, die in der Lage sind, Daten mit einer Rate von 12,5 GB/s in jeder Richtung zu lesen und zu schreiben. 

Theoretisch ist das Ziel von 12,5 GB/s bei Nearline-Laufwerken mit einem Datendurchsatz von 265 MB/s mit 48 Laufwerken erreichbar. 

Wenn jedoch viele Laufwerke in sehr dichten Speichergehäusen zusammengefasst sind, können die Temperatur und die von den Laufwerken selbst erzeugten Vibrationen die Gesamtleistung erheblich verringern.

Die Lösung: Ultrastar Data60 Speicherplattform 

Um diesen Anforderungen gerecht zu werden, testete CERN IT ausgiebig die Data60 JBODs von Western Digital. Jedes JBOD ist mit 60x14TB Ultrastar SAS HDDs ausgestattet und über 4x12Gbit/s SAS-Links mit einem Front-End-Server verbunden. Das Hauptunterscheidungsmerkmal des Data60 JBOD besteht darin, dass jedes Laufwerk dank der ArticFlow- und der patentierten IsoVibe-Technologie mit maximaler Leistung betrieben werden kann. Diese lösen die doppelte Herausforderung von Vibrationen und effektiver Kühlung, die bei dichten Speichergehäusen auftreten und die Leistung und Zuverlässigkeit beeinträchtigen können. 

Was das Wärmemanagement betrifft, so kann die Zuverlässigkeit eines Laufwerks mit steigender Temperatur abnehmen und die Leistung wird zum Schutz gedrosselt. Die ArcticFlow Thermal Zone Cooling Technology führt kühle Luft in die Mitte des Gehäuses ein, so dass die Laufwerke bei niedrigeren und konstanteren Temperaturen als bei herkömmlichen Systemen arbeiten. Dies führt zu niedrigeren Lüftergeschwindigkeiten, weniger Vibrationen, geringerem Stromverbrauch, leiserem Betrieb und letztlich höherer Zuverlässigkeit. 

Benachbarte Laufwerke, die in einem dichten Array betrieben werden, können Vibrationen in den benachbarten Laufwerken verursachen, was zu Leistungseinbußen führt. Die präzisen Einschnitte der IsoVibe-Vibration-Isolation-Technology im Baseboard bieten eine Aufhängung für die Laufwerke im Gehäuse und isolieren sie von den übertragenen Vibrationen. Das Ergebnis ist eine gleichbleibende Leistung, auch wenn alle Laufwerke stark beansprucht werden. 

Die Data60 von Western Digital in Verbindung mit dem Linux-Kernel Device Mapper Multipathing hat dem CERN geholfen, den gewünschten Durchsatz von 12,5 GB/s zu erreichen und im Jahr 2020 einen Teil der LHC-Speichereinrichtung erfolgreich mit der Data60 von Western Digital aufzurüsten.