Dank der Integration von Dell PowerEdge Servern mit AMD EPYC Prozessoren konnte Swisscom die Zahl der virtuellen CPUs pro Server nahezu verdoppeln, den Stromverbrauch pro vCPU um 55 Prozent senken und gleichzeitig die Cloud-Flexibilität deutlich steigern. Die AMD-Lösung überzeugt dabei nicht nur durch ihre Leistungsfähigkeit und Energieeffizienz, sondern vereinfacht auch das Management komplexer Telco-Workloads. [...]
Telekommunikationsunternehmen haben sehr spezifische Computing-Anforderungen. Das bedeutet jedoch nicht, dass die Infrastruktur nicht auch für zusätzliche kommerzielle Einsatzzwecke genutzt werden kann. Beispielsweise nutzt das führende ICT-Unternehmen der Schweiz, Swisscom, Ericssons gesamtes Infrastruktur-Angebot (Ericsson Application and Cloud Infrastructure). Dabei war die Leistung der Dell-PowerEdge-Servern mit AMD-EPYC-Prozessoren in Kombination mit den Fähigkeiten des Ericsson-Full-Stacks war eine wichtige Innovation, die es Swisscom ermöglichte, ihren Kunden eine größere Zahl unterschiedlichster und nicht unbedingt spezifisch definierter Workloads anzubieten.
„Wir stellen verschiedene Services für B2C und B2B bereit”, sagt Peter Messer, Head of Telco Cloud Infrastructure bei Swisscom. „Und sind nicht nur in der Telekommunikation tätig, sondern auch die Nummer eins im IT-Outsourcing. So bietet beispielsweise die Telco Cloud Infrastructure (TCI) von Swisscom innovative Cloud-Plattformen für die Konnektivität im Bereich Telekomunikation. Auf der TCI-Plattform betreiben wir Mobile Voice und Mobile Packet Core, hauptsächlich mit Ericsson-Anwendungen. Wir haben 4.500 Server, auf denen die Gateway-Systeme mit verschiedenen OpenStack- und Kubernetes-Varianten laufen.“
„Bei TCI ist die Aufrechterhaltung einer hochstabilen Umgebung von entscheidender Bedeutung“, sagt Rainer Meier, System Architect Telco Cloud Infrastructure bei der Swisscom. „In der Schweiz haben wir eine sehr hohe Nachfrage nach zuverlässigen Diensten. Wir setzen den gesamten, validierten Stack von Ericsson ein, der hauptsächlich aus der Network Functions Virtualization Infrastructure (NFVI) und den Cloud Native Infrastructure Solutions (CNIS) von Ericsson besteht. Das bedeutet, dass er von Ericsson umfassend getestet und freigegeben wurde. Unser Ziel ist es, den Empfehlungen von Ericsson so nahe wie möglich zu kommen, um die Stabilität von Hardware und Software im Hinblick auf Ausfälle und Defekte zu optimieren.“
Ausführung von Drittanbieter-Workloads auf dem Stack von Ericsson
„Wir wurden auf die AMD EPYC CPUs aufmerksam, da wir den kompletten Stack von Ericsson einsetzen“, erklärt Meier. „Ericsson informierte uns zudem darüber, dass sie Dell-Server der 16. Generation mit AMD-EPYC-CPUs erfolgreich getestet hatten, was diese zu einer vielversprechenden Option für unsere Anforderungen machte.“ Andernfalls wäre es schwierig gewesen, sich für eine Plattform zu entscheiden, die nicht mit dem Ericsson-Stack validiert wurde. „Ericsson führt die Hardware-Prüfungen in seinen Labors durch und stellt dann eine Reihe geprüfter Standardkonfigurationen zur Verfügung. Wir verglichen den Energieverbrauch und die Leistung mit dem Preis, benötigten aber um einige Änderungen. Wir haben uns schließlich für eine Hardware entschieden, die zwar nicht genau dem entspricht, was Ericsson geprüft hat. Doch hat uns das Unternehmen bestätigt, dass wir diese in unserer Umgebung verwenden können.“
Die Entscheidung für AMD-Prozessoren mit einer anderen Spezifikation unterstützte die umfassenderen Geschäftsziele von Swisscom. „Wir lassen nicht nur Ericsson-Workloads auf unseren Plattformen laufen”, sagt Messer. „Wir bauen eine neue, auf AMD basierende Plattform für unsere softwarebasierte WAN-Lösung (SD-WAN).“ Einzigartig ist, dass Swisscom Ericsson CNIS und Dell PowerEdge-Server mit AMD EPYC-CPUs als Cloud für die Ausführung von Nutzlasten abseits von Ericsson-Workloads einsetzt.
„Wir sind einer der Ericsson-Kunden weltweit, die die Ericsson-Infrastruktur auch für Workloads von Drittanbietern verwenden”, sagt Meier. „Wir nutzen sie als allgemeine Virtualisierungs- und Containerisierungsplattform.“ Damit folgt die Swisscom dem zunehmend verbreiteten Trends zur Disaggregation des Telco-Stacks. „Aus diesem Grund war es wichtig, dass die neue Plattform nicht nur für die Ericsson-Workloads geeignet ist, sondern auch in der Lage ist, Software von Drittanbietern effizient auszuführen. Daher passen wir passen das Hardware-Verhältnis zwischen CPU-Kernen und Speicher nicht nur für die Ericsson-Workload an, sondern brauchen ein Verhältnis, das auch den Anforderungen der Software von Drittanbietern gerecht wird.“
Mehr vCPUs pro Server mit AMD EPYC-Prozessoren
„Wir stellen dabei unterschiedliche Konfigurationen, ein sogenannter Flavor Catalog, auf OpenStack zur Verfügung“, sagt Meier. „Dieser definiert die Größenauswahl der VMs, was sowohl für Ericsson als auch für Dritte gilt. Typischerweise haben wir Flavors mit 8 GB Speicher für eine Dual-Core-VM und vergrößern dann die Instanzen entsprechend. Für die SD-WAN-Lösung nutzen wir jedoch eine spezielle Konfiguration, die nicht dem Standard von Ericsson entspricht. Da diese auf sehr kleinen VMs basiert, war der Plan, so viel Overcommit wie möglich zu verwenden.“ Dies wurde durch die Kerndichte, die Speicherkapazität, den Durchsatz und die Leistung der AMD-EPYC-CPUs unterstützt.
„Wir haben uns für 64-Core-AMD-EPYC-CPUs mit 128 Threads entschieden, um mehr als 200 virtuelle CPUs pro Server bereitzustellen,“ sagt Meier. „Das bedeutet ein Overcommit-Verhältnis von etwa zwei. Normalerweise haben wir bei TCI ein Eins-zu-Eins-Verhältnis, bei dem eine virtuelle CPU (vCPU) einem physischen Kern zugeordnet ist. Für SD-WAN wollten wir jedoch ein maximales Overcommit, um die Ressourcen so effizient wie möglich zu nutzen. Je mehr vCPUs pro Recheneinheit vorhanden sind, desto mehr Speicher wird benötigt. Während die Standardkonfigurationen von AMD acht Speichermodule verwenden, bestückt Swisscom alle zwölf Kanäle. Derzeit haben unsere Systeme 768 GB statt 512 GB Speicher.“
Die SD-WAN-Workloads könnten VMs mit einer einzigen vCPU und 4 GB Arbeitsspeicher erfordern. Ohne den zusätzlichen Arbeitsspeicher wäre dies bei einem Overcommit-Ansatz ein Problem. Die neue Hardware-Plattform von Swisscom verwendet Dell-PowerEdge-R7615-Server mit einem einzelnen 64-Core-AMD-EPYC-9554P-Prozessor der 4. Generation.
„Im Vergleich zur vorherigen Plattform des Unternehmens liefern die AMD-EPYC-CPUs eine 24-prozentige Reduzierung des Stromverbrauchs für 3.000 Rechenknoten und 116 vCPUs pro Server gegenüber 68, was 55 Prozent weniger Watt pro vCPU verbraucht“, sagt Meier.
„116 nutzbare vCPUs zu haben, bedeutet, dass wir die Anzahl der nutzbaren vCPUs fast verdoppeln und den Stromverbrauch auf 230 W pro Server senken konnten. Dabei ist noch nicht einmal berücksichtigt, dass die Anweisungen pro Takt (IPC) bei dieser Generation höher sind.“ Dies wird der Swisscom dabei helfen, ihre Infrastruktur zu stärken und gleichzeitig umfassendere ESG-Ziele zu fördern.
Stromsparend und einfacheres NUMA-Management
„Die AMD-Lösung war die Einzige, die eine hohe Kerndichte mit einem einzigen NUMA-Knoten bot. Dadurch wurde die Implementierung erheblich vereinfacht“, sagt Meier. Ein NUMA-Knoten (Non-Uniform Memory Access) ermöglicht zudem schnellen Zugriff auf den gesamten lokalen Speicher des Prozessors. „Für Telco-Workloads sind Multi-NUMA-Systeme eine Herausforderung, da sichergestellt werden muss, dass die Workloads an einem einzigen NUMA-Knoten hängen, der über PCI Express mit der Netzwerkschnittstelle verbunden ist.“ Die bisherige Lösung von Swisscom war ein Dual-Socket-System mit einer Multi-NUMA-Knoten-Konfiguration.
„Bisher haben wir unseren gesamten Mobile Core an virtuellen Netzwerkfunktionen (VNF) und sogar einige physische Netzwerkfunktionen durch unsere neue Plattform mit Bare Metal Kubernetes, das von AMD-EPYC-CPUs angetrieben wird, ersetzt“, sagt Josua Hiller, Produktmanager für mobile Datendienste bei der Swisscom. „Wir sind jetzt dabei, alle Produktionsstandorte aufzubauen. Wir haben bereits zwei. Ende dieses Jahres werden wir mit der Migration aller unserer Kunden auf diese neue Plattform beginnen.“
„Es ist erstaunlich, wie viel Strom sich sparen lässt und wie einfach sich einzelne NUMA-Knoten mit AMD-EPYC-Prozessoren verwalten lassen“, sagt Meier. „Die IPC ist höher, sodass wir mehr Overcommit nutzen können. Darüber hinaus haben wir mehr Speicher pro Kern zur Verfügung.“ Hiller fasst zusammen: „Die AMD-Hardware hat jetzt viel mehr Leistung, sodass wir viel mehr Workloads in einem Rechenknoten unterbringen können.“ Da sich die Telekommunikationsbranche in Richtung Stack-Disaggregation bewegt, hat AMD zusammen mit Ericsson die Swisscom dabei unterstützt, eine führende Rolle in Sachen Cloud-Flexibilität und -Innovation einzunehmen.
Be the first to comment