Die Einführung von KI muss nicht bedeuten, dass Ihre Stromrechnung in die Höhe schießt. Hier erfahren Sie, wie Sie den Aufwand minimieren können. [...]
Künstliche Intelligenz (KI) und maschinelles Lernen (ML) können unschätzbare Werkzeuge sein, um Innovationen voranzutreiben, aber sie haben andere Anforderungen an das Management als typische Unternehmens-IT-Anwendungen, die mit moderaten CPU- und Speicherauslastungsraten laufen. Da KI und ML dazu neigen, intensive Berechnungen mit sehr hohen Auslastungsraten durchzuführen, können die Kosten für Strom und Kühlung einen höheren Anteil des Budgets verschlingen, als eine IT-Abteilung vielleicht erwartet.
Das ist kein neues Problem, aber die Auswirkungen werden immer größer.
Als sich CPU-lastige Anwendungen wie Data Warehousing und Business Intelligence durchsetzten, war sich die IT-Abteilung oft nicht bewusst, welche Stromrechnung sie damit verursachte – zumal die Rechnung normalerweise an die Betriebsabteilung und nicht an die IT-Abteilung geht.
„Die Leiter der Data-Science-Teams haben oft einen Freibrief, einfach alles und jederzeit zu verarbeiten“, sagt Mark Swartz, CEO und Gründer des KI-Entwicklers Neural. „Die Tage dieser luxuriösen Ansätze zur Lösung von hohen Rechenanforderungen werden in den nächsten fünf Jahren tendenziell abnehmen.“
Ein Grund für die genauere Betrachtung der Strom- und Kühlungskosten ist, dass KI oft auf High-Performance-Computing (HPC) angewiesen ist, während Data-Warehousing- und Business-Intelligence-Anwendungen auf Standardsystemen ausgeführt werden können. HPC und KI laufen viel heißer, und niemand sollte von den erhöhten Rechnungen überrumpelt werden, sagt Addison Snell, CEO von Intersect360, einem auf HPC-Themen spezialisierten Forschungsunternehmen.
„Mit jeder Art von IT-Aufwand, der heiß laufen kann, sind Kosten verbunden. Wenn Sie nicht auf KI vorbereitet sind, könnten Sie von den Kosten für Strom und Kühlung überrascht sein, wenn Sie dachten, es wäre dasselbe wie bei [normalen] Unternehmens-IT-Servern“, sagt Snell.
Was kann man also tun, um einen Kostenschock zu vermeiden? Hier sind sechs Schritte, die Sie unternehmen können.
1) Suchen Sie nach günstigeren Stromversorgungsoptionen
Wenn Sie die Möglichkeit haben, Ihr Rechenzentrum außerhalb des Firmensitzes zu platzieren, suchen Sie nach guten Quellen für erneuerbare Energie, angefangen bei Wasserkraft. Wasserkraft ist eine der günstigsten Quellen für elektrische Energie. „Es gibt einen Grund, warum Microsoft und Google ihre Rechenzentren in der Nähe großer Wasserquellen haben“, sagt Steve Conway, Senior Advisor für HPC-Marktdynamik bei Hyperion Research.
Auch Windkraft ist günstiger als fossile Brennstoffe, weshalb viele Rechenzentren im Mittleren Westen angesiedelt sind. Und Strom ist in ländlichen Gebieten billiger als in Großstädten. Die meisten Rechenzentren befinden sich aus Gründen der Notwendigkeit in Großstädten – Nord-Virginia ist aufgrund seiner Nähe zur US-Bundesregierung der größte Markt für Rechenzentren – aber es ist nicht ungewöhnlich, Rechenzentren in den Bundesstaaten Iowa (Microsoft, Google, Facebook), Oklahoma (Google) und New Mexico (Facebook) zu platzieren.
Versuchen Sie außerdem, rechenintensive Anwendungen nachts laufen zu lassen, wenn die Strompreise in den Nebenzeiten tendenziell sinken, sagt Conway.
2) Nutzen Sie KI zur Optimierung des Stromverbrauchs
Es mag kontraintuitiv erscheinen, aber eine der besten Möglichkeiten, die Computer Ihres Rechenzentrums zu verwalten, ist KI selbst. Sie kann den Stromverbrauch und die Kühlung optimieren, die Verteilung der Arbeitslast verbessern und eine vorausschauende Wartung durchführen, um vor drohenden Hardwareausfällen zu warnen. Dies ist eine andere Art von KI, eine der Überwachung und nicht des maschinellen Lernens, und sie ist für das System nicht so anstrengend. Die Server könnten auch Sensoren verwenden, um auf Spitzen bei Netzteilen und CPUs zu achten und Kunden zu informieren, wenn die Systeme über der Norm laufen, sagt Swartz.
„Allein durch den richtigen Einsatz von KI kann sie helfen, Energie zu sparen. Es gibt viele, viele Anwendungen da draußen, die effizienter laufen können, wenn die Leute anfangen, KI einzusetzen“, sagt Jo De Boeck, CSO bei imec, einer Forschungs- und Entwicklungseinrichtung, die sich auf digitale Technologien konzentriert.
3) Verwenden Sie Chips mit geringerem Stromverbrauch, wo immer Sie können
Maschinelles Lernen ist ein zweistufiger Prozess: Training und Inferenz. Der Trainingsteil beinhaltet das Trainieren des Systems, um etwas zu erkennen, wie z. B. Bilder oder Nutzungsmuster. Das ist der rechenintensivste Teil. Die Inferenz ist eine einfache Ja/Nein-Frage: Stimmt dies mit dem Modell überein? Um eine Übereinstimmung zu finden, wird deutlich weniger Rechenleistung benötigt als um das System zu trainieren, eine Übereinstimmung zu erkennen.
Ein Grafikprozessor ist die beste Option für das Training, aber ein Grafikprozessor verbraucht bis zu 300 Watt Strom. Man kann einen Grafikprozessor für die Inferenz verwenden, aber warum sollte man das tun, wenn ein viel stromsparenderes Bauteil den Zweck erfüllt? Intel hatte einen speziellen Inferenz-Chip, den Nervana, den es inzwischen zugunsten des Habana-Chips eingestellt hat. Nervana verbrauchte in frühen Tests zwischen 10 und 50 Watt Leistung, um Inferenzen durchzuführen.
Die Lösung besteht darin, mehr anwendungsspezifische Hardware zu entwickeln, sagt De Boeck. „Anstatt also nur CPUs oder GPUs zu verwenden, die immer noch universell einsetzbar sind, wird die Hardware immer mehr spezialisiert. Spezielle Bausteine für Funktionseinheiten werden der Hardware hinzugefügt, damit die Machine-Learning-Algorithmen effizienter lernen können.“
4) Reduzieren Sie die Trainingszeit
Eine weitere Möglichkeit, die stromfressenden Effekte des Trainings zu umgehen, besteht darin, weniger zu trainieren. Wenn Sie Erfahrung mit dem Training haben, überprüfen Sie Ihre Trainingsalgorithmen und sehen Sie, was Sie einsparen können, ohne an Genauigkeit zu verlieren.
„Inferencing nach dem Stand der Technik erfordert viel Training, um einfache Aufgaben zu erledigen. Es wird daran gearbeitet, die Inferenztechnik zu verbessern, so dass, je intelligenter die Maschine wird, desto weniger Training für die Ausführung benötigt wird. Mehr Intelligenz bei der Inferenzierung bedeutet weniger Training“, sagt Conway.
Das Training wird normalerweise mit einfacher (32-Bit) oder doppelter Genauigkeit (64-Bit) durchgeführt. Je höher die Genauigkeit, desto langsamer die Verarbeitung, aber der Stromverbrauch bleibt unverändert. Was viele KI-Entwickler, einschließlich Nvidia und Google, schon seit einiger Zeit sagen, ist, dass man eine solche Präzision in den meisten Fällen nicht braucht, außer vielleicht bei der Bild- und Videoverarbeitung, wo es auf eine feine grafische Genauigkeit ankommt.
„Es gibt immer noch eine Menge Arbeit, um zu versuchen, zum Beispiel die Anzahl der benötigten Operationen zu reduzieren, um zu versuchen, diese Netzwerke so kompakt wie möglich zu machen, oder um spezifische Eigenschaften der Algorithmen auszunutzen. Unternehmen versuchen, die spezifischen Eigenschaften von neuronalen Netzen auszunutzen, indem sie die Anzahl der Parameter reduzieren oder herausfinden, dass viele der Parameter eigentlich Null sind und die Berechnung dann nicht ausgeführt wird. Das ist ein Prozess, der Pruning genannt wird“, sagt De Boeck.
Berechnungen mit reduzierter Genauigkeit haben in den letzten Jahren langsam an Interesse gewonnen. Das bfloat16-Format ist ein 16-Bit-Gleitkommaformat, das von der IEEE entwickelt wurde und in Intels KI-Prozessor, Xeon-Prozessoren und FPGAs sowie in Googles TPUs und TensorFlow-Framework verwendet wird. Und es ist populär geworden, weil es in den meisten Fällen genau genug ist.
5) Optimieren Sie immer Ihr Training
Außerdem ist es wichtig, das Inferenztraining regelmäßig zu wiederholen, um die Algorithmen zu verbessern und zu optimieren, sagt De Boeck. „In der Theorie kann man das Training nur wenige Male durchführen, aber man kann nicht sagen: ‚Ich denke, es ist dauerhaft fertig'“, sagt er. „Diese Unternehmen versuchen ständig, die Leistung dieser KI-Algorithmen zu verbessern, also trainieren sie sie auch kontinuierlich oder trainieren sie neu.“
Swartz zufolge haben seine ML/AI-Teams einen Prozess, bei dem sich alle auf Schwellenwerte in Trainingssets und die „Backzeit“ für die Erstellung neuer Modelle einigen. Durch das Hinzufügen neuer Trainingsinformationen wird weniger Zeit für das Neutrainieren der Modelle benötigt.
„Alle Modelle müssen Transfer-Lernen beinhalten, was eine Form des Auffindens des Deltas zwischen zwei Modellen ist und nur die ’neuen‘ Daten in den nächsten zu verarbeitenden Trainingssatz einfügt. Dies wurde von unseren Teams jahrelang manuell durchgeführt, während wir jetzt Algorithmen haben, die dies selbst lokalisieren können“, sagt Swartz.
6) Blick in die Cloud
Alle großen Cloud-Anbieter haben ein KI-Angebot, wobei Google mit seinem KI-Prozessor TensorFlow ganz vorne dabei ist. Das kann sich als wirtschaftlicher erweisen, sagt Snell, vor allem, wenn man bei Null anfangen muss. „Die Leute schauen oft auf die Cloud, um On-Prem-Kosten auszugleichen. Ob das rentabel ist, hängt von der Auslastung und dem Anbieter ab. Irgendwo wird Strom verbraucht. Sie zahlen die Stromrechnung eines Cloud-Anbieters als Teil der Kosten. Das ist nicht automatisch billiger. Und man sollte vielleicht auslagern, wenn es einem an Fähigkeiten mangelt, wie z. B. Data Science“, sagt er.
*Andy Patrizio ist ein freiberuflicher Journalist in Südkalifornien, der seit 20 Jahren über die Computerindustrie berichtet und jeden x86-PC gebaut hat, den er je besessen hat, Laptops nicht eingeschlossen.
Be the first to comment