Neue Version von Red Hat Enterprise Linux AI führt nächste GenAI-Generation ein

Red Hat Enterprise Linux AI 1.3 enthält Granite 3.0 8b, vereinfacht die Vorbereitung von KI-Trainingsdaten und erweitert die Unterstützung für die neueste Generation beschleunigter Computing-Hardware. [...]

Red Hat gibt die Veröffentlichung der neuen Version von Red Hat Enterprise Linux AI (RHEL AI) bekannt. Die Foundation-Model-Plattform unterstützt das nahtlose Entwickeln, Testen und Ausführen von GenAI-Modellen für Anwendungen im Enterprise-Bereich. RHEL AI 1.3 umfasst die neuesten Erweiterungen der LLM-Familie Granite (Large Language Model) und integriert Open-Source-Tools zur Datenaufbereitung. Gleichzeitig bleibt die Flexibilität für hybride Cloud-Bereitstellungen erhalten, einschließlich einer optimierten Unterstützung für beschleunigte Computing-Architekturen.

Laut einer Studie des Marktforschungsunternehmens IDC planen 61 Prozent der Befragten den Einsatz von Open-Source-Foundation-Modellen für GenAI-Anwendungsfälle, während mehr als 56 Prozent der eingesetzten Foundation-Modelle bereits Open Source sind. Red Hat sieht in diesem Trend eine Bestätigung seiner Vision, wie Unternehmen zukünftig GenAI-Lösungen einsetzen werden:

• Kleinere Modelle mit Open-Source-Lizenz, die überall in der Hybrid Cloud zum Einsatz kommen.
• Funktionen für das Fine-Tuning, die Unternehmen in die Lage versetzen, LLMs einfacher an private Daten und spezifische Anwendungsfälle anzupassen.
• Optimierte und effizientere KI-Modelle, die auf der Inferenzleistungsexpertise basieren.
• Die Unterstützung durch ein starkes Partner- und Open-Source-Ökosystem für eine breitere Auswahl an Kunden.

RHEL AI ist ein zentraler Baustein der KI-Strategie von Red Hat. Die Plattform kombiniert die Open-Source-basierte Granite-Modellfamilie mit den InstructLab-Tools, die auf der LAB-Methodik (Large-Scale Alignment for chatBots) beruhen. Diese Komponenten werden in einem optimierten, bootfähigem Image von Red Hat Enterprise Linux bereitgestellt, das flexibel auf individuellen Servern in jeder Hybrid-Cloud-Umgebung einsetzbar ist.

Support für Granite 3.0 LLMs

RHEL AI 1.3 stärkt Red Hats Unterstützung von Granite-LLMs durch die Integration von Granite 3.0 8b, das speziell für englischsprachige Anwendungsfälle konzipiert ist. Granite 3.0 8b ist ein vielseitiges Modell, das neben Englisch auch ein Dutzend weiterer Sprachen, Codegenerierung und Funktionsaufrufe unterstützt. Nicht-englischsprachige Anwendungen, Code und Funktionen stehen in RHEL AI 1.3 als Developer Preview zur Verfügung und sollen in zukünftigen Versionen vollständig unterstützt werden.

Vereinfachte Datenaufbereitung mit Docling

Docling ist ein kürzlich von IBM Research veröffentlichtes Community-Projekt, das dabei hilft, gängige Dokumentenformate zu analysieren und in Formate wie Markdown oder JSON zu konvertieren, um sie für KI-Anwendungen und das Training vorzubereiten. In RHEL AI 1.3 hilft diese ab sofort unterstützte Funktion Nutzern dabei, PDFs in Markdown zu konvertieren und damit die Datenaufbereitung für das Modell-Tuning mit InstructLab zu vereinfachen. Mit Docling umfasst RHEL AI 1.3 jetzt auch kontextbezogenes Chunking, das die Struktur und semantischen Elemente der für das GenAI-Training verwendeten Dokumente berücksichtigt. Dadurch erhalten GenAI-Anwendungen ein höheres Maß an Kohärenz und liefern kontextgerechte Antworten auf Fragen und Aufgaben, die andernfalls weiteres Tuning und Anpassen erfordert hätten.

In zukünftigen Versionen von RHEL AI wird die Unterstützung für Docling weiter ausgebaut und verfeinert, einschließlich zusätzlicher Dokumentenformate sowie der Integration von RAG-Pipelines (Retrieval-Augmented Generation) neben dem InstructLab-Knowledge-Tuning.

Erweiterung des GenAI-Ökosystems

Wahlmöglichkeiten sind ein wesentlicher Bestandteil der hybriden Cloud. Mit GenAI als zunehmend zentraler Workload für hybride Umgebungen muss diese Flexibilität auch bei den zugrunde liegenden Chip-Architekturen gewährleistet sein. RHEL AI unterstützt bereits führende Technologien von NVIDIA und AMD, mit der Version 1.3 kommt nun Intel Gaudi 3 als Technology Preview hinzu.

Über die Chip-Architektur hinaus unterstützen auch große Cloud-Anbieter RHEL AI, darunter AWS, Google Cloud und Microsoft Azure, als BYOS-Angebot (Bring Your Own Subscription). In Kürze wird die Plattform auch als optimierte und validierte Lösung auf dem Azure Marketplace und dem AWS Marketplace verfügbar sein. RHEL AI ist die bevorzugte Foundation-Model-Plattform auf beschleunigten Hardware-Angeboten von Red-Hat-Partnern, darunter Dell PowerEdge R760xa-Server und Lenovo ThinkSystem SR675 V3-Server.

Verbesserungen beim Model Serving mit Red Hat OpenShift AI

Red Hat OpenShift AI ermöglicht jetzt die Parallelisierung des Model Servings über mehrere Nodes mit vLLM-Laufzeiten, wodurch mehrere Anfragen in Echtzeit bearbeitet werden können. Zusätzlich können Anwender die Parameter eines LLM dynamisch anpassen, um etwa das Modell auf mehrere GPUs aufzuteilen oder es für einen kleineren Footprint zu quantisieren. Diese Verbesserungen sollen die Reaktionszeiten verkürzen, die Kundenzufriedenheit steigern und die Abwanderung verringern.

RHEL AI bildet zusammen mit Red Hat OpenShift AI die Grundlage für Red Hat AI, dem Lösungsportfolio von Red Hat. RHEL AI unterstützt einzelne Linux-Serverumgebungen, während Red Hat OpenShift AI verteilte Kubernetes-Plattformumgebungen betreibt und integrierte MLOps-Funktionen bietet. Beide Lösungen sind miteinander kompatibel, wobei Red Hat OpenShift AI alle Funktionen von RHEL AI beinhaltet, um in großem Umfang bereitgestellt werden zu können. RHEL AI 1.3 ist ab sofort allgemein verfügbar. Weitere Informationen über zusätzliche Funktionen, Verbesserungen, Fehlerkorrekturen und zur Aktualisierung auf die neueste Version, finden sich hier.

„Wir sind davon überzeugt, dass kleinere, optimierte Modelle notwendig sind, um die transformative Kraft der künstlichen Intelligenz zu nutzen – und dass diese Modelle überall in der Hybrid Cloud bereitgestellt werden müssen“, sagt Joe Fernandes, Vice President und General Manager Artificial Intelligence Business Unit bei Red Hat. „Unsere Erweiterungen für RHEL AI bauen auf dieser Überzeugung auf, indem sie die Vorbereitung von Unternehmensdaten für privates Modelltraining mit Docling erleichtern und die neuesten Fortschritte in der Granite-Familie von Open-Source-lizenzierten LLMs integrieren.“