Generative KI, oder auf Neudeutsch GenAI, ist – unter den richtigen Voraussetzungen – auch für kleine und mittelständische Unternehmen von Vorteil. Anders als große Konzerne benötigen sie aufgrund ihrer eingeschränkten Ressourcen allerdings einen guten Plan. Ein exklusiver Beitrag von Franz Kögl, Vorstand bei IntraFind. [...]
Steigende Betriebskosten, immer weniger Fachkräfte: Der Mittelstand hat es nicht leicht. Generative KI kann allerdings zum echten Gamechanger für KMUs werden. So hat die Zukunftstechnologie das Potenzial, die Produktivität des Personals anzukurbeln und ihnen redundante sowie wenig wertschöpfende Aufgaben abzunehmen. Das Resultat ist mehr Zeit der Mitarbeitenden für kreativere oder innovative Aufgaben, deren Resultate sich auch auf die Wettbewerbsfähigkeit auswirken. Wer neu im Unternehmen ist, profitiert ebenfalls, da GenAI Wissenssilos abbaut und schnellen Zugriff auf das in den Geschäftsdaten und Dokumenten versteckte „Expert Knowledge“ bietet.
Einer steigenden Beliebtheit erfreuen sich Tools wie ChatGPT, doch das Ende der Fahnenstange, was den Nutzen generativer KI angeht, ist damit noch lange nicht erreicht: So gibt es zum Beispiel weit vielschichtigere Use Cases wie etwa das Zusammenfassen von Informationen aus unterschiedlichen internen Dokumentensammlungen oder der Einsatz von GenAI als Helfer im First-Level-Kundensupport. Dazu benötigen die Unternehmen allerdings ihre eigene Datenbasis. Den herkömmlichen KI-Tools „von der Stange“ beziehungsweise den Large Language Models (LLMs), auf denen sie basieren, stehen nur öffentlich zugängliche Daten und Informationen zur Verfügung. Das entsprechende Training ist – mit Halluzinationsschwächen – sehr gut geeignet, um allgemeine Fragen zu beantworten. Sobald es um unternehmensspezifisches Wissen geht, leidet die Qualität der Ergebnisse deutlich.
Sichere Datenintegration leicht gemacht
Für einen zielgerichteten Einsatz generativer KI müssen Unternehmen also Sprachmodelle mit ihren eigenen Geschäftsdaten verknüpfen und trainieren. Ohne diese Symbiose bietet GenAI nur einen geringen Mehrwert und wirklich spannende Use Cases bleiben unerreichbar. Doch selbst wenn sie die Large-Language-Modelle mit unternehmensspezifischen Daten trainieren, bleibt das Risiko von Halluzinationen. Auch Aufwand und Kosten sind in diesem Fall deutlich höher, zudem ist eine regelmäßige Aktualisierung der Modelle via Re-Training nötig, sonst geben sie veraltete Informationen aus. Den meisten KMU fehlen dafür jedoch die Ressourcen, außerdem sind viele Unternehmensdaten höchst sensibel. Da sie deswegen mit sehr strengen Lese- und Zugriffsrechten versehen sind, kann sich das Training von LLMs als schwierig herausstellen.
Doch auch dafür gibt es mittlerweile Lösungen. Eine vielversprechende Methode ist Retrieval Augmented Generation (RAG), bei der aktuelle GenAI-Sprachmodelle mit einer Enterprise-Search-Lösung verknüpft werden. Die generative KI beantwortet dann die Prompts nicht nur mit bereits verfügbaren und verinnerlichten Trainingsdaten. Die Antworten basieren auch auf spezifischen Informationen, die ihr die Unternehmenssuche durch Verwendung von Retrieval-Technologien bereitstellt. Dadurch finden Halluzinationen einerseits kaum statt, andererseits kann die Enterprise-Search-Lösung Zugriffsrechte bereits zum Zeitpunkt der Anfrage automatisch prüfen. Auf diese Weise verhindert die Kombination aus GenAI-Tool und Enterprise Search, dass Mitarbeitende oder Kunden Informationen erhalten, für die sie keine Zugangsberechtigung haben. In Zeiten, da Datenschutz oft da aufhört, wo KI beginnt, ein echtes Plus.
Die richtigen Modelle für das Unternehmen
Die Auswahl des richtigen KI-Sprachmodells ist – neben der Frage der Datenintegration und Datenpflege – ein zentrales Thema im GenAI-Kontext. Die Wahl des LLM zieht nämlich einige Konsequenzen nach sich, etwa im Hinblick auf die Kosten und die Leistung der auf ihnen basierenden Anwendungen. Neben proprietären und bekannten Modellen wie GPT von Open AI gibt es Open-Source-Varianten, die eine sehr gute Alternative darstellen. Sprachmodelle unterscheiden sich auch hinsichtlich Modellgröße und Kontextgröße – sie bestimmt, wieviel Text ein Modell auf einmal sichten kann. Die Wahl des Modells hängt also vom Anwendungsfall ab.
Der Datenschutz ist ein weiterer Aspekt, der beachtet werden will.
Um geistiges Eigentum oder persönliche Informationen nach DSGVO zu verarbeiten, kann es aus Compliance-Gründen nötig sein, entsprechende GenAI-Anwendungen nicht in der Cloud, sondern in der eigenen IT-Umgebung zu betreiben. Der Vorteil ist, dass Mittelständler und kleinere Unternehmen den Schutz ihrer Daten nicht aus der eigenen Hand geben und kein Vendor Lock-in droht. Der Nachteil hingegen ist, dass sie die dafür nötige IT-Basis selbst schaffen müssen – was mit der Anschaffung und dem Betrieb einer entsprechenden GPU-Infrastruktur einhergeht. Das ist allerdings deutlich weniger aufwendig als allgemein angenommen. Bei einem Betrieb in der Cloud ist zudem Folgendes zu beachten: Die Kosten von umfangreichen KI-Anwendungen, die bei den großen Cloud-Anbietern laufen, sind aktuell noch schwer kalkulierbar. Grund dafür ist das bei vielen Anbietern beliebte Token-basierte Verfahren, bei dem je nach Anzahl der Wörter in Fragen und Antworten abgerechnet wird.
Nicht kopflos agieren
Da die Wirtschaftslage gerade für KMU herausfordernd und die Konkurrenz groß ist, drängt in vielen Betrieben die Zeit. Auch der Fachkräftemangel treibt die Unternehmen an, GenAI möglichst bald einsetzen zu können. Demgegenüber steht das Risiko von Fehlinvestitionen, die mit einer überstürzten Taktik zwangsläufig einhergehen. Es heißt also, mit Bedacht eine sinnvolle GenAI-Strategie zu entwickeln. Dazu gehört, die Prozesse genau zu analysieren und dann zu definieren, welche vom Einsatz generativer KI profitieren oder sich automatisieren lassen. Für die Auswahl des für sie zweckdienlichsten KI-Modells, die praktische Implementierung einer passenden Lösung sowie bei der Datenintegration sollten sie sich Hilfe von Experten suchen. Diese haben das nötige Know-how bereits und KMU sparen sich so, tiefes Technologiewissen intern aufzubauen.
*Franz Kögl ist Vorstand bei IntraFind in München, einem Spezialisten für Enterprise Search und KI.
Be the first to comment