Martin Bachler ist CTO beim aus Graz stammenden IT-Dienstleistungsunternehmen Netconomy. Um für den KI-Einsatz im Unternehmen gut vorbereitet zu sein, müssten zuerst die Hausaufgaben gemacht werden und es sei wesentlich kosteneffizienter und einfacher auf bewährte Plattformen zu setzen, als alles selbst nachbauen zu wollen. [...]
Ist generative KI nur ein weiterer Schritt in der Automatisierung oder doch eine der industriellen Revolution vergleichbare Transformation?
Wenn wir nicht den Hype, der in den letzten eineinhalb Jahren um ChatGPT herum entstanden ist, beurteilen, sondern hinter den Vorhang schauen, was denn wirklich die Capabilities und die Möglichkeiten sind, dann ist generative KI ein großer Schritt, vielleicht sogar vergleichbar mit der industriellen Revolution.
Das Problem in unserer Branche ist, dass die Erwartungshaltung, die hier zum Teil bewusst erzeugt wird, so hoch ist, dass sich erst der Nebel nach dem Hype setzen muss, um wirklich in der Realität anzukommen. Das heißt, dass die Firmen wirklich prüfen müssen, was heute schon machbar ist und mit welcher nachhaltigen Strategie man das umsetzen kann.
Mit einem Blick auf die letzten eineinhalb Jahre war wohl das Fear of Missing Out (FOMO) ein Treiber für viele Unternehmen. Man müsse schnell etwas ausprobieren, sonst werde man zurückgelassen. Ich glaube, es kommt jetzt darauf an, das Ganze nachhaltig und strukturiert und mit einer guten Strategie umzusetzen.
Wie können Unternehmen mit KI produktiver werden?
Ich glaube, dass KI strategisch ein immenses Potenzial für Produktivitätssteigerung bietet.
Es ist sehr wichtig, den Mitarbeitern bereits jetzt quasi ein Learning on the Tool zu ermöglichen, weil die Art wie man mit einem LLM kommuniziert – Stichwort Prompt Engineering –, führt schon zu sehr großen Unterschiede in der Qualität der Ergebnisse. Und das lernt man tatsächlich nur, wenn man es ausprobiert.
Aus meiner Sicht ist es eine wirklich wichtige Entscheidung für ein Unternehmen auf einer bewährten Plattform, sei es ein Hyperscaler, sei es etwas Spezialisiertes, zu setzen. Ich sehe bei Kunden immer wieder (zwar seltener als früher, aber doch), dass sie das gleiche nachbauen wollen, was Amazon, Microsoft oder Google bereits bieten. Das ist aus meiner Sicht ein Fehler, weil in dieser Qualität und dieser Skalierbarkeit kann man das nicht machen. Also genau für ML-Ops oder den Betrieb von Modellen, Monitoring etc., ist es extrem wichtig, auf eine bewährte Plattform zu setzen.
Braucht man eine KI-Strategie oder sollte man verschiedene Strategien für die Bereiche entwickeln?
Es ist wichtig sich zu überlegen, wie man auf einer Meta-Ebene damit umgeht: Sachen ausprobieren, davon lernen, adaptieren und dergleichen. Denn das Feld der generativen KI entwickelt sich so schnell weiter, dass es aus meiner Sicht gar nicht möglich ist, etwa eine Drei-Jahre-Strategie aufzusetzen.
Sehr wichtig ist aber, dass man in gewissen Bereichen seine Hausaufgaben macht. Zum Beispiel strukturiert Daten erheben, Stichwort Data Lake, Stichwort Governance, Compliance, Legal. Ich kenne einen Fall, wo generative KI die Effizienz massiv erhöhen und Kosten sparen helfen würde. Doch seit sechs Monaten wird in der Rechtsabteilung evaluiert, wie die Daten überhaupt verwendet werden können und dürfen. Wer da seine Hausaufgaben noch nicht gemacht hat, für den ist es jetzt höchste Zeit. Hier aufzuholen ist die Basis jeder Strategie.
Letztlich ist es oft leichter gesagt als umgesetzt. Es gibt in großen Unternehmen genügend Leute, die verstehen und wissen, was mit generativer KI möglich ist, aber die Unternehmen haben die Hausaufgaben noch nicht gemacht.
Im oben erwähnten Fall hat die Rechtsabteilung ein Veto eingelegt und das dauert in einem großen Unternehmen bis das aufgelöst werden kann. Also ja, man sollte dynamisch sein, man sollte Dinge ausprobieren, aber Unternehmen bremsen sich oft selbst.
Wenden wir uns der Security zu. Wie kann man sogenannte Hallucinations der generativen KI verhindern?
Bei uns ist der „Retrieval Augmented Generation“-Ansatz Standard. Wie geht man dabei vor?
Zuerst identifiziert man, ob man die Aufgabe mit einem Standardmodell lösen kann; falls ja, wird das umgesetzt, und man fügt Technologien hinzu, um Halluzinationen oder falsche Antworten zu minimieren. Man sie kann nicht ganz ausschließen, aber zumindest minimieren. Falls das nicht reicht, muss man sein Modell feintunen, sprich mit eigenen Daten anreichern. Wobei technisch richtiger formuliert sollte man sagen, einen Layer von eigenen Daten hinzufügen, sodass das Modell mehr in der Unternehmensrealität gegroundet ist. Das passiert eher selten, weil es relativ aufwendig ist und man Cloud-Ressourcen oder eigene GPUs dafür braucht. Es ist aber ab und zu notwendig, vor allem für sehr sensible Bereiche, wie zum Beispiel bei medizinischen Daten oder dergleichen.
Und natürlich braucht man auch sehr gute Leute und einen guten Partner.
Außerdem braucht es immer noch einen Menschen in der Loop braucht. Einen Roboter oder eine Programmierung völlig automatisiert machen zu lassen, würde heute ohne einen Human in the Loop noch niemand machen. Im Moment muss man noch prüfen, wie und wo man wirklich automatisieren kann, ohne einen Menschen in den Entscheidungen dabei zu haben beziehungsweise für welche Cases das wirklich möglich ist.
Wenn man Entscheidungen vollkommen an die KI auslagert, muss man das auch sehr gut kommunizieren. Wir wissen alle, dass Unfälle beim autonomem Fahren geringer sind als beim menschlichen Fahren. Doch wer ist haftbar und wie kommuniziert man das?
Das ist aber dann keine technische Frage, sondern eine moralisch-politische. Und ja, es sterben beim autonomen Fahren weniger Menschen. Aber wenn das autonome Auto im Extremfall entscheiden muss, ob nach links gefahren und ein Kind verletzt wird, oder nach rechts und ein Unfall mit zwei älteren Menschen in Kauf genommen wird: Was macht die Maschine dann? Für den Einzelfall haben wir politisch aus meiner Sicht noch keine Antwort. Statistisch ist die Sache klar und spricht für die KI, aber im Einzelnen hilft die Statistik den Betroffenen wenig.
Es gibt die Möglichkeit, synthetische Daten zu nutzen, um den Bias, die Vorurteile, herauszubekommen. Wie sehen Sie das?
Ich glaube, es führt überhaupt kein Weg vorbei an synthetischen Daten. Es gibt auch Aussagen von Sam Altman, Open AI CEO, die besagen, dass der Großteil der Daten in Zukunft synthetisch sein wird.
Verwenden Sie schon synthetische Daten bei Ihren Kunden?
Nicht um KI-Modelle zu trainieren, sondern um Daten zu erzeugen oder Daten zu vervollständigen. Das ist ein Use Case, den wir sehr oft haben. Wir haben viele Kunden, zum Beispiel im Retail-Bereich mit großen Datenmengen, Produktdaten usw. In der Vergangenheit hat man hier sehr viele Leute gebraucht, um Attribute zu vervollständigen, Daten zu checken usw.
Eine Testdatengenerierung, bei der Systeme mit synthetischen Daten getestet werden, ist bei uns schon seit Jahren Standard – auch ohne KI. Die Modelle zu testen und Personalisierungssysteme zu testen, betrifft nicht nur KI, sondern auch Allgemeinsoftware.
Wie sehr sollen europäische bzw. österreichische Unternehmen darauf achten, dass sie bei der Wahl eines Large Language Models möglichst zu einer europäischen Variante greifen?
In einigen Jahren wird die Frage nach dem Modell nicht mehr wichtig sein. Wir sehen, dass alles konvergiert und bei den LLMs wird künftig kein wirklich großer Sprung mehr erkennbar sein. Dann braucht es wieder eine neue Innovation, ganz neue Ansätze, um den nächsten Schritt zu setzen. Insofern glaube ich, dass sich in ein paar Jahren die Frage nach dem Modell nicht mehr stellt.
Schon jetzt können alle KI-Modelle in Europa betrieben werden. Bei Google kann ich über den Model Garden auswählen und mehr oder weniger on the fly switchen. Was aus meiner Sicht auf jeden Fall kommt, ist, dass die Kosteneffizienz und die Spezialisierung dazu führt, dass viel kleinere Modelle kommen werden, die in begrenzten Use Cases die gleiche Ergebnisqualität liefern wie die großen Modelle.
Wie bewerten Sie den EU-AI-Act?
Ich bin kein Rechtsexperte, aber es ist wichtig, Regularien zu schaffen. Und ich möchte niemanden in der EU oder in Europa eine gute Intention absprechen. Wenn man sich ansieht, wieviel in Europa mit VC-Geld in Startups investiert wird und das mit den USA oder Asien vergleicht, dann sieht man schon einen Wettbewerbsnachteil. In Amerika beziehungsweise in Asien wird es noch sehr lange dauern bis solche oder ähnliche Regularien überhaupt spruchreif werden.
Wir verlieren jedenfalls Wettbewerbsfähigkeit in Europa. Dennoch ist es wichtig, zumindest extreme Cases wie Deepfakes und dergleichen zu unterbinden und Regularien zu schaffen. Ich würde mir nur wünschen, dass diese – Stichwort agil – stetig angepasst werden und man nicht jahrelang in einem Zustand des massiven Wettbewerbsnachteil gegenüber Amerika verweilt.
Welche Rolle spielt der Mensch bei KI-Lösungen? Sollte er nicht an oberster Stelle stehen, und die Übersicht mit der letztgültigen Entscheidungsgewalt haben?
Ja. Der Unterschied zwischen Mensch und KI ist, dass der Mensch einen Kontext hat und logisch schlussfolgern kann, etwas, dass die LLMs noch nicht können.
Glaube Sie, dass KI den Fachkräftemangel bekämpfen, abfedern kann? Welche Skills werden in Zukunft für Mitarbeitende in einem neuen KI-Zeitalter benötigt?
Wir machen sehr viel Softwareentwicklung. Angefangen hat die Softwareentwicklung mit dem Schreiben von Assembler und Maschinencode. Später gab es Compiler und die Programmierer sind sehr viel effizienter geworden. Dennoch wurden aber nicht weniger Programmierer gebraucht. Es kommen immer neue Anwendungsfälle und neue Anforderungen.
Ja, man kann mit Hilfe der KI mit weniger Leuten mehr machen. Dennoch braucht es nicht weniger Fachkräfte, man kann aber den Fachkräftemangel ein bisschen abfedern, weil man eben mit den vorhandenen Leuten mehr machen kann – zumindest im Software-Umfeld.
Aber man muss KI auch verwenden, um die Skills zu entwickeln, um wirklich effizient zu sein.
Be the first to comment