Laut aktueller Studien scheitern rund 95 Prozent der KI-Pilotprojekte, obwohl Unternehmen massiv in Lösungen mit generativer KI investieren. Die Gründe dafür sind selten technischer Natur. Vielmehr scheitern Projekte meist aufgrund zwei entscheidender Faktoren: fehlende Transparenz und Vertrauen. [...]
Solange die Ergebnisse der KI-Systeme stimmen, fällt dies vielleicht nicht auf. Doch wenn jemand wissen möchte, wie eine Entscheidung zustande kam, herrscht Schweigen: Die Black Box antwortet nicht. Datenexperte Michael Berthold von KNIME erklärt, wie moderne KI-Agenten arbeiten und welche Schritte notwendig sind, um Transparenz und Kontrolle sicherzustellen, sodass sie zu verlässlichen Partnern werden.
Das Konzept der Agentic AI könnte man mit den Aufgaben von Mitarbeitern unterschiedlicher Qualifizierungslevels vergleichen. Einzelne Tools übernehmen Basisaufgaben. Sie sammeln Daten, klassifizieren Bilder, analysieren Texte oder treffen einfache Vorhersagen. Intelligente Tools gehen einen Schritt weiter: Sie nutzen gezielte Prompts, um Inhalte zusammenzufassen, zu übersetzen oder einfache Vorhersagen zu treffen. Werden mehrere Tools kombiniert, entstehen KI-Workflows, die komplexere Aufgaben erledigen können: zum Beispiel Kundendaten abzurufen, Support-Tickets auszuwerten und automatisch eine Zusammenfassung per E-Mail zu verschicken. Zusätzlicher Memory sorgt dafür, dass Tools und Workflows Informationen speichern und im nächsten Schritt darauf aufbauen und dazulernen können.
Ein Agent schließlich orchestriert diese Tools dynamisch. Er entscheidet selbst, wann welches Werkzeug sinnvoll ist, um ein bestimmtes Ziel zu erreichen. Er verhält sich fast wie ein erfahrener Mitarbeiter, der die richtigen Fragen stellt, Prioritäten erkennt, Aufgaben delegiert und selbständig handelt.
Steigende Autonomie bedeutet auch höhere Risiken
Je leistungsfähiger ein Agent wird, desto größer werden jedoch auch die Risiken. Wenn ein System selbständig Entscheidungen trifft, muss jederzeit klar nachvollziehbar sein, auf welcher Grundlage es das tut. Sonst verliert man schnell die Kontrolle, was insbesondere problematisch wird, wenn es um kritische Entscheidungen oder sensible Unternehmensdaten geht.
Um das Zusammenspiel besser zu verstehen, lohnt ein Blick auf die zugrunde liegende Struktur. Agentensysteme sind hybrid aufgebaut. Einige der verwendeten Tools dienen der Datenaufbereitung oder basieren auf klassischen prädikativen KI-Workflows. Andere wiederum integrieren bereits generative KI. Ein Ansatz, der an das Konzept der „Augmented Analytics“ erinnert. Agenten beginnen dabei in der Regel klein, mit klar umrissenen, weniger autonomen Aufgaben und einfachen Werkzeugen. Im Laufe der Zeit erweitert man ihr Repertoire, fügt neue Tools hinzu und sie werden dadurch vielseitiger und in gewissem Maß auch „intelligenter“.
Doch genau dieses kontinuierliche Wachstum und damit einhergehende zunehmende Komplexität birgt Risiken. Mit jeder zusätzlichen Ebene an Autonomie steigt die Herausforderung, Transparenz zu bewahren sowie die Frage: Können wir steuern, welche Datenquellen die Systeme nutzen und welchen Zugriff sie haben?
Drei Schritte von der Blackbox zum zuverlässigen KI-Agenten
Am Anfang stehen Ergebnisse aus der Blackbox: Für die Arbeit mit einem Agenten genügt heute eine einfache Anfrage im Chatfenster, und der Agent liefert zeitnah ein Ergebnis.
Ein typischer Dialog könnte so aussehen: „Hallo, ich benötige eine Übersicht über die neuen Verträge, ihren Gesamtwert und die bereits verbuchten Zahlungen der letzten beiden Quartale.“
Antwort: „In den letzten zwei Quartalen haben wir 32 neue Verträge abgeschlossen, mit einem Gesamtwert von etwa 2 Millionen Euro, von denen bereits 1,7 Millionen Euro bezahlt wurden. Ich habe auch ein Donut-Diagramm für dich vorbereitet“
Der erste Schritt bei der Arbeit mit KI-Systemen gestaltet sich also einfach. Aber genau das birgt die Herausforderung: Ein Agent liefert auf Knopfdruck Ergebnisse. Aber wir wissen nicht, auf welche Daten er zugegriffen hat. Oder welche Quellen er kombiniert und wie er Zahlen interpretiert hat.
Transparenz durch Nachvollziehbarkeit erzielen: Es genügt also nicht, einfach nur mit einem KI-Agenten zu kommunizieren und sich auf die Ergebnisse zu verlassen. Vielmehr müssen wir nachvollziehen können, wie die Resultate zustande gekommen sind.
Genau hier kommen Workflows ins Spiel, weil sie transparent jeden Schritt dokumentieren. Von der Datenerhebung über die Verarbeitung bis zur Ausgabe bilden sie den Prozess ab und machen alle Schritte erklärbar, wiederholbar und automatisierbar. Workflows schaffen also das, was vielen KI-Systemen bisher fehlt: Sie geben Einblick in die Black Box.
Diese Transparenz ist wichtig – aber sie hilft wenig, wenn der Agent Dinge tut, die er eigentlich nicht tun dürfte. Ein Beispiel: Ein Agent, der wie aufgefordert einen Quartalsbericht erstellt, entscheidet „zur besseren Vergleichbarkeit“ auch gleich noch die Gehälter aller beteiligten Mitarbeiter und die Vergütung der Geschäftsführung mit aufzulisten. Damit würden vertrauliche Daten veröffentlicht und mehrere Compliance-Verstöße begangen.
Und genau hier liegt das Dilemma: Damit Agenten wirklich nützlich sind, müssen sie zwar auf alle relevanten Daten zugreifen können. Doch je mehr Zugriff sie haben, desto größer wird das Risiko, dass sie Grenzen überschreiten und die Datensicherheit gefährden oder andere Verstöße begehen, die ernsthafte Konsequenzen nach sich ziehen können.
Vertrauen durch Governance: Wir stehen also vor einer neuen Balancefrage: Wie geben wir Agenten genug Freiheit, um effizient zu arbeiten, ohne die Kontrolle zu verlieren?
Wer Agentic AI verantwortungsvoll einsetzen will, benötigt eine klare Trennung zwischen Daten und KI, damit man im Fall der Fälle jederzeit nachvollziehen kann, wer worauf zugreift und welche Informationen kombiniert werden. So lässt sich verhindern, dass der Agent eigenmächtig sensible Daten verknüpft oder außerhalb seiner Befugnisse arbeitet. Kontrolliert werden kann dies durch eine durchdachte Governance. Sie sorgt dafür, dass Daten geschützt werden, Zugriffe überwacht werden und Datenflüsse nachvollziehbar bleiben. Diese Prinzipien helfen dabei, damit das Vertrauen in Agentic AI wachsen kann.
Michael Berthold ist Gründer und CEO des Open-Source-Unternehmens KNIME. (c) KNIME
„Vertrauen in Agentic AI bedeutet nicht blindes Vertrauen. Es bedeutet Governance, Nachvollziehbarkeit und bewusste Abgrenzung von Datenzugriffen und Informationsweitergabe – damit der Agent bleibt, was er sein soll: ein intelligenter Assistent, kein autonomer Entscheider. Erst durch klar definierte Workflows wird Agentic AI wirklich vertrauenswürdig: Sie schaffen Transparenz, sichern Nachvollziehbarkeit und schützen vor Datenmissbrauch“, erklärt Michael Berthold.
Be the first to comment