Datenprobleme sind einer der Hauptgründe, warum KI-Projekte hinter den Erwartungen zurückbleiben. Aber wenn Sie aus den Fehlern lernen und sich langfristig verpflichten können, werden sich Ihre KI-Bemühungen wahrscheinlich eher auszahlen. [...]
Vor achtzehn Monaten startete Herr Cooper ein intelligentes Empfehlungssystem für seine Kundenbetreuer, um Lösungen für Kundenprobleme anzubieten. Das Unternehmen, früher bekannt als Nationstar, ist mit 3,8 Millionen Kunden der größte Nicht-Bank-Hypothekenanbieter in den USA, so dass das Projekt als hochkarätiger Kostensparer für das Unternehmen angesehen wurde. Es dauerte neun Monate, um herauszufinden, dass die Agenten es gar nicht benutzen, so CIO Sridhar Sharma. Und es dauerte weitere sechs Monate, um herauszufinden, warum.
Die Empfehlungen, die das System anbot, waren nicht relevant, fand Sharma, aber das Problem lag nicht in den Algorithmen des maschinellen Lernens. Stattdessen hatte sich das Unternehmen auf Trainingsdaten verlassen, die auf technischen Beschreibungen von Kundenproblemen basierten und nicht darauf, wie Kunden diese mit eigenen Worten beschreiben würden.
„Wir haben keine gute Arbeit geleistet, um sicherzustellen, dass die Wurzel der Frage, die der Kunde stellte, in den Begriffen erfasst wurde, die der Kunde verwendete“, sagt er. „Es wurde in den technischen Begriffen kodiert, die wir intern verwenden.“
Darüber hinaus hatte der Feedback-Mechanismus des Systems, in dem die Agenten die Ergebnisse der Anrufe aufzeichneten, überlappende Kategorien, was das Problem noch verschlimmerte, erklärt Sharma, der es ablehnte anzugeben, wie viel das Projekt das Unternehmen kostete.
Mr. Cooper’s beunruhigter Ausflug in die KI ist keine Ausnahme. Laut einer aktuellen IDC-Umfrage gaben nur etwa 30 Prozent der Unternehmen eine Erfolgsquote von 90 Prozent bei KI-Projekten an. Die meisten berichteten über Fehlerraten von 10 bis 49 Prozent, während 3 Prozent angaben, dass mehr als die Hälfte ihrer KI-Projekte fehlgeschlagen sind.
Personalmangel und unrealistische Erwartungen an die Technologie wurden von mehr als einem Viertel der Befragten als große Schwierigkeiten bezeichnet. Weitere 23 Prozent gaben an, dass ihre KI-Projekte an einem Mangel an notwendigen Daten scheiterten.
„Beim ersten Anzeichen eines Scheiterns besteht die Tendenz darin, das Projekt zu stoppen“, so Sharma. „Aber wenn Sie das tun, sind Sie verloren.“
Herr Cooper wird im nächsten Jahr im Rahmen einer Überarbeitung seines CRM-Systems auf das Kundenservice-Projekt zurückkommen, und das Unternehmen bleibt der KI verpflichtet. Das jüngste ML-Projekt, bei dem es um die Analyse unstrukturierter Daten geht, hat bereits einen positiven Geschäftsvorteil und trägt dazu bei, bessere Daten für die Zukunft zu gewinnen.
„Diese Erkenntnisse sind nicht billig“, sagt er und fügt hinzu, dass man sich erst vom CEO und CFO einkaufen muss, um auf Kurs zu bleiben, wenn es nicht gut läuft.
Ein Mangel an Daten
Datenprobleme sind einer der Hauptgründe, warum KI-Projekte hinter den Erwartungen zurückbleiben. Laut einem Bericht von McKinsey vom vergangenen Herbst haben zwei der größten Herausforderungen, die die Anwendung der KI-Technologie einschränken, mit Daten zu tun.
Zunächst einmal haben viele Unternehmen wie Mr. Cooper Schwierigkeiten, richtig gekennzeichnete Daten zu erhalten, um ihre maschinellen Lernalgorithmen zu trainieren. Wenn Daten nicht richtig kategorisiert sind, muss sich der Mensch Zeit nehmen, sie zu kennzeichnen, was Projekte verzögern oder zum Scheitern bringen kann. Die zweite Datenproblematik ist, dass nicht die richtigen Daten für das Projekt zur Verfügung stehen.
„Unternehmen haben oft nicht die richtigen Daten und sind frustriert, wenn sie keine Modelle mit nicht beschrifteten Daten erstellen können“, erklärt Anand Rao, Partner und globaler KI-Leiter bei PricewaterhouseCoopers. „Das ist es, woran Unternehmen immer wieder scheitern.“
Die National Audubon Society nutzt künstliche Intelligenz, um Wildvögel zu schützen. So veröffentlichte die Organisation im Juli die Ergebnisse einer KI-basierten Analyse, wie sich der Klimawandel auf 38 Arten von Wiesenvögeln auswirken wird.
„Wenn wir nichts tun, um das Tempo des Klimawandels zu verlangsamen, dann werden 42 Prozent dieser Graslandvogelarten als sehr anfällig eingestuft“, sagte Chad Wilsey, Vice President of Conservation Science der Organisation. „Aber wenn wir in der Lage sind, Maßnahmen zu ergreifen, dann können wir auch die Anfälligkeit auf nur 8 Prozent reduzieren.“
Nicht alle KI-Projekte der Audubon-Gesellschaft waren so erfolgreich. Im vergangenen Sommer versuchte die Organisation, mit maschinellem Lernen die Anzahl der braunen Pelikane und schwarzen Scherenschnäbel an den Stränden zu zählen. Das Pilotprojekt basierte auf einer Reihe von Bildern, die von einem Freiwilligen gesammelt wurden, der eine Drohne über eine Insel vor der Küste von Texas flog.
„Wir waren daran interessiert zu verstehen, wie der vorbeiziehende Hurrikan die Vogelpopulationen beeinflusst hat“, erzählt Wilsey.
Es dauerte 2.000 beschriftete Bilder von braunen Pelikanen, bis die Genauigkeit des Systems gut genug für ihre Bedürfnisse war, meint er. Aber es gab nicht genug Bilder von schwarzen Scherenschnäbeln. „Für andere Anwendungen der Computer-Vision können Sie vielleicht etwas verwenden, das im Internet verfügbar ist“, sagt er. „Aber in diesem Fall sind die Bilder der Vögel sehr spezifisch.“
So werden beispielsweise die meisten verfügbaren Vogelbilder von Menschen aufgenommen, die sich am Boden befinden, anstatt von Drohnen, die direkt nach unten zielen. Und weil es sich um eine Pilotstudie handelte, hatte die Audubon Society nicht die Ressourcen, um noch einmal zurückzugehen und mehr Fotos zu machen, sagt Wilsey.
Verzerrung der Trainingsdaten
Ein weiteres Beispiel für ein KI-Projekt, das von einem Datenmangel behindert wird, ist der Versuch von Fritz Lab, ein Modell zur Identifizierung von Haaren auf den Bildern der Menschen zu entwickeln. Fritz hilft mobilen Entwicklern beim Aufbau von KI-Modellen, die direkt auf dem Handy laufen können, ohne dass sie Daten zur Verarbeitung an einen zentralen Server zurücksenden müssen.
„Wir wollten eine Funktion entwickeln, die Haare im Live-Video erkennt und die Farbe in Echtzeit ändert“, sagt Jameson Toole, CTO des Unternehmens.
Zuerst sah alles gut aus, sagt er, aber es gab einen signifikanten Fehler im Algorithmus, der extrem problematisch gewesen wäre, wenn das System veröffentlicht worden wäre.
„Glücklicherweise machen wir viele manuelle Tests, im Büro unter uns und mit Leuten, die wir rekrutieren, wobei wir feststellten, dass es für bestimmte Ethnien nicht gut läuft“, sagt Toole. „Wir sind zum Datensatz zurückgekehrt, und tatsächlich war niemand im Datensatz, der Teil dieser Gruppen war.“
Es gibt viele Bilddatensätze, die für das Training zur Verfügung stehen, sagt er, sowohl frei als auch kommerziell. Aber die Unternehmen müssen prüfen, ob es genug von den speziellen Arten von Daten gibt, die sie benötigen.
„Es beginnt damit, sich Zeit zu nehmen und sich die Mühe zu machen, einen eigenen Satz von Testfällen aufzubauen, der repräsentativ für Ihre Benutzerbasis ist“, sagt er.
Am Ende sammelte Fritz Labs die fehlenden Bilder und kommentierte sie manuell. „Das hat sicherlich die Tatsache unterstrichen, dass es nicht schwer ist, eine Verzerrung in solche Systeme hineinzubringen, wenn man durch die verfügbaren Daten eingeschränkt ist“, sagt Toole.
Laut einer aktuellen Umfrage von PricewaterhouseCoopers haben mehr als die Hälfte der Unternehmen keinen formalen Prozess zur Beurteilung der KI auf Verzerrung. Schlimmer noch, nur 25 Prozent der Befragten gaben an, dass sie die ethischen Auswirkungen einer KI-Lösung vor ihrer Implementierung priorisieren würden.
Probleme bei der Datenintegration
Manchmal ist das Problem nicht ein Mangel an Daten, sondern zu viel davon – an zu vielen Stellen. Das war bei einer globalen Bank der Fall, laut dem Geschäftsführer, der die KI und die Daten für den Retail-Bereich des Unternehmens leitet und der nicht berechtigt war, zu den Akten zu sprechen.
Wenn er in der Zeit zurückgehen könnte, sagt er, hätte die Bank früher damit begonnen, verschiedene Datenkanäle zusammenzubringen. „Das ist etwas, was wir versäumt haben, und das war ein großer Fehler“, sagt er. „Wir hatten die Daten isoliert und die Folge war, dass wir keinen vollständigen 360-Grad-Blick auf die Kunden hatten.“
Dieses Problem der Datenintegration hat die Fähigkeit der Bank beeinträchtigt, effektive Marketingbotschaften zu erstellen, was zu Umsatzeinbußen führte, sagt er und fügt hinzu, dass die Bank nun zu einer Multi-Channel-Ansicht von Kundendaten übergeht, einschließlich Online-, Mobil- und In-Person-Interaktionen.
„Wir sind immer noch nicht angekommen“, sagt er. „Silodaten sind eine der größten Herausforderungen, die wir hatten und immer noch haben.“
Die Herausforderung ist nicht so sehr eine technische, sondern vielmehr ein geschäftliches Problem, dessen oberste Priorität Compliance und Vorschriften sind. „Es gibt bestimmte Arten von Daten, die wir nicht mischen dürfen.“
Das andere Problem betrifft die Prioritäten des Unternehmens. „Es gibt so viele andere Projekte, die laufen. Und wer wird für die Zusammenstellung der Daten bezahlen? Das an sich ist kein Mehrwert für die Bank“, sagt er und fügt hinzu, dass dies eine Herausforderung ist, der sich jede Bank stellen muss.
Wenn er es noch einmal tun müsste, hätte er den Datenintegrationsprozess gestartet, als die Bank anfing, an ihren KI-Anwendungsfällen zu arbeiten. „Ich glaube nicht, dass wir jemals wirklich ganz fertig sein werden, denn es gibt so viele Datenquellen“, sagt er. „Ich glaube nicht, dass jede Firma vollständig fertig wird.“
Er ist der Meinung, dass die Bank erwartet, dass ihre wichtigsten Datenquellen in den nächsten 18 bis 24 Monaten verbunden werden. Im Moment, sagt er, ist die Bank nur etwa 10 bis 15 Prozent des Weges dorthin.
Daten „Drift“
Ein weiteres Problem für KI-Projekte ist, wenn Unternehmen auf historische Daten statt auf aktive Transaktionsdaten für ihre Trainingssets zurückgreifen. In vielen Fällen sind Systeme, die auf einer einzigen, statischen, historischen Momentaufnahme trainiert wurden, bei der Umstellung auf Echtzeitdaten nicht gut, erklärt Andreas Braun, Managing Director bei Accenture.
„Sie laden einige Daten herunter, trainieren das Modell und erhalten im Labor eine ziemlich starke Verbesserung des Modells“, so Braun, der das europäische Daten- und KI-Geschäft von Accenture leitet. „Aber sobald man das wieder in das Unternehmen integriert, beginnen die Probleme.“
Es kann einen signifikanten Unterschied zwischen historischen Datenproben und Daten geben, die über ein Live-System kommen, um z.B. Betrug in Echtzeit zu erkennen oder Geldwäsche zu erkennen, da die Modelle nicht darauf trainiert sind, die kleinen Veränderungen im Verhalten aufzunehmen.
„Wenn Sie Ihre Daten zu einem bestimmten Zeitpunkt kopieren, vielleicht nachts, oder am Samstag oder Sonntag, haben Sie eine festgefahrene Situation“, sagt er. „Das macht die Analytik im Labor sehr einfach. Aber wenn die Modelle des maschinellen Lernens wieder in das Live-System integriert werden, sind sie viel schlimmer.“
Die Lösung, so Braun, besteht darin, sich von der produktionstechnischen Seite zu lösen und die Datenwissenschaftler nicht mehr in einem separaten Silo unterzubringen. Insbesondere bei der Modellerstellung aus Live-Daten ist die Integration der Modelle in die Produktionsumgebung wesentlich schneller.
„Und die Ergebnisse sind viel, viel besser“, sagt er. „Es verändert Ihr Spiel komplett.“
Unberührte unstrukturierte Daten
Laut einer aktuellen Deloitte Consulting-Umfrage verlassen sich 62 Prozent der Unternehmen immer noch auf Tabellenkalkulationen, und nur 18 Prozent haben unstrukturierte Daten wie Produktbilder, Kundenaudiodateien oder Social Media-Kommentare für ihre Analysen genutzt.
Darüber hinaus fehlt es vielen historischen Daten, die Unternehmen gesammelt haben, an dem Kontext, den sie für die KI benötigen, oder sie werden in zusammengefasster Form gespeichert, sagt Ben Stiller, Leiter der Praxis für Strategie und Analytik für Einzelhandel und Konsumgüter bei Deloitte Consulting.
„Datenbeschränkungen können ein Projekt von Anfang an auf Fehler einstellen“, erklärt er.
Unternehmen, die jedoch unstrukturierte Daten nutzen, wie es Herr Cooper tut, haben laut der Umfrage 24 Prozent mehr Chancen, ihre Geschäftsziele zu übertreffen.
„Es erfordert wirklich einen grundlegenden Wandel im Umgang mit Daten“, so Stiller.
Herr Cooper zum Beispiel hat viele unstrukturierte Daten in Form von rund 1,5 Milliarden Kundendokumenten. Infolgedessen verbringen die Kundendienstmitarbeiter zu viel Zeit damit, die Dokumente zu finden, die sie benötigen, um ihren Kunden zu helfen, und müssen manchmal Kunden zurückrufen.
So scannte das Unternehmen alle 1,5 Milliarden Dokumente mit Hilfe der maschinellen Lerntechnologie und analysierte den ersten Satz von 150 Millionen Dokumenten, die zu den 200 am häufigsten verwendeten Typen gehören.
„Jetzt haben wir ein Projekt zum maschinellen Lernen, das einen Mehrwert bringt und heute in der Produktion ist“, sagt Mr. Cooper’s Sharma.
Neben der Beschleunigung der Kundendienstanrufe trägt die Dokumentenanalyse auch dazu bei, ein besseres Sprachwörterbuch für den zukünftigen Gebrauch zu erstellen, wenn das Unternehmen auf sein zuvor problematisches KI-Kundendienstprojekt zurückkommt.
Kulturelle Herausforderungen
Neben den Daten stellen organisatorische Fragen eine große Herausforderung für den Erfolg der KI dar.
Wenn er zum Beispiel in der Zeit zurückgehen würde, so meint Sharma, hätte er sich zunächst auf die Sprache konzentriert, die Kunden bei der Beschreibung ihrer Probleme verwenden – und sich mit KI-Entwicklern zusammengeschlossen.
„Man muss Geschäftsleute in seinen Technologie-Teams haben, damit der Kontext immer im Blickfeld bleibt“, sagt Sharma. “ Sie müssen sie dazu bringen, zusammen zu sitzen und es zu einem Vollzeitjob zu machen.“
Und wenn Sie nicht aus solchen Fehlern lernen können, können Ihre Chancen, das Versprechen der KI einzuhalten, schwinden, da scheiternde KI-Projekte für Investmentteams, die Finanzierungsentscheidungen treffen, problematisch sein können und negative Auswirkungen auf die Zufriedenheit von Mitarbeitern und Kunden haben können.
„Früh gescheiterte Projekte rund um die KI können ein Führungsteam davon abhalten, bedeutendere Investitionen in den Bereich zu tätigen“, meint Stiller.
Das kann dazu führen, dass Unternehmen hinter der Konkurrenz zurückbleiben.
Und alles beginnt von oben. Wie die Deloitte-Umfrage zeigt, ist ein Buy-in auf Senior-Ebene für KI-Projekte unerlässlich. „Wenn der CEO es sponsert, ist es 77 Prozent wahrscheinlicher, dass Sie Ihre Geschäftsziele sogar noch übertreffen“, sagt Stiller.
Lassen Sie sich also nicht von einem Rückschlag entgleisen, denn ein langfristiger Ansatz für KI wird sich auszahlen, sagt er. „Je mehr Projekte Sie im Laufe der Zeit durchführen, desto besser wird der ROI.“
*Maria Korolov beschäftigt sich seit 20 Jahren mit aufstrebenden Technologien und Schwellenländern. Sie schreibt unter anderem für CIO.com.
Be the first to comment