Europäische KI blockiert Hasskommentare

Das slowakische Startup-Unternehmen TrollWall AI hat eine künstliche Intelligenz entwickelt, mit der Hasskommentare in Social Media erkannt und blockiert werden. Nach der Slowakei, Tschechien und Polen ist das Unternehmen mit April auch auf dem deutschsprachigen Markt tätig. ITWelt.at hat zum Start der deutschsprachigen Version Geschäftsführer Tomas Halasz interviewt. [...]

Welches AI-Modell verwenden Sie?

Unsere KI-Systeme werden aus-schließlich von unseren KI-Wissenschaftlern entwickelt. Wir haben eine neurosymbolische Architektur gewählt, die das Beste aus beiden Welten vereint: die enormen Datenverarbeitungsfähigkeiten von Large Language Models und die präzisen Schlussfolgerungsfähigkeiten der symbolischen KI. Dieser Ansatz macht unsere Systeme leistungsfähig bei der Erkennung von Mustern und der Verarbeitung umfangreicher Datensätze und verbessert die Übersichtlichkeit, so dass sie transparenter und leichter zu verstehen sind. Dank dieser Eigenschaften eignen sich unsere Systeme hervor-ragend für Aufgaben, die ein nuanciertes Verständnis von Sprache und deren Moderation erfordern.

Mit welchen und wievielen Daten haben Sie Ihre Software trainiert?

Wir haben unsere Software anhand mehrerer hunderttausend Kommentare trainiert. Um Genauigkeit und Zuverlässigkeit zu gewährleisten, wurde jeder Kommentar sorgfältig von drei unabhängigen Muttersprachlern mit unterschiedlichem Hintergrund kommentiert, um die Vielfalt und die Beherrschung der jeweiligen Sprache abzubilden und sicherzustellen. Dieser strenge Annotationsprozess gewähr-leistet die Qualität und Effektivität unserer Software bei der Erkennung und Verwaltung von Hasskommentaren in verschiedenen Sprachen.

Ist ein zusätzliches Training mit unternehmenseigenen Daten möglich?

Unser Ziel ist es, unseren Kunden die Möglichkeit zu geben, das Moderations-modell für ihre Social-Media-Plattformen zu personalisieren. Wir testen diese Funktion derzeit mit ausgewählten Kunden und wollen sie in den kommenden Monaten allgemein verfügbar machen. Für ein effektives Training von Sprachmodellen ist eine große Menge an hochwertigen Daten erforderlich. Die Sicherstellung der Datenqualität ohne vollständige Kontrolle kann die Gesamtqualität des Dienstes beeinträchtigen. Ein wichtiger Aspekt des Dienstes ist die Gewährleis-tung der Nachvollziehbarkeit. Für unsere Kunden ist es wichtig, die Gründe für die Entscheidungen der KI zu verstehen und jederzeit die volle Transparenz und Kontrolle zu haben.

Werden nur die Hasskommentare blockiert oder auch der jeweilige Absender?

Das Erkennen und Ausblenden von schädlichen Kommentaren ist eine Kernfunktion von TrollWall. Die Nutzer haben jedoch auch die Möglichkeit, bestimmte Trolle mit einer Ein-Klick-Funktion zu blockieren. Das Besondere dabei ist, dass sie nicht wie die offizielle Sperrung von Meta funktioniert, bei der der Troll über seine Sperrung benachrichtigt wird. Stattdessen ver-wendet die Ein-Klick-Funktionalität von TrollWall Shadow Banning. Das bedeutet, dass keiner ihrer Kommentare für andere Besucher der sozialen Seite sichtbar ist, auch wenn der Troll nicht weiß, dass seine Kommentare ausgeblendet sind. Damit erhalten Trolle keine Aufmerksamkeit mehr, um ihr störendes Verhalten fortzusetzen.

Funktioniert das Blocken auch in Echtzeit bei einem Streaming Event?

Ja, natürlich. Die Echtzeit-Moderationsfähigkeiten unserer Technologie reichen bis hin zum Umgang mit Hasskommentaren bei Streaming-Events. Im Gegensatz zu größeren Modellen wie GPT-4 haben unsere spezialisierten, kleineren Sprachmodelle nicht nur einen deutlich geringeren CO2-Fußabdruck, sondern liefern auch eine viel schnellere Leistung. Diese Effizienz ist für Echtzeitanwendungen wie die Moderation von Livestreams von entscheidender Bedeutung, da wir dadurch anstößige Inhalte schnell erkennen und blockieren können, sobald sie auftauchen. Wir haben unsere Lösung erfolgreich bei hochkarätigen Veranstaltungen eingesetzt, darunter die von vielen mitverfolgte politische Debatte zwischen dem slowakischen und dem tschechischen Präsidenten.

Ist die Lösung DSGVO-konform?

Ja, alle unsere Server befinden sich innerhalb der EU und werden auf einer 100 Prozent klimaneutralen Infrastruktur betrieben. Wir verarbeiten oder speichern keine persönlichen Daten.

Sie sind jetzt in den deutschsprachigen Markt eingestiegen. Welche Märkte werden folgen und wann?

Wir arbeiten derzeit an der Einführung neuer Sprachen auf unserer Plattform, die auch unsere folgenden Märkte bestimmen werden. So bieten wir unsere Dienstleistungen bereits in der Betaversion auf Englisch an, und arbeiten an der Entwicklung weiterer Sprachen.

Wie sieht die Weiterentwicklung von TrollWall AI aus?

Wir entwickeln unsere Technologie zur Erkennung von Hassreden stetig weiter. Unser Fokus liegt auf der Verfeinerung der Genauigkeit unserer Erkennungsalgorithmen sowie auf der Einführung von zwei neuen Funktionen: Erstens wollen wir von einem One-Size-fits-all-Ansatz zu maßgeschneiderten KI-Moderationsmodellen übergehen. Mit diesem Schritt wollen wir unseren Kunden – von denen jeder seine eigene Publikumsdynamik und Moderationsanforderungen hat – die Möglichkeit geben, ihre Moderationstools so fein abzustimmen, als ob sie einen menschlichen Moderator anweisen würden. Diese Anpassung ist unverzichtbar, wenn es darum geht, bestimmte Probleme anzugehen, wie z. B. ungerechtfertigte negative Äußerungen über Produkte oder Dienstleistungen, und ermöglicht eine genauere Kontrolle über die Art der Inhalte, die moderiert werden.

Weiters stehen wir kurz vor der Einführung unserer KI-Antwortfunktion, mit der wir die Art und Weise, wie unsere Kunden mit ihren Online-Communities interagieren, neu gestalten wollen. Dank des Einsatzes von KI zur Erstellung von Antworten auf der Grundlage einer vom Kunden bereitgestellten Wissensdatenbank – von internen Dokumenten bis hin zu FAQs – hilft TrollWall menschlichen Moderatoren effektiver und effizienter zu kommunizieren