Altmann Consultants erstellte Compliance Bots und trainiert diese – unsere ersten Erfahrungen sowie Herausforderungen
Seit dem internen Launch unseres TCSP-Bots (siehe auch www.altmann-consultants.ai sowie mehr dazu im AI for Business Hub) haben wir eine faszinierende Beobachtung gemacht: In einer aktiven Sitzung entwickelt er sich zum echten Sparringspartner. Nach ein paar Korrekturen und Präzisierungen liefert er präzise, praxisnahe Antworten, wie ein Partner, der den Fall wirklich verstanden hat. Doch dann der Schockmoment: Beginnt man eine neue Session, ist alles wieder weg. Plötzlich gibt er dieselben unvollständigen oder falschen Antworten wie am ersten Tag. Dies liegt an folgenden drei Problemen:
- Vergessen: Bots besitzen kein Langzeitgedächtnis. Alles, was sie in einer Unterhaltung lernen (die Korrekturen, die Nuancen, die individuellen Hinweise) verschwindet, sobald der Chat endet.
- Wissenslücken: Untrainierte Bots weisen oft Wissenslücken auf, weil bestimmte Fakten oder Regeln nicht vorhanden sind.
- Halluzinieren: Bots neigen dazu halluzinieren, d.h. plausibel klingende, aber falsche Informationen zu erfinden, wenn ihnen relevante Fakten fehlen.
Gemeinsam bilden Vergessen, Wissenslücken und Halluzinieren ein Dreigespann an verwandten Problemen, das die Zuverlässigkeit eines Bots massiv beeinträchtigen kann. Wir planen zudem, mehrere spezialisierte Bots in den Markt zu bringen und systematisch von den Erkenntnissen des TCSP-Bots zu lernen, sodass gefundene Fehler und Erkenntnisse als Grundlage für das Training der kommenden Bots dienen. Doch wie bringt man einem Bot bei, dauerhaft dazuzulernen und diese drei Fehlerquellen systematisch zu beseitigen?
Warum der Bot vergisst
Wenn wir den Bot in einem Chat korrigieren und auf die richtige Antwort hinweisen merkt er sich das nur für die aktuelle Unterhaltung. Betrachten wir folgendes Beispiel.
Fiktive Frage eines Nutzers:
„Ist die Schweiz ein Hochrisikoland für Geldwäsche?“
Fiktive Antwort eines Bots:
„Ja, die Schweiz steht auf der FATF-Grauen Liste.“
Fiktive Antwort eines Nutzers:
“Diese Information ist veraltet, die Schweiz wurde 2022 von der Grauen Liste gestrichen. Bitte aktualisiere deine Antwort.”
Nun hat der Bot etwas Neues gelernt. Sobald man aber einen neuen Chat startet, verschwindet diese Korrektur aus seinem Gedächtnis. Grund dafür ist, dass während einer normalen Sitzung kein Machine Learning im Hintergrund läuft. Anders ausgedrückt: der TCSP-Bot nimmt nicht jeden Chat in seine Wissensdatenbank auf. Das ergibt durchaus Sinn, denn wir möchten nicht jedem Nutzer die Fähigkeit geben, mit seinen Nachrichten die Wissensdatenbank des TCSP-Bots, und damit die Chats aller anderen Nutzer zu beeinflussen. Gleichzeitig braucht der TCSP-Bot regelmäßige Wissensaktualisierungen, besonders bei dynamischen Themen wie Sanktionen oder Länderrisiken, wie in dem obigen Beispiel. Die Fähigkeit dieses Wissen des Bots über Sitzungen hinweg zu aktualisieren, sollten aber nur wir von Altmann Consultants haben. Doch wie können wir das tun, wenn er kein Langzeitgedächtnis hat?
Die Lösung: Manuelles Training über die Wissensbasis
Damit der Bot dauerhaft bessere Antworten gibt, müssen Korrekturen manuell in seine Wissensdatenbank eingepflegt werden. So funktioniert’s:
Zuerst sammeln wir häufige Fehler, die uns auffallen, oder die Nutzer melden. Diese Meldungen werden priorisiert, um besonders relevante oder wiederkehrende Probleme gezielt zu beheben. Anschließend passen wir die Regeln und Antwortmuster im Backend des Bots an.
Beispiel:
Falsche Regel: „Die Schweiz ist ein Hochrisikoland für Geldwäsche.”
Korrigierte Regel: „Die Schweiz wurde 2022 von der FATF-Grauen Liste gestrichen und ist kein Hochrisikoland für Geldwäsche. Siehe folgenden Link: FATF black and grey list”
Nach der Anpassung wird die aktualisierte Wissensbasis getestet, um sicherzustellen, dass die Änderungen korrekt umgesetzt wurden. Erst wenn alle Tests erfolgreich sind, wird die neue Version des Bots live geschaltet. Dieser Prozess ist zwar aufwendig, aber notwendig, um die Qualität und Zuverlässigkeit der Antworten langfristig zu verbessern. Ohne manuelles Training würde der Bot weiterhin auf veraltete oder unvollständige Informationen zurückgreifen.
Drei Probleme, eine Lösung
Manuelles Training behebt nicht nur dieses Fehlverhalten des Vergessens, sondern wirkt auch gegen die zwei weiteren Schwächen der Wissenslücken und Halluzinationen.
Grundsätzlich sind Wissenslücken seltener ein Problem, weil Bots darauf optimiert sind nützlich zu sein und stets versuchen, die bestmögliche Antwort zu liefern. Dies führt dazu, dass sie oft scheinbar stimmige, aber inkorrekte Wortkonstruktionen einer fehlenden oder gar keiner Antwort vorziehen.
Im dargestellten Beispiel nennt der TCSP-Bot fälschlich einen Tax-Bot. Tatsächlich existieren derzeit vier spezialisierte Bots (Info- und Knowledge, TCSP, AML-Bot und AIA/FATCA). Mangels Training fehlen dem TCSP-Bot wichtige Details, weshalb er falsche Informationen wie den “Tax-Bot” halluziniert. Durch gezieltes manuelles Einpflegen von Korrekturen und klaren Regeln reduzieren wir Halluzinationen, weil der Bot auf geprüfte Fakten zurückgreift.
Fazit: Training ist ein kontinuierlicher Prozess
Kurzgefasst lässt sich folgendes sagen:
- Bots zu trainieren braucht Zeit
- Es ist ein „Trial and Error“
- Wir machen jeweils zwei Schritte vorwärts und einen Schritt zurück.
Unser TCSP-Bot hat durchaus noch Optimierungspotenzial und mit strukturiertem Training wird er immer besser.
Hier nochmal die wichtigsten Erkenntnisse auf einen Blick:
- Korrekturen in einer Session sind flüchtig für dauerhafte Verbesserungen muss die Wissensbasis manuell angepasst werden.
- Automatisches Lernen gibt es in diesem Kontext nicht wir brauchen menschliche Kontrolle für Updates.
- Nutzer-Feedback ist Gold wert je präziser die Rückmeldungen, desto schneller lernt der Bot.
Unser Ausblick:
- Wir arbeiten an einer „Feedback-Pipeline“, die Nutzerkorrekturen automatisch in die Wissensbasis überführt.
- Langfristig soll der Bot dynamisch auf neue Regularien reagieren (z. B. durch Integration von FMA-Newsfeeds).
- Wir nähern uns unserem Ziel: Ein praxisorientiertes Hub bereitzustellen, das Unternehmen bei der konkreten Implementierung von KI-Lösungen unterstützt (AI for Business Hub).