Ein Chatbot auf dem Prüfstand

valantic überprüft externen Kunden-Chatbot auf „Herz und Nieren“

Wer kennt das Problem nicht: Beschäftigt man sich lange und intensiv mit einem Thema oder einem Werkstück und es kommt Routine auf, verliert man schnell den objektiven Blick auf die Dinge. Es fällt schwer, Fehler und Verbesserungspotential zu entdecken. Man wird betriebsblind. Einen Ausweg bieten Impulse von außen. Bevor das vermeintlich fertige Werk an die Öffentlichkeit oder in Verwendung geht, sollte ein frisches Paar Augen drüber schauen. In diesem Fall waren es Felix Kopf und Samuel Hirsch, beide Software Engineers und Berater bei valantic Integrated Business Solutions. Ihre Aufgabe war es, den bereits fertiggestellten Chatbot eines Kunden vor dem Livegang hinsichtlich seiner Gesprächsführungslogik, der möglichen Anbindung von externen Datenquellen und der Sprachqualität zu prüfen. Zudem sollte untersucht werden, welche Weiterentwicklungsmöglichkeiten es für den Chatbot geben würde.

In unserem Blogbeitrag berichtet Felix von diesem Projekt und zeigt, welche Fragestellungen die Chatbot-Entwicklung begleiten und wie vielfältig diese sind.

Ein Chat- und Voicebot-System für den globalen Einsatz

Im Zentrum unseres Review-Projekts steht ein Chatbot, der seinen Gesprächspartner im Hinblick auf das Produktportfolio unseres Kunden berät. Er soll passende Produkte vorschlagen und alle Fragen rund um diese beantworten.

Das Herzstück dieses Chatbots ist die Conversational AI Plattfom Cognigy.AI. Cognigy ist eine der führenden Plattformen für Konversationsautomatisierung, mit der fortschrittliche sowie integrierte Konversationslösungen mithilfe kognitiver Bots erstellt werden können. Dabei bietet Cognigy bereits ein breites Portfolio an vorprogrammierten Sequenzen an, die beliebig kombiniert werden können, sodass anspruchsvolle Flow-Entwicklungen möglich sind. Gerade deshalb ist Cognigy für den Anwendungsfall unseres Kunden besonders geeignet. Das relevante Produktangebot des Kunden ist sehr vielfältig, weshalb die möglichen Kundendialoge weit verzweigen – ein Spezialgebiet von Cognigy.

Die erste Version des Chatbots ist in englischer Sprache angelegt worden. Geplant ist, den Bot als Teil eines wachsenden Chatbot-Systems nach und nach in weitere Länder und Sprachregionen auszurollen.

Der Chatbot ist gut. Aber ist er auch gut genug?

Das zu prüfende Chatbot-System wurde von unserem Auftraggeber als Inhouse-Projekt selbst entwickelt und umgesetzt. Nach der Fertigstellung wurden mein Kollege Samuel und ich beauftragt, einen umfangreichen Logiktest durchzuführen und das Chatbot-System im Rahmen einer Qualitätskontrolle auf „Herz und Nieren“ zu prüfen. Ergänzend dazu haben wir in Form eines Gutachtens dokumentiert, welche Verbesserungen und Anpassungen basierend auf Best-Practices und unseren Erfahrungen nötig sind, um das Chatbot-System leichter wartbar zu halten und mit möglichst wenig Aufwand für weitere Sprachregionen zu lokalisieren. Hierbei ist beispielsweise zu beachten, dass in einem anderen Sprachraum meist auch ein anderes Produktportfolio angeboten wird. Auch die Vertriebswege und Herangehensweisen unterscheiden sich. Tendenziell will ein Kunde aus den USA schnell an relevante Infos zu Preisen und Lieferzeiten kommen, wohingegen ein europäischer Kunden eher die Tendenz zeigt, möglichst passgenau zu bestellen. Wie das Chatbot-System diese unterschiedlichen Herausforderungen abdecken kann, haben wir ebenfalls betrachtet und passende Lösungsvorschläge erarbeitet.

Auf dem Prüfstand – Was genau untersucht werden sollte und welcher Projektaufbau gewählt wurde

Im Zuge des Reviews wurden folgende Fragen und Aufgaben an uns gerichtet und von uns untersucht, bewertet und dokumentiert:

• Wie kann das System samt Rollen und Verantwortlichkeiten sinnvoll für den globalen Einsatz konfiguriert werden?
• Welche Aufgaben liegen bei den Fachabteilungen und welche bei der zentralen IT?
• Wie kann der Pflegeaufwand insgesamt reduziert werden?
• Welche Wartungen müssen und sollten zentral und welche dezentral durchgeführt werden?

Unser Vorgehen

Damit wir den Chatbot sinnvoll überprüfen konnten, haben wir zunächst eine Testinstanz von Cognigy zur Verfügung gestellt bekommen. Wir haben die Flows, also die Verzweigung der Sprachverläufe, den Code für die individuellen Anpassungen und die Daten vom Produktivsystem in das Testsystem gespielt und so eine exakte Kopie des originalen Chatbot-Systems erstellt. Hier konnten wir dann frei schalten und walten und den Bot bezüglich Logik und Flows prüfen. Nach Abschluss der Tests haben wir eine Version mit Kommentaren und Beispiellösungen zurück an den Kunden gespielt.

Das Ergebnis

Die Conversational AI Plattform war bereits gewissenhaft konfiguriert und der Chatbot sehr gut entwickelt. Wir konnten keine Schwachstellen finden. Der Chatbot läuft stabil und hat eine gute Online-Performance. Somit kann er guten Gewissens eingesetzt werden. Weiterhin ergab die Prüfung, dass für die anstehende Lokalisierung für andere Sprachregionen einige Anpassungen ratsam sind. Hierzu wurden die Empfehlungen in einem Konzeptpapier dokumentiert und übergeben.

Learnings aus dem Projekt

Der Inbetriebnahme des Chatbots unseres Auftraggebers steht nun nichts mehr im Wege und mit ein wenig Überarbeitung ist er für eine schnelle und unkomplizierte Anpassung an weitere Sprachregionen gerüstet. Der Bot hat der Prüfung durch valantic standgehalten und seine Funktionalität unter Beweis gestellt. Die externe Überprüfung eines solch weit verzweigten Conversational AI Systems ist allerdings in jedem Fall ratsam, um sowohl die Logik der Sprachverläufe als auch eine unkomplizierte Wartbarkeit zu gewährleisten. Gerade vor dem Ausrollen eines Bots in verschiedene Sprachregionen, lassen sich auf diese Weise Fehlerquellen minimieren.