Ein Vergleich: Chatbots früher - heute
Unsere Erfahrungen mit Chatbots
Sind Chatbots nicht für viele eher ein frustrierendes Erlebnis statt einer echten Hilfe? Schließlich gab es schon vor Jahren die ersten Bots, die oft mehr Probleme verursacht haben, als sie lösten. Doch die Technologie hat sich rasant weiterentwickelt – heute gibt es neue, deutlich leistungsfähigere Chatbots. Doch was unterscheidet die „traditionellen“ Chatbots von der neuen Lösung „Chat with your documents“?
Traditionelle Chatbots – auch hier steckt KI dahinter
Es ist wichtig zu verstehen, dass Chatbots unterschiedlich umgesetzt sein können und auch die heutigen „traditionellen“ Chatbots bereits auf Technologen wie Natural Language Processing (NLP) und Machine Learning (ML) zurückgreifen. Diese Chatbots verwenden KI-Modelle, die auf wenigen Beispielen trainiert werden können, um Muster und typische Fragestellungen zu erkennen. Die Antworten werden durch regelbasierte Strukturen gesteuert und die Interaktionen folgen oft vorprogrammierten Pfaden. Insbesondere 1st Level Support Chatbots funktionieren bei Standard-User Anfragen wie „Passwort vergessen“ sehr gut, da sie abgegrenzte Themen sehr gut erfassen können und den User dann zu einer hilfreichen Antwort leiten. Da die Antwort hier vorgegeben ist, gibt der Chatbot auch immer eine faktisch korrekte Antwort, auf die der User sich verlassen kann.
Diese Chatbots sind allerdings darauf angewiesen, auf vorprogrammierte Szenarien zurückzugreifen, sodass sie bei unerwarteten oder komplexen Anfragen Schwierigkeiten haben, sich anzupassen. Das führt dazu, dass der Chatbot oft nicht in der Lage ist, spontan auf neue Formulierungen oder Szenarien Wechsel zu reagieren. Um die Leistung solcher Chatbots aufrechtzuerhalten und zu verbessern, ist kontinuierliches Model Monitoring unerlässlich. Dieses Monitoring hilft dabei, Szenarien aufzudecken, in denen der Chatbot nicht optimal funktioniert, sodass Anpassungen vorgenommen werden können. Diese Anpassungen sind jedoch aufwendig, da für eine erfolgreiche Weiterentwicklung kontinuierlich neue Beispiele und Formulierungen gesammelt und in das Modell integriert werden müssen.
Eine besondere Herausforderung stellt die Mehrsprachigkeit dar. Da es wichtig ist, mehrere Sprachen anzubieten, erhöht dies den Aufwand erheblich. Für jede zusätzliche Sprache müssen genügend Beispiele und Formulierungen gesammelt werden, um sicherzustellen, dass der Chatbot in der Lage ist, präzise und hilfreiche Antworten zu liefern. Dieser Prozess erfordert viel Zeit und Ressourcen, da jedes Sprachmodell individuell trainiert und überwacht werden muss.
Sobald der Chatbot mit sehr ähnlichen Formulierungen konfrontiert wird, kann es dem KI-Modell schwerfallen, eine klare Unterscheidung zu treffen, was das Risiko erhöht, dass der Chatbot in einen falschen Dialogpfad gerät. Um dies zu vermeiden, ist es eine bewährte Strategie, dem Nutzer mehrere passende Optionen zur Auswahl anzubieten, bevor der Chatbot fortfährt. Diese Vorgehensweise minimiert die Wahrscheinlichkeit von Missverständnissen und ist flexibler im Umgang mit Nutzereingaben. Dennoch kann es vorkommen, dass keiner der Vorschläge den Erwartungen des Nutzers entspricht. In solchen Fällen steigt die Frustration schnell an, insbesondere wenn keine alternativen Lösungen angeboten werden. Dann ist eine Weiterleitung an den Human Support der beste Ausweg.
Chat with your documents – mit RAG und LLMs zum Erfolg
Dokumenten basierte Chatbots können auf eine breite Palette von Dokumenten und Formaten zugreifen, die heutzutage genutzt werden. Diese modernen Chatbots setzen auf Technologien wie Embedding-Modelle, um Anfragen präzise zu verstehen und relevante Informationen aus umfangreichen Datenmengen herauszufiltern. Dadurch sind sie in der Lage, nicht nur einfache Fragen zu beantworten, sondern auch komplexe Anfragen zu bewältigen und detaillierte Zusammenfassungen zu liefern.
Ein dokumentenbasiertes System lässt sich schnell aufsetzen und kann durch gezielte Feinabstimmung noch weiter optimiert werden. Ein entscheidender Vorteil bei der Handhabung dieser Systeme besteht darin, dass nicht alle Dokumente oder ganzen Texte in das Prompt integriert werden müssen. Stattdessen können die relevantesten und wichtigsten Textabschnitte gezielt ausgewählt werden, um die verfügbaren Tokens effizient zu nutzen. Diese Selektivität ermöglicht es, den Fokus auf die wirklich entscheidenden Informationen zu legen, was die Präzision und Relevanz der Antworten deutlich verbessert.
Dieser Prozess erfordert eine präzise Anpassung der Prompts an den spezifischen Use Case, um sicherzustellen, dass die wichtigsten Informationen aus den zugrunde liegenden Daten extrahiert werden. Da diese Chatbots nicht einem starren Regelwerk folgen, sondern dynamisch auf Anfragen reagieren, müssen alternative Evaluierungsmethoden herangezogen werden, um ihre Leistung effektiv zu überwachen.
Hierbei ist ein Monitoring-System unerlässlich, um kontinuierlich die Genauigkeit und Relevanz der Antworten sicherzustellen.
Ein bedeutender Vorteil der dokumentenbasierten Chatbots ist ihre Fähigkeit, Mehrsprachigkeit automatisch zu unterstützen, ohne dass die zugrunde liegenden Dokumente in jede mögliche Sprache übersetzt werden müssen. Diese Chatbots können Anfragen in verschiedenen Sprachen verstehen und relevante Informationen extrahieren, unabhängig davon, in welcher Sprache das ursprüngliche Dokument verfasst wurde. Darüber hinaus können diese Systeme so konfiguriert werden, dass sie die Quellen ihrer Antworten stets angeben, was es den Nutzern ermöglicht, die gelieferten Informationen zu überprüfen – eine Möglichkeit, die in vielen Fällen nicht nur sinnvoll, sondern unverzichtbar ist.
Eine Herausforderung besteht darin, dass durch die Beschränkung auf bestimmte Textabschnitte die globale Sicht auf das gesamte Informationsspektrum oftmals fehlt. Es gilt daher, eine ausgewogene Strategie zu entwickeln, die entscheidet, welche Abschnitte in die Abfrage einfließen sollen. In manchen Fällen könnte es auch sinnvoll sein, die Strategie zu erweitern, etwa durch die Integration von Graph Datenbanken, um eine umfassendere und zusammenhängende Informationsbasis zu bieten. Letztlich hängt die optimale Lösung stark vom spezifischen Anwendungsfall ab, was die Implementierung und Feinabstimmung dieser Chatbots anspruchsvoll, aber auch äußerst wirkungsvoll macht.
Der Vergleich – ein klarer Favorit?
Der wesentliche Unterschied zwischen traditionellen und dokumentenbasierten Chatbots liegt in ihrer Flexibilität und Fähigkeit, auf spezifische Daten zuzugreifen. Dokumentenbasierte Chatbots können Informationen aus umfangreichen Dokumentenquellen extrahieren und auf komplexe, individuelle Fragestellungen eingehen. Sie sind jedoch darauf angewiesen, dass die benötigten Informationen in ihren Dokumenten oder Trainingsdaten enthalten sind; andernfalls können sie Halluzinationen erzeugen, wenn sie versuchen, Antworten auf nicht dokumentierte Fragen zu geben.
Im Vergleich dazu sind traditionelle Chatbots oft auf vorgefertigte Szenarien und vordefinierte Antworten beschränkt. Diese Chatbots neigen nicht zu Halluzinationen, da sie strengen Regeln folgen und können somit keine falschen Antworten liefern, sondern höchstens unpassende. Sie haben jedoch Schwierigkeiten bei der Bearbeitung komplexer oder unvorhergesehener Anfragen, die von ihren Trainingsdaten abweichen.
Ein Fortschritt bei traditionellen Chatbots ist die Intenterkennung durch große Sprachmodelle (LLMs), die deren Fähigkeiten verbessern kann. So wird die Erkennung der Nutzerabsicht nicht nur präziser, sondern auch robuster, selbst bei neuen oder unerwarteten Eingaben. In Hinblick auf die Mehrsprachigkeit des Systems, wird die Pflege der Datensätze vereinfacht, da weniger spezifische Trainingsdaten erforderlich sind, um stabile Ergebnisse in verschiedenen Sprachen zu erzielen.
Die Wahl zwischen dokumentenbasierten und traditionellen Chatbots hängt stark von den spezifischen Anforderungen und Prioritäten der jeweiligen Anwendung ab. Beide Ansätze haben ihre Stärken und Schwächen. Traditionelle Chatbots überzeugen durch ihre Zuverlässigkeit und Regelkonformität – sie sind ideal für Szenarien, in denen präzise, vorgegebene Antworten benötigt werden und Stabilität von großer Bedeutung ist. Als 1st Level Support Chatbots können sie sich wiederholende Fragestellungen hervorragend automatisiert und zuverlässig bearbeiten und den Human Support entlasten. Auf der anderen Seite bieten dokumentenbasierte Chatbots Flexibilität in dynamischen Umgebungen, in denen sich Informationen häufig ändern und es entscheidend ist, schnell auf neue Inhalte zugreifen zu können. Anwendungsfälle, in denen Aktualität und Anpassungsfähigkeit im Vordergrund stehen, profitieren stark von dieser Flexibilität.
Anna Holzmann ist seit über 3 Jahren Data & AI Engineer bei der MATHEMA GmbH und arbeitet mit Datenplattformen wie Snowflake und Databricks. Sie verarbeitet und bereitet Daten auf, trainiert Machine-Learning-Modelle und realisiert Unternehmens-Use-Cases durch die Integration neuer Technologien.Darüber hinaus hat sie bereits mehrere Unternehmens-Chatbots für Kunden erfolgreich umgesetzt. (Stand 2024)
