Chatty - Unser interner Wissenschatbot
Dein digitaler Assistent für Wissen und Zusammenarbeit
Vorbei sind die Tage, an denen wir uns in einem undurchdringlichen Meer von Dokumenten verloren haben - jetzt können wir direkt mit ihnen chatten!
Ausgangslage
Mit Chatty, unserem intern entwickelten Chatbot, adressieren wir die Problematik, dass Informationen im Unternehmen oft verteilt liegen und nicht schnell aufzufinden sind. Häufig liefern Suchfunktionen nicht die gewünschten Ergebnisse und der Überblick über alle vorhandenen Informationen fehlt.
Das kennen wir auch von Zeit zu Zeit. Auch wenn die Inhalte überarbeitet und in unserem internen Wiki bereitgestellt werden, sieht sich unsere Personalabteilung oft die gleichen Fragen von Mitarbeitenden beantworten: „Wie buche ich Stunden?“, „Ist es Arbeitszeit, wenn ich zu einem Kunden fahre?“, „Wie beantrage ich die Reisekostenerstattung?“, „Was muss ich beim Abschluss vom JobRad steuerlich beachten?“, „Was mache ich, wenn ich einen halben Tag krank bin?“
Immer wieder die gleichen Fragen zu beantworten, wird schnell ermüdend und um unsere Personalabteilung zu entlasten, haben wir uns der Herausforderung gestellt, ein Medium zu schaffen, das die Informationen übersichtlich darstellt und rund um die Uhr für unsere Mitarbeiter zugänglich ist. So wurde eine Brücke geschlagen, die beide Seiten stabilisiert und entlastet.
Umsetzung
Mit Chatty wollen wir dieser Situation Ordnung bringen! Chatty ist unsere interne schlaue Eule, die als Microsoft Teams App den Mitarbeitenden Tag und Nacht zur Verfügung steht. Chatty greift auf Wissen aus dem internen Wiki zurück, in dem Personalthemen dokumentiert sind. So wollen wir unsere Personalabteilung entlasten und gleichzeitig Informationen leichter zugänglich machen.
Initiales Daten Einlesen: Anbindung an unser internes Wiki
Unsere Applikation ist in der Lage, Inhalte aus ausgewählten Seiten des internen Wikis zu extrahieren und durchsuchbar abzulegen. Dabei werden die Texte in kleine Abschnitte aufgeteilt (Chunks) und als Vektorrepräsentation (Embedding) in einer Vektordatenbank abgelegt. In unserem Fall werden die Inhalte beim Hochfahren der Applikation einmalig ausgelesen und nur bei Änderungen der Inhalte muss dieser Schritt wiederholt werden. Dabei kann die Aktualisierung der Inhalte zyklisch eingestellt werden. Die Mitarbeitenden müssen keine Dokumente heraussuchen oder hochladen. Die Themengebiete sollen dabei nach und nach erweitert werden.
Abbildung 2: Einlesen und Abspeichern der Dokumenteninhalte
Wichtig: Die Quelle der Inhalte wird immer mit abgespeichert und ist jederzeit abrufbar, um eine Überprüfbarkeit der Information zu gewährleisten.
Fragen und Antworten: Retrieval Augmented Generation (RAG)
Sobald ein User etwas in den Chat schreibt, wird die Frage in ein Embedding übersetzt und ähnliche Textabschnitte in der Vektordatenbank gesucht. Diese Textabschnitte werden wiederum in den Prompt für das LLM eingefügt. Die daraus generierte Antwort wird dem User im Chat angezeigt. So können Inhalte ohne ein aufwendiges und teures Training in einen Chatbot integriert werden!
Abbildung 3: Abfrage von Informationen
Als Microsoft Teams App in der Organisation, kann jeder Mitarbeitende mit Chatty unkompliziert kommunizieren. In wenigen Sekunden erhält der Benutzer eine Antwort und kann die Informationen anhand der Quellenangabe überprüfen. Das ist besonders wichtig, da Chatty nur eine Hilfestellung darstellt und keine bindenden Vereinbarungen eingehen kann, auch wenn Chatty am Anfang fälschlicherweise Weiterbildungen in Singapur genehmigen wollte.
Abbildung 4: Auszug Konversation
Validierung: Grundgerüst steht schnell, aber der Feinschliff ist Arbeit!
Vor dem produktiven Deployment der Applikation und bevor allen Mitarbeitenden Chatty zur Verfügung gestellt werden kann, ist es essenziell die Applikation und ihre Funktionalität zu validieren. Auf eine Frage kommt immer eine Antwort, aber sind sie auch korrekt? Kann man Chatty austricksen? Das hängt von den Quellen ab und deshalb sollte die Korrektheit der Quellen im Vordergrund stehen. Durch Chatty konnten veraltete Informationen im Wiki aufgedeckt und aktualisiert werden. Doch wie mit jeder KI kann man sich nicht immer vollständig auf die Antworten verlassen, weshalb eine Quellenüberprüfung nie schadet.
Hier zeigt sich, dass die Datenaufbereitung entscheidend ist und nicht unterschätzt werden darf. Um typische Fragestellungen zu evaluieren und Ansätze miteinander zu vergleichen, werden automatisierte Reports mit Metriken ausgeleitet. So können zum Beispiel verschiedene Sprachmodelle und Prompts miteinander verglichen werden.
Ausblick und Fazit
Unsere „Chat with your documents“-Applikation Chatty ist spezialisiert auf den Use Case, Mitarbeitenden Informationen aus unserem Wiki zu vermitteln. Nach und nach sollen immer mehr Inhalte und Seiten eingespeist werden. Dabei spielt die Evaluierung der Applikation bei der Entwicklung eine wichtige Rolle, um die Qualität der Antworten sicherzustellen.
Im Unternehmen kommt Chatty sehr positiv an und ist jetzt schon nicht mehr wegzudenken. So gibt es bereits viele Ideen für Erweiterungen: die Integration der Qualitätsmanagement Richtlinien, eine Anbindung an Outlook, beispielsweise mit der Abfrage, ob ein Raum im Büro belegt ist, etc.
Die Möglichkeiten sind grenzenlos! Wir bieten Chat-with-your-documents Applikationen auch für viele weitere Anwendungsbereiche an:
- Qualitätsmanagement
Anna Holzmann ist seit über 3 Jahren Data & AI Engineer bei der MATHEMA GmbH und arbeitet mit Datenplattformen wie Snowflake und Databricks. Sie verarbeitet und bereitet Daten auf, trainiert Machine-Learning-Modelle und realisiert Unternehmens-Use-Cases durch die Integration neuer Technologien. An GenAI und Sprachmodellen (LLM) führt aktuell kein Weg vorbei, und so entstand auch die Idee des internen Wissenschatbots Chatty. (Stand 2024)
