AUTORIN Anna Holzmann

Ganzheitliches Monitoring für KI-Modelle

Du hast es geschafft! Nach unzähligen Stunden des Codens, Experimentierens und Feintunens läuft dein KI-Modell endlich. Die harte Entwicklungsarbeit liegt hinter dir – oder etwa nicht? Klar, das Modelltraining ist ein gigantischer Meilenstein, aber die Reise endet hier noch lange nicht.

Wenn ein ML-Modell in Produktion steht, hört die Arbeit mit den Daten und dem Modell nicht auf: stattdessen beginnt der wichtige Prozess des Monitorings. Model Monitoring bezieht sich auf die kontinuierliche Überwachung und Beobachtung von Machine Learning (ML)-Modellen, die sich bereits im Produktivbetrieb befinden. Das Ziel ist es sicherzustellen, dass sie zuverlässig, genau und relevant bleiben.

Warum Überwachung?

Übersicht und kontinuierliche Überwachung eines KI-Modells sind essenziell, nicht nur um mögliche Verschlechterungen zu erkennen, sondern auch um sicherzustellen, dass das Modell überhaupt korrekt und vertrauenswürdig funktioniert. Selbst wenn ein Modell initial zufriedenstellend performt, können sich Zusammenhänge ändern – sei es durch Verschiebung der Datenverteilung (sogenanntes Data Drift) oder externen Faktoren wie Marktdynamiken. Ohne laufende Überwachung werden solche Änderungen wahrscheinlich unerkannt bleiben, was zu Fehlern durch Modelle führt, die möglicherweise erhebliche Auswirkungen haben, sei es auf Geschäftsergebnisse, das Vertrauen der Nutzer oder gegen regulatorische Anforderungen und Richtlinien verstoßen.

Schlüsselaspekte beim Model Monitoring

• Modellperformance: Vorhersagen von Modellen für Trainings- und Produktionsdaten können gespeichert und mit den wahren Werten verglichen werden, so kann sichergestellt werden, dass das Modell entsprechend den definierten Metriken und Zielen arbeitet.
• Daten-Drift: Da Machine Learning-Modelle auf historischen Daten trainiert werden, können Veränderungen in den Dateneigenschaften dazu führen, dass ein Modell in der Produktion über die Zeit schlechtere Vorhersagen trifft.
• Datenqualität: Überwachung der Eingangsdaten auf Vollständigkeit, Rauschen oder Fehler, die das Modell negativ beeinflussen könnten.
• Anomalie Erkennung: Überwachung auf unvorhergesehene oder extrem seltene Ereignisse, die das Verhalten des Modells beeinflussen können. Ungewöhnlich extreme Messwerte aufgrund einer Fehlfunktion einer Maschine können beispielsweise zu einer Zunahme von fehlerhaften Vorhersagen führen.
• Fairness und Bias: Sicherstellen, dass das Modell keine diskriminierenden Vorhersagen trifft.  Ein Bias in den Daten könnte zu vorurteilsbehafteten Vorhersagen durch das Modell führen, was einzelne Menschengruppen unfair benachteiligen kann.
• Compliance und Governance: Einhaltung von gesetzlichen und regulatorischen Vorschriften erfordern den Nachweis, dass das Modell robust ist und in einem breiten Spektrum von Szenarien konsistent gute Ergebnisse liefert.

Wie könnte ein Model Monitoring System aussehen?

Wird die Entscheidung getroffen, das Modell On-Premises zu deployen, beispielsweise um eine enge Kontrolle über die Daten und Systeme zu behalten oder zur Minimierung von Latenzen in der Kommunikation zwischen Anwendungen, können alle zugehörigen Services flexibel als Docker Container bereitgestellt werden. Diese Architektur ermöglicht es, ein oder mehrere Modelle zentral einzubetten und auf weitere Anforderungen einzugehen. Im Folgenden wird eine mögliche Architektur eines solchen Systems beschrieben. Die Grundsätze sind auch auf ein Cloud-Deployment anwendbar und es können passende cloud-native Services genutzt werden, die je nach Cloudanbieter variieren.

Bereitstellung des Model Endpoints als Docker-Container

Das Modell wird als Docker-Container bereitgestellt, was eine flexible und konsistente Umgebung schafft, um es in der Produktion auszuführen. Dieser Container ermöglicht es, das Modell als API-Endpunkt zu nutzen, wobei alle eingehenden Anfragen (Input-Daten) und die entsprechenden Modellvorhersagen (Outputs) in einer Datenbank gespeichert werden. Die dadurch gewährleistete Persistenz von Daten ist entscheidend für die nachträgliche Analyse und Bewertung der Modellleistung. Es kann sinnvoll sein, eine eigene API als Vermittler anzubieten, wenn der Modellcontainer nicht direkt in die Datenbank schreiben kann oder keine Applikationslogs erzeugt.  

Kontinuierliche Evaluation in definierten zeitlichen Abständen

Um die Modelperformance über die Zeit zu überwachen, wird eine fortlaufende Evaluation gemäß einem Zeitplan durchgeführt. Diese Evaluation vergleicht die Vorhersagen des Modells mit einem festgelegten Referenzdatensatz sowie den aktuellen Produktionsdaten. Hierbei werden Metriken zu Data Drift und Datenqualität erfasst und analysiert. Die Ergebnisse dieser Analysen werden in der Datenbank gespeichert und liefern Informationen darüber, ob das Modell weiterhin gute Vorhersagen trifft oder ob Anpassungen nötig sind. Dieser Ablauf kann mithilfe eines Orchestrierungs-Tools gesteuert und eingesehen werden.

Applikationslogs

Alle laufenden Services (einschließlich des Modelcontainers, der Überwachungs-Tools, etc.) generieren kontinuierlich Logs, die systematisch erfasst und gespeichert werden. Diese Logs geben Aufschluss über Ereignisse im System, wie z.B. Fehlermeldungen, Ausfälle oder außergewöhnliche Verhaltensweisen, und sind unerlässlich für das Debugging und die Sicherstellung eines stabilen Betriebs.

Host-Metriken und Service Health Monitoring

Zusätzlich zu den Applikationslogs werden auch Host-Metriken systematisch abgefragt, um sicherzustellen, dass alle Services auf dem Host-Server erreichbar und in einem „gesunden“ Zustand sind. Dies umfasst die Überwachung von CPU-Auslastung, Speicherverbrauch, Netzwerkverkehr und anderem, um frühzeitig Engpässe oder Ausfälle zu erkennen und zu beheben.

Service-Aufrufstatistiken

Eine detaillierte Überwachung erfasst die Häufigkeit und Art der Anfragen, die an den Modelendpunkt gesendet werden. Es wird protokolliert, wie oft welcher Endpunkt genutzt wird, sowie die Erfolgsrate (Status-Codes) dieser Aufrufe. Diese Metriken helfen Anomalien wie plötzliche Nutzungsspitzen zu identifizieren und darauf zu reagieren.

Darstellung und Aufbereitung der gesammelten Daten

Alle zuvor gesammelten Daten, ob es sich um Metriken, Logs oder Evaluationsergebnisse handelt, werden in einem zentralen Dashboard visualisiert. Dieses Dashboard bietet eine übersichtliche Darstellung der Modellleistung, der Systemgesundheit und der Service-Nutzung. Darüber hinaus können Alerts eingerichtet werden, die Benachrichtigungen auslösen, wenn bestimmte Schwellenwerte überschritten werden (z.B. bei Performanceeinbrüchen, Systemausfällen oder verdächtigen Datenänderungen). Diese ermöglichen eine effektive Wartung und frühzeitige Optimierung des Modells und der zugrunde liegenden Infrastruktur.

ÜBER DIE AUTORIN

Anna Holzmann ist seit über 3 Jahren Data & AI Engineer bei der MATHEMA GmbH und arbeitet mit Datenplattformen wie Snowflake und Databricks. Sie verarbeitet und bereitet Daten auf, trainiert Machine-Learning-Modelle und realisiert Unternehmens-Use-Cases durch die Integration neuer Technologien. Ein robustes Monitoring-System ist für die erfolgreiche Implementierung und den langfristigen Betrieb von KI-Modellen entscheidend. (Stand 2024)