Das Monitoring umfasst alle Data Quality Funktionalitäten und Module und greift direkt auf diese zu.

Mit dem Monitoring lässt sich sichtbar machen, was der Server zuletzt getan hat und was er aktuell macht.

Dadurch, dass ein zeitlicher Bezug hergestellt wird, unterscheidet sich das Monitoring von einer einfachen Analyse.

Anfragen an den Server werden nicht nur geloggt, sondern diese lassen sich auch zeitlich zusammenfassen und auswerten.

Folglich sind die Auslastung und die laufenden Prozesse des Data Quality Server jederzeit zu verfolgen und nachzuvollziehen.


Der Screenshot zeigt die Benutzeroberfläche des Data Quality Server Monitorings mit verschiedenen Anzeigeoptionen für Analyse und Reporting.


Einsatz-Szenarien

Das Monitoring wurde für die folgenden Einsatzszenarien entwickelt:

  • Transparenz der Datenqualitätsmechanismen im DQ-Server. Dazu erfolgt die Protokollierung von Leistungsindikatoren bei Aufruf aller Basisfunktionen des Data Quality Server.
  • Regelmäßiges und automatisches Reporting der Datenqualität. Die Ergebnisse des Monitorings werden permanent festgehalten (z.B. in einem Datenbanksystem) und können dort ausgewertet werden. So ist z.B. ein monatliches Review der Datenqualität auf Basis der über den vergangenen Monat gesammelten Informationen möglich.
  • Zentrales Datenqualitäts-Reporting. DQ-Server interne Workflows als auch externe Anwendungen können eigene, individuelle Leistungsindikatoren absetzen und somit auch kundenindividuelle Aspekte abdecken. Die Möglichkeit im sogenannten „Monitoring-Kontext“ eigene Feldinhalte an das Monitoring weiterreichen zu können, erlaubt auch systemindividuelle Informationen wie z.B. den Mandanten für die Beobachtung von Werten zu berücksichtigen. Zudem können einzelne Batch-Läufe beobachtet werden, z.B. bei gezielten Korrekturaktionen, indem eine entsprechende Lauf-Identifikationsnummer mit übergeben wird. So wird eine qualitative Unterscheidung unterschiedlicher Datenquellen ermöglicht.
  • Dokumentation des Zustands der Daten zu einem definierten Zeitpunkt: Es kann eine Prüfung in regelmäßigen Abständen für komplette Datenbestände durchgeführt werden. Die Werte werden dann mit dem entsprechenden Prüfzeitpunkt erfasst. So werden Vorher-Nachher-Vergleiche möglich (z.B. vor Bereinigung einer Datenquelle und nach Bereinigung einer Datenquelle).
  • Aktive Benachrichtigung von Datenqualitätsverantwortlichen bei besonderen Ereignissen. Über ein Echtzeit-Alerting können Benutzer per Email über Ereignisse benachrichtigt werden oder das Ereignis im Event-Log von Windows abgelegt werden. Ein zeitgesteuertes Alerting erlaubt, Abweichungen vom Soll zu erkennen und einen entsprechenden Benutzer zu benachrichtigen.


Leistungsindikatoren (KPI = Key Performance Indicator)

Ein Leistungsindikator beschreibt den Einzel-Wert, der als Nachricht an das Monitoring geschickt wird. Dabei gibt es zwei verschiedene Arten von KPIs:

  • Interne DQ-Server KPIs. Diese werden vom DQ-Server mit ausgeliefert und können nicht entfernt, jedoch aktiviert und deaktiviert werden. Interne KPIs beschreiben alle vom DQ-Server-Kern generierten Informationen.
  • Benutzerdefinierte Leistungsindikatoren: diese können individuell im DQ-Server angelegt werden. Die benutzerdefinierten Leistungsindikatoren können innerhalb eines eigenen Workflow-Schrittes oder von außen über die Meldefunktionen in der Schnittstelle aufgerufen werden.

Beispiel:

Der Leistungsindikator „Aufruf“ bei einer Postalischen Validierung bezeichnet die Verwendung der Postalischen Korrektur. Zusätzlich gibt es einen speziell definierten Indikator für „Korrektur ist OK“ oder „Korrektur ergibt, dass die Adresse falsch ist“ oder „Korrektur ergibt, dass die Adresse Fehler in der Straße aufweist“.

Anhand der Leistungsindikatoren kann grafisch dargestellt werden, wie sich die Qualität der Daten, die in einer Woche geliefert werden, zu den Daten der aktuellen Woche verändert hat oder nicht. Genauso lassen sich Peaks anzeigen oder z.B. wie viele Adressen jeden Tag angelegt werden, oder wie sich die Adressen von heute zu denen von vorletzter Woche geändert haben.


Alerting

Die Leistungsindikatoren lassen sich direkt mit einem Alerting verbinden, das heißt: Unter bestimmten, an die Leistungsindikatoren gebundenen Voraussetzungen erstellt der Server eine Benachrichtigung und verschickt diese an die die verantwortlichen Mitarbeiter. Diese Benachrichtigungsfunktion ist einsetzbar bei: plötzlichen starken Abweichungen in der Verarbeitung großer Datenmengen oder stark zunehmenden Suchanfragen innerhalb kurzer Zeit oder auch bei Treffern in der Sanktionslisten-Abfrage. In der Regel sind es Situationen, die eine sofortige Reaktion erfordern, um Schäden, Leistungsabfall oder weitere Nachteile zu vermeiden.


Monitoring-Kanäle (Pipelines)

Der DQ-Server kann beliebig viele Kanäle für das Monitoring verwalten, damit können Werte in verschiedene logische Reportings aufgeteilt werden und es kann je Kanal festgelegt werden, welche Werte dabei überwacht werden sollen.