Neue Funktionalitäten

Unterstützung für Teradata Datenbanken

Datenquelle

Die Verbindung zu einer Teradata-Datenbank ist nun möglich. Dazu wurde in der "Ado.Net Datasource" der entsprechende Provider ergänzt.

Um die neue Funktionaliät zu nutzen, legen Sie mit der Funktion "Data Connections" → "Data Sources" → "New Data Source"  einen neue Datenquelle an:

• Wählen Sie zunächst "AdoNet Data Source" als Typ der Datenquelle aus
• Anschließend wählen Sie "Teradata 16.20" aus der Liste der Provider aus.

Datenziel

Um ein Datenziel für Teradata anzulegen, wählen Sie  "Data Connections" → "Data Destinations" → "New Data Destination" und legen so ein neues Datenziel an.

• Wählen Sie als Datenziel-Typ "AdoNet Data Destination" aus. 
• Wählen Sie in der Auswahlliste zum Provider den Eintrag "Teradata" aus, um ein Datenziel für eine Teradata-Datenbank anzulegen.

Neue Matrix-Testoberfläche

Es ist nun möglich eine ausgewählte Matrix über eine separate Oberfläche zu testen. Dazu finden Sie unter dem Bereich "Matching Settings" in der Navigation im Management Studio nun den Eintrag "Matrix Test Interface":

So nutzen Sie die Vergleichsoberfläche:

• Wählen Sie im ersten Schritt die Matrix, die Sie zum Vergleich heranziehen wollen aus der Liste aus. Im obigen Beispiel wurde eine Firmenvergleichsmatrix für SAP verwendet.
• Tragen Sie nun die entsprechenden zu vergleichenden Datensätze in die Tabelle ein. Sie können auch geeignete Daten aus einem vorherigen Test mit der Funktion "Load" übernehmen.
• Mit der Funktion "Compare" werden die Datensätze miteinander verglichen, das Ergebnis wird in die Tabelle in die erste Spalte eingetragen: 

• Mit "Head" wird der Kopfdatensatz der Dublettengruppe gekennzeichnet
• Handelt es sich um eine Dublette zu Head, so wird die Trefferspalte aus der Matrix in die Spalte "HitColumn" als Zahlenwert eingetragen.

Sie können die Tests beliebig wieder holen, nutzen Sie die Funktion "Save" um Ihre Eingaben in die Oberfläche in eine Datei zu sichern. So stehen diese jederzeit für wiederholte Tests zur Verfügung.

Dublettenabgleich mit Mehrfachwerten

Bisher war ein Abgleich von Feldern, die mehrere mögliche Inhalte boten nur mittels spezieller Feldinhalte und Plugins möglich. Mit dieser Vorgehensweise kam gleichzeitig der Nachteil, dass nicht nach den hinten stehenden Feldinhalten indiziert werden konnte. Dies führte dazu, dass zwar die Matrix den Datensatz erkennen kann, aber der Datensatz trotzdem nicht gefunden wurde, weil dieser nicht in der Vorauswahl selektiert wurde.

Daher wird nun in der InMemory Datenbank ein Multi-Wert-Feld unterstützt.

So nutzen Sie die Multi-Felder

Ein Multi-Wert-Feld wird in der Einstellung der In Memory Data Destination konfiguriert. Doppelklicken Sie dazu "Data Connections → Data Destination → <Ihr InMemory-Datenziel>" und öffnen Sie die Einstellungen zum Index:

Nun können Sie im nächsten Schritt in der Spalte "Multivalue" für das Feld, das mehrere Werte beinhalten soll das Häkchen setzen und so den Index darauf vorbereiten. Das Feld benötigt für die korrekte Funktionsweise die Feldinhalte in einem codierten Format (JSON).

Damit Sie diesen Wert auf einfache Art und Weise generieren können, steht Ihnen im Workflow eine neue Aktivität zur Verfügung, die Funktion "Combine MultiValue":

Mit dieser Aktivität können Sie mehrere Quellfelder aus der Struktur auswählen, diese werden dann in das neue Multi-Wert-Feld geschrieben. Nutzen Sie die Funktion z.B. während der Transaktion bei der Befüllung des Datenziels. Natürlich können Sie das Zielformat für das Multifeld auch direkt über eine Datenquelle im korrekten Format anliefern.

Das genutzte JSON-Format sieht wie folgt aus (Beispiel): 

{"RUFNR1":"125970","RUFNR2":"12597-300"}

Anbindung von Data Quality Express 2

Data Quality Express ist ein Service, auf dem Sie grundlegende Dienste auf Basis einfacher Kontingente nutzen können. Ob postalische Validierung, Anreicherung von Firmeninformationen über das Handelsregister-Verzeichnis oder die Prüfung auf Insolvenzen bietet Data Quality Express günstige und nutzungsabhängige Dienste, die in Ihre Workflow eingebunden werden können.

Damit Sie diesen Dienst noch einfacher nutzen können haben wir die Einstellungsmöglichkeiten in Data Quality Express weiter verbessert und an die neuen Standards angepasst. So können nun Verbindungseinstellungen zentral in der Konfiguration von Data Quality Server hinterlegt und mehrfach in Workflows genutzt werden.

So nutzen Sie die neue Anbindung an Data Quality Express:

1. Wählen Sie unter "Recordbased Operations" den Eintrag "DQ Express² Connections" aus und legen Sie mit der rechten Maustaste ein neues Einstellungsobjekt an
2. Geben Sie dem Objekt einen Namen
3. Übernehmen Sie den Endpunkt für Data Quality Express 2: "https://api.data-quality-express.de"
4. In Username und Passwort können Sie Ihre individuellen Zugangsdaten eintragen

Über "Check remaining contingent" können Sie sich den aktuellen Stand Ihrer vorhandenen Kontingente anzeigen lassen.

"Test Connection" überprüft, ob der Endpunkt erreichbar ist und ob die Login-Daten korrekt eingestellt wurden.

Im Idealfall sind Sie nun bereit für DQ-Express 2 und können den Dienst direkt aus Ihren Workflows nutzen.

So nutzen Sie die Einstellung im Workflow:

Schritt1: Wählen Sie die Aktivität aus der Liste der verfügbaren Aktivitäten im Workflow aus.

Schritt 2: Konfigurieren Sie die Parameter der Aktivtät, indem Sie folgende Parameter setzen:

Task Manager

Stoppen von Prozessen überarbeitet

Um einen Prozess im Manager zu stoppen, konnte man die Option "Prozess stoppen" wählen. Dadurch wurde versucht einen ordentlichen Abbruch zu erzeugen. Wählte man diese Option erneut, konnte man den Prozess zum sofortigen Abbruch zwingen, was dem Benutzer jedoch nicht ersichtlich war. Diese zwei Vorgehen wurden in zwei separate Optionen getrennt.

Wollen Sie den Prozess "sanft" abbrechen, nutzen Sie die Option "Cancel". Der Prozess endet dann sobald er auf die Anforderung reagieren kann.

Wollen Sie den Prozess "hart" abbrechen, nutzen Sie die Option "Kill". Diese beendet den betroffenen Prozess unabhängig vom Laufstatus des Prozesses. Diese Option sollte nur genutzt werden, wenn der Prozess nicht mehr auf normale Abbruchanforderungen reagiert. Sofern der Prozess auf Datenquellen und Ziele zugreift kann können dabei offene Dateien oder Datenbankverbindungen zurückbleiben. Wir empfehlen daher, zeitnah einen Serverneustart einzuplanen um Sperren zu entfernen.

Workflow

Export der Workflows verbessert

Beim Export eines Workflows werden nun auch alle Einstellungen wie Datenquellen, Matrizen, Workflows etc. exportiert, die vom Hauptworkflow verwendet werden.

Über die Funktion "Export Workflow Settings" können Sie einen Workflow sowie die dazu gehörenden Objekte in einer ZIP-Datei exportieren. Es werden nun viele weitere Objekte, die im Workflow genutzt werden ebenfalls mit in die Export-Datei übernommen. Diese finden Sie dann in den entsprechenden Unterverzeichnissen in der ZIP-Datei.

So können Sie einfach Änderungen von einer Serverinstanz auf eine andere übernehmen.

Neue Aktivität: Ländervereinheitlichung

Mit der neuen Aktivität "Ländervereinheitlichung" können nun Länderangaben um verschiedene Daten wie ISO2, ISO3 und offizielle Landesbezeichnungen angereichert werden.

Optische Verbesserung in den Script-Aktivitäten

Die Farben in den Script-Editoren der SQL- und C#-Skript-Aktivität wurden angepasst, damit die Benutzung angenehmer ist:

Allgemeine Verbesserungen

Bugfixes