Datenmigration

Bei der Fusion von Unternehmen oder der Ablösung älterer IT-Systeme müssen oft auch Kundendaten zusammengeführt, konsolidiert und aufbereitet werden. Diese Daten-migration wird gerne unterschätzt. Doch die notwendigen Schritte sind alles andere als trivial. Es ist wie bei einem richtigen Umzug: Nur wer gut plant und sich sorgfältig vorbereitet, vermeidet unnötigen Stress und hat am Ende alles am richtigen Platz.

Unsere Erfahrungen haben wir in einer automatischen Verarbeitungskette konsolidiert, mit der wir weitgehend automatisiert große Datenmengen verarbeiten können. Für die individuellen Projekte werden Eingangs- und Zielformate angepasst.

Anforderungen an die Migration

In den unterschiedlichen Migrationsprojekten haben sich gemeinsame Anforderungen herauskristallisiert:

Alle wesentlichen Dateninhalte aus den Quellsystemen müssen im Zielsystem erhalten bleiben.
Gleiche Kunden aus unterschiedlichen Datenquellen sollen für eine einheitliche Sicht auf den Kunden ohne Dubletten zusammenführt werden.
Es muss nachvollziehbar sein, woher die Daten ursprünglich kamen, alle Aufbereitungsschritte sollen nachvollziehbar sein.
Bei der Migration von betriebswirtschaftlich relevanten Daten müssen die Migrationsschritte revisionssicher dokumentiert sein.
Datenstrukturen und Inhalte aus unterschiedlichen Quellen müssen vereinheitlicht werden.
Dateninhalte für das Zielsystem sollen möglichst vollständig, aktuell und korrekt sein.
Veraltete, unnötige oder falsche Daten können während der Migration isoliert und archiviert werden.
Manuelle Aufwände für Prüfungen und Korrekturen sollen reduziert werden.
Die einzelnen Schritte der Migration sollen weitgehend automatisiert werden, damit werden die Abläufe testbar und optimierbar.
Die Ausführung der Migration soll in kurzer Zeit geschehen, damit die Ausfallzeiten der Quell- und Zielsysteme möglichst gering bleiben.

Migrationsschritte

Aus positiven Erfahrungen in unseren Migrations- und Konsolidierungsprojekten haben sich folgende Schritte als sinnvoll erwiesen:

I. Migrationskonzept

Der Ablauf der Migration oder Zusammenführung muss im Vorfeld gut geplant werden. Dazu gehört:

Datenstrukturen der Quell- und Zielsysteme mit Objektmodell, Feld- und Referenzdatenbeschreibung erfassen.
Data Profiling der Datenquellen erstellen, Schwachstellen analysieren.
Erforderliche Bereinigungsschritte definieren (z.B. für Namen, Adresse, Telefonnummer, E-Mail).
Kriterien für manuelle Nachbearbeitung von Daten festlegen.
Externe Anreicherungen und externe Referenzdaten definieren.
Objekt-Mapping der Quell-Objekte auf die Zielobjekte, Betrachtung der Objektschlüssel, ggf. Umschlüsselungstabellen.
Feld-Mapping der Quell-Felder auf die Ziel-Felder inkl. Transformationsregeln.
Vorgehen und Schnittstellen zur manuellen Nacharbeit beschreiben.
Gesamtablauf der Abläufe festlegen (Reihenfolge der Objekte).
Umsetzung.

II. Umsetzung

Die Abläufe werden mit Hilfe von ETL-Werkzeugen weitgehend automatisiert. Manuell aufzubereitende Daten werden über die definierten Qualitätseigenschaften erkannt und markiert. Für die Quellsysteme sind Export-Funktionen erforderlich oder es wird ein Zugriff auf die darunterliegenden Datenbanken genutzt. Die Zielsysteme müssen Import-Funktionen bereitstellen. Der Datenexport aus den Quellsystemen und der Datenimport in die Zielsysteme liegt meist in der Verantwortung des Auftraggebers. Wir kümmern uns um die Aufbereitung und Formatierung der Daten.

III. Ausführung der Gesamt- und Delta-Migration

Optimal ist eine einmalige Gesamtmigration. Falls es notwendig ist, parallel alte und neue Systeme zu betreiben, können auch durch Delta-Migration die auftretenden Differenzen der Systeme in nachgelagerten Migrationsläufen behoben werden.

IV. Reporting und Archivierung

Für eine lückenlose Kontrolle der Datenflüsse während der Migration werden alle Schritte und Teilergebnisse protokolliert. Anhand der Protokolldaten können detaillierte Migrationsberichte erstellt werden.

Die Eingangsdaten der Quellen und die Zwischenergebnisse werden auch nach Ende der Migration für Recherchen zur Verfügung gestellt.

Ihre Vorteile

Sie erhalten eine optimierte Datenqualität im Zielsystem.
Sie können den Datenfluss vom Quellsystem zum Zielsystem nachvollziehen.
Wesentliche Inhalte bleiben vollständig erhalten.
Die Methodik und Werkzeuge sind erprobt.
Sie vermeiden Probleme und Nacharbeiten bei Systemeinführung.