Data Integration Manager

Geschäftsprozesse sind nur so verlässlich wie die Daten, auf denen sie basieren. In vielen Unternehmen werden Daten über manuelle Exporte, Copy-Paste oder unkontrollierte Schnittstellen übernommen. Jeder dieser Wege ist eine potenzielle Fehlerquelle. Fehlerhafte Daten fallen oft erst auf, wenn eine Entscheidung bereits getroffen oder ein Bericht veröffentlicht wurde.

Der Data Integration Manager macht Datenimporte zu einem kontrollierten, wiederholbaren Prozess: mit Validierung vor dem Import, Transformation während des Imports und Nachbearbeitung nach dem Import.

Jede neue Datenquelle bedeutet in klassischen Projekten ein eigenes Integrationsprojekt: Mapping definieren, Transformationsregeln programmieren, Fehlerbehandlung implementieren, Tests schreiben. Die IT-Abteilung wird zum Engpass, weil jede Schnittstelle individuelle Entwicklung erfordert.

Der Data Integration Manager bietet all das als konfigurierbare Plattformfunktion. Datenquellen werden über eine zentrale Verwaltung angebunden, Import-Schemas definiert und wiederverwendet. Der Aufwand pro Schnittstelle sinkt erheblich, und Integrationen werden planbar statt projektabhängig.

Heterogene IT-Landschaften sind die Regel, nicht die Ausnahme. Legacy-Systeme, Fachabteilungen mit eigenen Excel-Listen, externe Partner mit unterschiedlichen Formaten. Genau diese Vielfalt deckt der Data Integration Manager ab.

Er unterstützt Datenbanken über OLE DB (Oracle, MySQL, MS SQL Server und weitere), Excel-Dateien, CSV-Dateien und benutzerdefinierte Datenquellen über SQL-APIs. Damit lassen sich typische Integrationsszenarien abbilden: von der Übernahme aus Legacy-Systemen über Batch-Importe aus Fachabteilungen bis zur regelmäßigen Synchronisation mit externen Partnern.

Datenqualitätsprobleme, die beim Import ins System gelangen, verursachen Folgekosten in jeder nachgelagerten Verarbeitung. Falsche Verknüpfungen, fehlende Pflichtfelder, inkonsistente Formate. All das zu bereinigen kostet ein Vielfaches des ursprünglichen Imports.

Vor jedem Import führt der Data Integration Manager automatische Integrationstests durch, etwa die Prüfung auf Fremdschlüssel-Konsistenz. Daten werden vor der Übernahme validiert, bereinigt und bei Bedarf transformiert. Fehlerhafte Datensätze werden nicht stillschweigend übernommen, sondern protokolliert und zur Klärung markiert. Der Import wird damit nicht zum Einfallstor für Datenqualitätsprobleme, sondern zum Qualitätsfilter.

Import-Schemas werden zentral verwaltet und definieren die vollständige Import-Pipeline: Quelldatenbank oder -datei, Mapping zwischen Quell- und Zielattributen, Transformationsregeln auf Feldebene, Validierungsbedingungen und Nachbearbeitungsschritte. Für jede Datenquelle wird die Verbindung konfiguriert (OLE DB-Connection-String, Dateipfad oder SQL-API), die Quelltabellen und -felder ausgewählt und den Zieltabellen zugeordnet.

Auf Feldebene können Transformationsregeln definiert werden: Typkonvertierungen, Wertzuordnungen, Berechnungen und Bereinigungen.

Data Cleansing umfasst die automatische Normalisierung von Formaten, die Erkennung und Behandlung ungültiger Werte sowie die Konsolidierung von Datenbeständen.

Pre-Import-Filterung ermöglicht es, vor dem eigentlichen Import die zu übernehmenden Datensätze durch Bedingungen einzuschränken, um nur relevante Daten zu verarbeiten.

Der Data Integration Manager prüft automatisch die Konsistenz von Fremdschlüsselverweisen. Wenn importierte Datensätze auf Zielobjekte verweisen, wird vor der Übernahme geprüft, ob diese Zielobjekte im System existieren. Many-to-Many-Beziehungen können als Post-Import-Aktion automatisch erzeugt werden.

Die Reihenfolge der Imports wird so gesteuert, dass referenzielle Integrität gewährleistet bleibt.

PostSQL-Nachbearbeitungen werden direkt im Import-Schema konfiguriert und nach erfolgreichem Import automatisch ausgeführt. Typische Anwendungen: Aktualisierung abhängiger Tabellen, Auslösung von Folgeprozessen, Erstellung von Beziehungen. Automatisierte E-Mail-Benachrichtigungen können nach Abschluss eines Imports an definierte Empfängerkreise versendet werden.

Die detaillierte Import-Protokollierung dokumentiert jeden Importvorgang: übernommene Datensätze, Fehler, Warnungen und Verarbeitungszeiten.

Der reguläre Import basiert auf persistenten Import-Schemas, die wiederverwendbar und automatisierbar sind. Der Quick-Import ist für einmalige Ad-hoc-Imports konzipiert: Er ermöglicht die schnelle Übernahme von Daten ohne vorherige Schema-Definition, ideal für initiale Befüllungen oder einmalige Datenmigration.

Beide Varianten nutzen dieselben Validierungs- und Transformationsmechanismen.