Das Import-Modul
für intelligenten Datenimport
In diesem Video zeigen wir Ihnen, wie mit dem Import-Modul sowohl Daten als auch Beziehungen importiert werden können.
Mit dem Import-Modul lassen sich unterschiedliche Daten aus unterschiedlichen Datenquellen strukturieren und zusammenführen.
Es wird aus Dateien, Datenbanken oder Daten extrahiert und konsolidiert.
Danach werden die Daten in die Datenzielstrukturen transformiert (Schema-Mapping) und ggf. bereinigt (Data Cleaning) und schließlich in die Datenbank geladen.
Prüfroutinen sorgen für die Integrität der Zuordnungen.
Extraktion – Transformation – Laden
Extraktion
Daten können aus den verschiedensten Quellen extrahiert und für die Transformation bereits gestellt werden:
- API-Quellen (MS SQL Server, Oracle, MySQL, IBM DB2)
- Dateien (CSV, MS Access, Excel)
- oder auch Direct SQL, C# und OLEDB (universell)
Um immer aktuelle Daten (Ist-Daten) zur Verfügung zu haben, kann die Extraktion periodisch in regelmäßigen Intervallen erfolgen.
Transformation
Bevor die extrahierten Quelldaten in die Datenbank geladen werden können, findet eine Schematransformation der Quelldaten in das Schema der Zielstruktur der Datenbank statt (Schema Mapping).
Im Rahmen der Transformation kann auch die Datenbereinigung (Data Cleaning) der extrahierten Quelldaten stattfinden.
Laden
Entsprechend des Schemas der Zielstrukturen werden die Daten der Quellsysteme unter Wahrung ihrer Integrität in die Datenbank geladen.
Um die Datenqualität der Datenbank sicherzustellen können die zu ladenden Daten überprüft werden (Inhalts- und Vergleichsprüfungen), so dass sichergestellt wird, dass nur konsistente und korrekte Daten in die Datenbank übernommen werden.
Darüberhinaus kann ein Abgleich mit den Datenbankinhalten der Datenbank erfolgen (Datenbank lookup).
Beim Ladevorgang können Daten aus den Datenquellen mit den entsprechenden Pendants in der Datenbank zusammengeführt werden (Data Mapping):
- gleiche Produkte in der Datenquelle und der Datenbank, die aber unterschiedlich heißen, werden unter dem Produktnamen aus der Datenbank zusammengeführt
- beim Laden des Lizenzbestandes in die Datenbank werden die Produkte des Lizenzbestandes mit den entsprechenden Pendants der Produkte des Produktbestandes in der Datenbank zusammengeführt und in Beziehung gesetzt
- es kann bestimmt werden, ob die Daten der Quellsysteme in die Datenbank oder in eine sog. Staging Area geladen werden. Daten aus der Staging Area werden erst nach einer Sichtung bzw. Prüfung (Soll/Ist-Vergleich) in die Datenbank übernommen.