Industrializing Data Integration Projects using a Metadata Driven Assembly Line
-
Albert Maier
Abstract
Data integration is essential for the success of many enterprise business initiatives, but also a very significant contributor to the costs and risks of the IT projects supporting these initiatives. Highly skilled consultants and data stewards re-design the usage of data in business processes, define the target landscape and its data models, and map the current information landscape into the target landscape. Still, the largest part of a typical data integration effort is dedicated to the implementation of transformation, cleansing, and data validation logic in robust and highly performing commercial systems. This effort is simple and doesn´t demand skills beyond commercial product knowledge, but it is very labour-intensive and error prone. In this paper we describe a new commercial approach to data integration that helps to “industrialize” data integration projects and significantly lowers the amount of simple, but labour-intensive work. The key idea is that the target landscape for a data integration project has pre-defined data models and associated meta data which can be leveraged for building and automating the data integration process. This approach has been implemented in the context of the support of SAP consolidation projects and is used in some of the largest data integration projects world-wide.
Zusammenfassung
Bei vielen Umstrukturierungsprojekten in Unternehmen spielt die Datenintegration eine entscheidende Rolle. In den zugehörigen IT Projekten sind ein signifikanter Teil der Kosten sowie des Projektrisikos auf Datenintegration zurückzuführen. Hochdotierte Berater und Datenverantwortliche gestalten die Verwendung der Daten in Geschäftsprozessen neu, definieren die zukünftige IT Landschaft und deren Datenmodelle, und erstellen Abbildungsvorschriften zwischen alten und neuen Anwendungssystemen. Trotzdem steckt ein Großteil des Aufwands von Datenintegrationsprojekten immer noch in der Implementierung von Transformationsvorschriften, Datenaufbereitungs- und Validierungslogik in hochperformanten kommerziellen Systemen. Diese Tätigkeiten sind relativ einfach und verlangen nur Kenntnisse in der eingesetzten Basissoftware. Jedoch sind diese Tätigkeiten arbeitsintensiv und fehleranfällig. In diesem Artikel beschreiben wir einen neuen kommerziellen Ansatz für Datenintegrationsprojekte, welcher diese “industrialisiert” und dabei die einfachen, aber fehleranfälligen Arbeitsschritte signifikant reduziert. Der Ansatz basiert auf der Ausnutzung von Datenmodellen und Metadaten der neuen Anwendungssysteme zur Automatisierung der Datenintegrationsprozesse und zur Generierung der den Prozessschritten zu Grunde liegenden Artefakte. Dieser Ansatz wurde zur Unterstützung von SAP Konsolidierungsprojekten entwickelt und wird derzeit in einigen der weltweit größten Datenintegrationsprojekten eingesetzt.
© by Oldenbourg Wissenschaftsverlag, Boeblingen, Germany
Articles in the same Issue
- Datenintegration
- Schema Mapping and Data Exchange Tools: Time for the Golden Age
- Industrializing Data Integration Projects using a Metadata Driven Assembly Line
- Multi-Scale Data Integration Challenges in the Observational Science Data Space
- Frontiers in Crowdsourced Data Integration
- Managing Uncertainty: The Road Towards Better Data Interoperability
- Source-Path-Goal: Investigating the Cross-Linguistic Potential of Frame-Semantic Text Analysis
Articles in the same Issue
- Datenintegration
- Schema Mapping and Data Exchange Tools: Time for the Golden Age
- Industrializing Data Integration Projects using a Metadata Driven Assembly Line
- Multi-Scale Data Integration Challenges in the Observational Science Data Space
- Frontiers in Crowdsourced Data Integration
- Managing Uncertainty: The Road Towards Better Data Interoperability
- Source-Path-Goal: Investigating the Cross-Linguistic Potential of Frame-Semantic Text Analysis
