Volume 54, Issue 3 -

In the last 10 years, schema mapping management has become an important research area in data transformation, exchange, and integration systems. The reasons for its success can be found in the declarative nature of its building block (thus enabling clean semantics and easy to use design tools) paired with the efficiency and modularity in the deployment step. In this paper we sketch a line of evolution in schema-mappings and data exchange systems, through what we identify as three main ages. We start presenting the foundations of schema mapping tools and the first tools aimed at translating data from a source to a target schema in the first, heroic age. We then discuss the silver age, when schema mapping tools have grown their way into complex systems and have been translated into both commercial and open-source tools. Finally, we show how recent results in schema-mapping and data-exchange research may be considered the starting point for a forthcoming golden age, with novel research opportunities and a new generation of systems capable of dealing with a significantly larger class of real-life applications. Zusammenfassung In den vergangenen 10 Jahren hat sich die Verwaltung von Schema Mappings zu einem wichtigen Forschungsfeld in den Bereichen der Datentransformation, des Datenaustauschs (Data Exchange) und der Datenintegration entwickelt. Dieser Erfolg begründet sich sowohl durch die deklarative Definition der einzelnen Komponenten (da diese eine klare Semantik und einfache Nutzung der Entwicklunsgtools ermöglicht) als auch durch die Effizienz und Modularität während des praktischen Einsatzes. Dieser Artikel beschreibt die Evolution von Schema Mapping und Data Exchange Tools in drei von uns identifizierten Zeitaltern. Wir beginnen mit einer Übersicht der Grundlagen von Schema Mapping Tools und der ersten Systeme zur Überführung von Daten aus einem Quellschema in ein Zielschema, die das heroische Zeitalter prägen. In einem zweiten Teil besprechen wir das silberne Zeitalter, in dem Schema Mapping Tools zu komplexen Systemen herangewachsen sind, die Anwendung in kommerziellen Produkten und Open Source Anwendungen finden. Zuletzt zeigen wir, wie kürzlich erzielte Ergebnisse der Schema Mapping und Data Exchange Forschung als Einleitung in ein neues Zeitalter, dem goldenen Zeitalter, gesehen werden können, mit neuen Forschungsproblemen und einer nächsten Generation von Systemen, die eine wesentlich breitere Klasse an realen Anwendungen unterstützen.

Data integration is essential for the success of many enterprise business initiatives, but also a very significant contributor to the costs and risks of the IT projects supporting these initiatives. Highly skilled consultants and data stewards re-design the usage of data in business processes, define the target landscape and its data models, and map the current information landscape into the target landscape. Still, the largest part of a typical data integration effort is dedicated to the implementation of transformation, cleansing, and data validation logic in robust and highly performing commercial systems. This effort is simple and doesn´t demand skills beyond commercial product knowledge, but it is very labour-intensive and error prone. In this paper we describe a new commercial approach to data integration that helps to “industrialize” data integration projects and significantly lowers the amount of simple, but labour-intensive work. The key idea is that the target landscape for a data integration project has pre-defined data models and associated meta data which can be leveraged for building and automating the data integration process. This approach has been implemented in the context of the support of SAP consolidation projects and is used in some of the largest data integration projects world-wide. Zusammenfassung Bei vielen Umstrukturierungsprojekten in Unternehmen spielt die Datenintegration eine entscheidende Rolle. In den zugehörigen IT Projekten sind ein signifikanter Teil der Kosten sowie des Projektrisikos auf Datenintegration zurückzuführen. Hochdotierte Berater und Datenverantwortliche gestalten die Verwendung der Daten in Geschäftsprozessen neu, definieren die zukünftige IT Landschaft und deren Datenmodelle, und erstellen Abbildungsvorschriften zwischen alten und neuen Anwendungssystemen. Trotzdem steckt ein Großteil des Aufwands von Datenintegrationsprojekten immer noch in der Implementierung von Transformationsvorschriften, Datenaufbereitungs- und Validierungslogik in hochperformanten kommerziellen Systemen. Diese Tätigkeiten sind relativ einfach und verlangen nur Kenntnisse in der eingesetzten Basissoftware. Jedoch sind diese Tätigkeiten arbeitsintensiv und fehleranfällig. In diesem Artikel beschreiben wir einen neuen kommerziellen Ansatz für Datenintegrationsprojekte, welcher diese “industrialisiert” und dabei die einfachen, aber fehleranfälligen Arbeitsschritte signifikant reduziert. Der Ansatz basiert auf der Ausnutzung von Datenmodellen und Metadaten der neuen Anwendungssysteme zur Automatisierung der Datenintegrationsprozesse und zur Generierung der den Prozessschritten zu Grunde liegenden Artefakte. Dieser Ansatz wurde zur Unterstützung von SAP Konsolidierungsprojekten entwickelt und wird derzeit in einigen der weltweit größten Datenintegrationsprojekten eingesetzt.

In Europe, more than one thousand of laboratories intensively collect data to measure various properties of the Earth. Scientists observe environmental conditions, ecosystems and biological species. The ability to understand complex phenomena (e. g., global warming) and predict trends from spatio-temporal data becomes a major issue in observational science. However, theoretical and technical advances in multi-scale data integration are necessary to achieve this. This paper will present some challenging research directions for integrating such massive multi-scale scientific data. Zusammenfassung In Europa sammeln mehr als tausend Laboratorien Daten, um verschiedene Eigenschaften der Erde zu messen. Die Fähigkeit, komplexe Phänomene (z. B. die globale Erwärmung) zu verstehen und Trends aus räumlich-zeitlichen Daten zu prognostizieren ist ein wichtiges Thema in der beobachtenden Wissenschaft. Allerdings sind theoretische und technische Fortschritte in der Integration von Daten unterschiedlichster Größenordnung (Multi-Scale Data Integration) notwendig, um dies zu erreichen. Dieser Beitrag stellt einige Forschungsherausforderungen in diesem Kontext vor.

There is an ever-increasing amount and variety of open web data available that is insufficiently examined or not considered at all in decision making processes. This is because of the lack of end-user friendly tools that help to reuse this public data and to create knowledge out of it. Therefore, we propose a schema-optional data repository that provides the flexibility necessary to store and gradually integrate heterogeneous web data. Based on this repository, we propose a semi-automatic schema enrichment approach that efficiently augments the data in a “pay-as-you-go” fashion. Due to the inherently appearing ambiguities we further propose a crowd-based verification component that is able to resolve such conflicts in a scalable manner. Zusammenfassung Die stetig wachsende Zahl offen verfügbarer Webdaten findet momentan viel zu wenig oder gar keine Berücksichtigung in Entscheidungsprozessen. Der Grund hierfür ist insbesondere in der mangelnden Unterstützung durch anwenderfreundliche Werkzeuge zu finden, die diese Daten nutzbar machen und Wissen daraus genieren können. Zu diesem Zweck schlagen wir ein schemaoptionales Datenrepositorium vor, welches ermöglicht, heterogene Webdaten zu speichern sowie kontinuierlich zu integrieren und mit Schemainformation anzureichern. Auf Grund der dabei inhärent auftretenden Mehrdeutigkeiten, soll dieser Prozess zusätzlich um eine Crowd-basierende Verifikationskomponente unterstützt werden.

Data interoperability encompasses the many data management activities needed for effective information management in anyone´s or any organization´s everyday work such as data cleaning, coupling, fusion, mapping, and information extraction. It is our conviction that a significant amount of money and time in IT that is devoted to these activities, is about dealing with one problem: “semantic uncertainty”. Sometimes data is subjective, incomplete, not current, or incorrect, sometimes it can be interpreted in different ways, etc. In our opinion, clean correct data is only a special case, hence data management technology should treat data quality problems as a fact of life, not as something to be repaired afterwards. Recent approaches treat uncertainty as an additional source of information which should be preserved to reduce its impact. We believe that the road towards better data interoperability, is to be found in teaching our data processing tools and systems about all forms of doubt and how to live with them. In this paper, we show for several data interoperability use cases (deduplication, data coupling/fusion, and information extraction) how to formally model the associated data quality problems as semantic uncertainty. Furthermore, we provide an argument why our approach leads to better data interoperability in terms of natural problem exposure and risk assessment, more robustness and automation, reduced development costs, and potential for natural and effective feedback loops leveraging human attention. Zusammenfassung Dateninteroperabilität umfasst die zahlreichen Datenverwaltungsaktivitäten, die für effektives Informationsmanagement nötig sind, z. B. Datenreinigung, Kopplung, Fusion, Mapping oder Informationsextraktion. Wir beobachten, dass ein erheblicher Anteil monetärer und zeitlicher Ressourcen in der IT, die auf diese Bereiche entfallen, der Lösung eines einzelnen Problems gewidmet werden: der “semantischen Unsicherheit”. Manchmal sind Daten subjektiv, unvollständig, nicht aktuell oder nicht korrekt, manchmal können sie unterschiedlich interpretiert werden, usw. Wir sind der Meinung, dass saubere und korrekte Daten nur einen Spezialfall von Daten darstellen und so sollten Datenmanagementtechnologien Datenqualitätsprobleme als eine Tatsache behandeln statt diese im Nachhinein zu reparieren. Neuere Ansätze betrachten Unsicherheit als eine zusätzliche Informationsquelle, die erhalten werden sollte, um Auswirkungen der Unsicherheit zu reduzieren. Wir glauben, dass der Weg zu einer besseren Interoperabilität von Daten darin besteht, unseren Werkzeugen und Systemen zur Datenverwaltung beizubringen, welche Formen der Unsicherheit es gibt und wie man diese handhabt. In diesem Beitrag zeigen wir für mehrere Fallbeispiele der Dateninteroperabilität (Deduplizierung, Datenkopplung/Fusion und Informationsextraktion), wie die entsprechenden Datenqualitätsprobleme als semantische Unischerheit modelliert werden können. Desweiteren motivieren wir, warum unser Ansatz zu einer besseren Interoperabilität bezüglich Risikobeurteilung, Robustheit und Automatisierung, Entwicklungskosten und Potenzial für effektive Feedbackschleifen unter Nutzung menschlicher Interaktion führt.

The ability to analyse natural language semantically has been a long-standing goal in information technology. In the last few decades, the increased availability of annotated text collections and new statistical methods have led to great advances in this area. Frame-semantic annotation, as exemplified by the FrameNet project, describes the meaning of a sentence in terms of the involved cognitive scenarios and the roles of individual participants (e. g. the buyer and the seller in a commerce scenario, but also abstract entities like source, path, and goal in a travel scenario). This contribution studies the cross-linguistic potential of FrameNet from multiple perspectives. It investigates a statistical method to determine frame-semantic relatedness of individual words across languages. It also shows how commonalities and differences between languages in expressing states of affairs can be analysed and extracted from annotated parallel corpora. Zusammenfassung Die Bedeutung sprachlicher Äußerungen analysieren zu können ist schon lange ein großes Ziel der Informationstechnologie. Die zunehmende Verfügbarkeit annotierter Textsammlungen sowie neueste statistische Methoden haben die Wissenschaft diesem Ziel in den letzten Jahrzehnten ein ganzes Stück näher gebracht. Framesemantische Annotation, wie sie im FrameNet-Projekt angewandt wird, beschreibt die Bedeutung eines Satzes mit der damit verbundenen kognitiven Szene sowie den darin vorkommenden Rollen (z. B. der Käufer und der Verkäufer im Handelsszenario, aber auch abstrakte Einheiten wie Source-Path-Goal im Reiseszenario). In diesem Beitrag wird das mehrsprachige Potenzial von FrameNet diskutiert. Es wird eine statistische Methode vorgestellt, mit deren Hilfe die frame-semantische Ähnlichkeit zwischen Wörtern verschiedener Sprachen berechnet werden kann. Außerdem wird gezeigt, inwiefern sich Sprachen im Ausdruck von Zuständen und Ereignissen unterscheiden und wie diese unterschiedlichen Ausdrucksweisen aus parallelen Korpora extrahiert werden können.