Big Data intelligent managen und nutzen

Trends für die Datenintegration

Was aber muss eine Datenintegrationslösung leisten können, um eine so hochgradig skalierbare Datenmanagementarchitektur sowie effiziente Datenanalysen zu ermöglichen?

Zunächst sollte sich die Lösung schnell in den bestehenden Datenmanagementprozess implementieren lassen - das bedeutet: in wenigen Monaten und nicht erst nach einem Jahr. Zudem ist es wichtig, dass die Software nur minimale Ressourcen auf der vorhandenen Standardhardware belegt und damit keine Kostenexplosion verursacht. Vielmehr beschleunigt eine Datenintegrationslösung bereits bestehende Datenintegrationsprojekte, sofern sie mit anderen DI-Produkten zusammenarbeiten und diese erweitern kann. Einmal eingespielt, bringt eine dynamische Optimierung der Verarbeitung weitere Vorteile, indem DI-Lösungen in der Lage sind, stets die effizientesten Algorithmen und Funktionen auszuwählen.

Damit effektive und kosteneffiziente ETL-Verarbeitung in Big-Data-Umgebungen gewährleistet werden kann, ist die Unterstützung von Parallelverarbeitungen während des ETL-Prozesses entscheidend. Dazu gehört die Fähigkeit, Transformationen dynamisch für verschiedene ETL-Verarbeitungsarten zu optimieren. Ebenso wichtig ist die Unterstützung der schnellen Extraktion, Transformation und des Ladens von Daten zwischen Hadoop, NoSQL, Data Warehouses und analytischen Datenspeichern des Datenbankmanagementsystems. Das ermöglicht die schnelle Bewegung von Daten zwischen Big-Data- und traditionellen Datenspeichern während der Analyse.