Projekt mit In-Memory-Technik
Daten-Analyse rapide beschleunigt
Zuletzt musste das Team noch die verschiedenen Abfragen, Reports, Extrakte und Datenausschnitte programmieren, die in der Produktion verwendet werden. Bestimmte Prozesse und Analysen verlangen den Aufruf von kompletten Datenbeständen in der Größe von mehreren hundert Gigabyte, was sehr hohe Ansprüche an die Leistungsfähigkeit des Systems stellt. Deshalb sollte das neu eingeführte System die Nutzer in die Lage versetzen, die Performance ihrer Prozesse und Programme signifikant zu erhöhen.
Datenwachstum - per Cluster-Lösung bewältigt
Mit der zunehmenden Erweiterung des Nutzungskonzeptes von EXASolution, der Ausdehnung auf weitere fachliche Anwendungen bei IMS Health und der weiter wachsenden Datenmenge wurde im Jahre 2010 eine zweite Erweiterung der Systemkapazität um 150 Prozent erforderlich.
Die eingesetzte Datenbank-Lösung ist für die Anforderungen von Data-Warehouse-Umgebungen konzipiert und beruht auf einem Shared-Nothing-Cluster aus parallel arbeitenden Standard-Servern. Das bedeutet, dass die Daten automatisch und gleichmäßig auf die Server verteilt und spaltenweise lokal auf die Festplatten der Rechner gespeichert werden. Für die hohe Leistung sorgen eine In-Memory-Verarbeitung sowie spezielle Kompressionsalgorithmen.
Durch den Einsatz großer RAM-Mengen je Server und automatische Kompressionsmethoden können die aktiven Daten der Nutzer komplett im Hauptspeicher gepuffert werden. Bei lesenden Anfragen erfolgt die Verarbeitung vollständig im RAM, so dass der langsame Zugriff auf Festplatten entfällt. Datenänderungen hingegen werden mehrfach auf die Festplatten gespeichert.
Dieser Ansatz lässt völlig neue Algorithmen hinzu, die nicht auf die I/O-Beschränkungen ausgelegt sein müssen. Die Technologie macht dabei eine Aggregation der Daten überflüssig, welche die Analysemöglichkeiten stark einschränkt. IMS Health kann mit dem Data Warehouse auf die Rohdaten zurückgreifen und damit exaktere Analysen liefern.