Big Data mit Object Storage bewältigen

Datenintegrität durch Erasure Codes

Neben der einfachen Adressierungslogik ist ein weiterer Vorteil von Object Storage, dass Daten global auf Rechenzentren an verschiedenen Standorten verteilt werden können. Je nach Object Storage-System funktioniert die Verteilung sogar über heterogene Disks und Knoten. Bei RAID hingegen müssen alle Daten lokal vorliegen.

Üblichen Latenzen aufgrund großer Distanzen wird unter anderem durch lokales Caching, Netzwerkkomprimierung und Lastenausgleich entgegengewirkt. Mittels HTTP-REST-Schnittstelle zur Cloud ist bei Object Storage-Lösungen der flexible Zugriff auf Datenobjekte in Hochgeschwindigkeit möglich. Datenintegrität wird erreicht, indem Objekte über verschiedene Knoten mit entsprechender Redundanz mittels so genannter Erasure Codes verteilt werden.

Wie der Name "Erasure" schon andeutet, nutzen Object Storage-Systeme Algorithmen zur Fehlerkorrektur, die sie in eindeutige Codes umwandeln. Das Besondere: Sind die Codes zur Speicherung verteilt, reicht eine zufällige Teilmenge der Codes zum schnellen Abruf der Daten. Einzelne Codes werden automatisch getestet und im Fehlerfall durch Ersatzcodes ersetzt. Auf diese Weise werden verschwiegene Bitfehler vermieden. Durch Features wie Kompression und Verschlüsselung können Administratoren die Sicherheit ihrer Daten individuell anpassen und das Level der Datenintegrität selbst definieren.

Selbstheilung gegen Performanceeinbußen

Wurden Object Storage-Systeme ursprünglich für die Cloud mit entsprechenden Protokollen entwickelt, stehen heute Standardprotokolle wie CIFS und NFS zur einfachen Integration von Object Storage in der Betriebssystemumgebung zur Verfügung. Als Disk-basierte Speicherlösung kann Object Storage gegenüber Tape sofort mit dem Datenstreaming starten. Ist der Austausch von Laufwerken oder die Implementierung in eine neue Umgebung nötig, werden mit den Funktionen der Selbstheilung- und Migration Objekte automatisch umgeschichtet - ohne Performanceeinbußen und Auswirkungen auf den Workflow.

Geht es um Investitionen in eine neue Technologie, sind die Argumente Kapital- und Betriebskosteneinsparungen am überzeugendsten. Das Pro von Object Storage-Lösungen: Aufgrund der robusten Algorithmen können kostengünstigere Disklaufwerke eingesetzt werden, die bekanntlich weniger Strom- und Kühlungsbedarf haben. Je nach Umfang der Infrastruktur versprechen Object Storage-Lösungen jährliche Einsparungen von 10 bis 30 Prozent - bei Big Data-Umgebungen ist dies ein entsprechend hoher Betrag. (cvi)