Was Hadoop und Big Data für Firmen bringen

Lohnt sich der Aufwand, der mit der Einführung der neuen Technologie verbunden ist, für die Anwender? Eine Antwort darauf lässt sich am besten anhand konkreter Anwendungsszenarien darstellen. Beispielsweise setzen immer mehr Unternehmen auf E-Commerce als Vertriebskanal für Waren und Dienstleistungen. Bereits 2013 wurden nach Erkenntnisse der auf Digitales Marketing spezialisierten Marktforscher von eMarketer weltweit umgerechnet fast eine Billionen Euro online ausgegeben.

Wer von diesem Boom profitieren will, muss täglich riesige Datenmengen bewältigen, denn jeder Mausklick eines Besuchers generiert neue Daten: da werden Suchbegriffe eingegeben, Navigationselemente bedient, Texte, Bilder und Multimedia-Dateien zu Produkten angesehen, Artikel in Warenkörbe gepackt, Bestellungen bezahlt oder abgebrochen, Produkte bewertet, Rezensionen abgegeben und Fotos von Reklamationsfällen hochgeladen.

Gezielte Auswertungen der dabei entstehenden unterschiedlich strukturierten Daten liefern wichtige Informationen zur Performance der Seiten, zur Beliebtheit bestimmter Angebote, zur Benutzerfreundlichkeit des Bestell- und Bezahlprozesses, zur Qualität von Informationen und Produkten und zu vielen weiteren Aspekten. Auf Basis dieser Analysen kann der Shop-Betreiber beispielsweise sein Angebot attraktiver gestalten, Cross-Selling-Potenziale nutzen und die gesamte Logistik effizienter planen.

Tägliche Analysen im E-Commerce beschleunigen

Bei vielen E-Commerce-Anbietern laufen deshalb täglich umfangreiche Analysen der Shop-Daten. Üblicherweise finden diese Prozesse in den weniger frequentierten Nachtstunden statt. Mit traditionellen Datenbanken und Analysesystemen reicht das nächtliche Zeitfenster jedoch ab einer gewissen Anzahl von Kunden oder Visits nicht mehr aus. Hier sind Big-Data-Lösungen gefordert, wie sie etwa auf Basis von Hadoop bereitgestellt werden.

Hadoop verbindet in der aktuellen Version Hadoop 2 die Verarbeitung großer Mengen von Daten in unterschiedlichen Formaten mit Datenbank-Management-Funktionen, die für die Business-taugliche Sicherheit und Verfügbarkeit der Daten sorgen. Die bestehenden Systeme durch eine eigene Big-Data-geeignete Infrastruktur komplett abzulösen, kommt dennoch in vielen Fällen schon aus Kostengründen nicht in Frage. Außerdem werden traditionelle Business-Intelligence- und Data-Warehouse-Systeme weiterhin gebraucht, etwa für sehr detaillierte Auswertungen in einzelnen Anwendungsbereichen oder für Zeitreihenvergleiche.

Bestehende Systeme sinnvoll ergänzen

Um die Analyse der Shop-Daten in dem skizzierten Szenario zu beschleunigen und gleichzeitig bestehende Investitionen zu schützen, bietet sich eine Kombi-Lösung an. Dabei ergänzt eine Hadoop-as a-Service-Komponente die vorhandene Infrastruktur. Durch Zuschalten eines dedizierten Datenspeichers und der jeweils benötigten Anzahl virtueller Hadoop-Clusterrechner in der Cloud ist die Analyse innerhalb einer Stunde erledigt.

Die Daten werden dazu von der relationalen Datenbank an das Hadoop-System übergeben, dort analysiert und mitsamt Ergebnissen in die klassische Datenbank zurückgespielt. Auf ähnliche Weise lassen sich Hadoop-Lösungen für die Bewältigung großer Datenmengen in den verschiedensten Umgebungen nutzen: für die Steuerung komplexer Fertigungsanlagen in der Industrie 4.0 ebenso wie für die Optimierung von Logistikprozessen oder schnellere und genauere Absatzprognosen im Handel.

Hadoop aus der Cloud oder als dedizierte Lösung?

Die Entscheidung, ob im jeweiligen Anwendungsfall Cloud-basierte Hadoop- Services oder Hadoop-Cluster auf dedizierten physischen Hardware-Ressourcen genutzt werden, richtet sich vor allem nach den Anforderungen. Finden die Analysen nur punktuell statt, empfiehlt sich in der Regel eine as-a-Service-Lösung, aufgrund der geringeren Kosten und der höheren Flexibilität. Bei permanent laufenden Anwendungen hingegen sprechen Performance und Ausfallsicherheit für den Einsatz dedizierter Systeme.

Test-Möglichkeiten wahrnehmen

Der tatsächliche Nutzen einer Hadoop-Lösung für ein bestimmtes Unternehmen lässt sich letztlich nur auf Basis der individuellen Anforderungen ermitteln. Hier bewahrheitet sich einmal mehr die IT-Weisheit: „Am besten, Sie testen.“ Die Möglichkeit dazu gibt es jetzt bei The unbelievable Machine. Interessenten können ihre Daten 24 Stunden lang kostenlos analysieren lassen, um sich selbst vom Nutzen der Technologie für die eigenen Geschäftsprozesse zu überzeugen.