Alle Sieger des Jahres 2013 auf einem Fleck: In den beiden Kategorien "Bestes Big-Data-Projekt" und "Bestes Big-Data-Tool" stellten sich insgesamt 18 Finalisten der Jury und dem Publikum beim "Best in Big Data"-Kongress im September in der Frankfurter Commerzbank-Arena. Der Publikumspreis der rund 200 Teilnehmer ging in der Projektsparte an die "Berliner Morgenpost" mit ihrem "Flugrouten-Radar". Diese App zeigt den Flugverkehr über Berlin, sodass sich Anwohner ein Bild über die aktuelle Lärmbelastung verschaffen können.
Interaktiver Datenjournalismus
Foto: cio.de
Damit hat die "Berliner Morgenpost" eine interaktive Datenjournalismus-Anwendung umgesetzt, die Informationen zu Flügen sowie Flugspurdaten rund um die Hauptstadt auswerten und visualisieren kann. Die Applikation zeigt in einer dreidimensionalen Ansicht Flughöhen und -zeiten sowie Flugzeugtypen mit Lärmberechnungen für alle Flüge über einem Standort. Zudem lassen sich auf Basis einer täglich aktualisierten Datenbank Statistiken abrufen, wie sich die Fluglast über bestimmten Ortsteilen und Gemeinden im Lauf der Zeit entwickelt hat.
Weil die Deutsche Flugsicherung Flugdaten nur rückwirkend für die vergangenen 14 Tage herausgibt und damit Langzeitanalysen unmöglich macht, musste sich die Redaktion eine andere Informationsquelle suchen. Datengrundlage bilden Informationen des Deutschen Fluglärmdienstes, der Radardaten bereitstellt. 96 Prozent aller Flüge lassen sich damit erfassen. Mithilfe der Big-Data-Anwendung können sich Menschen in Berlin und Brandenburg sofort über Nachtflüge, Flugrouten und Fluglärm informieren, ohne lange auf Auskünfte von Behörden warten zu müssen.
Die technische Herausforderung bestand darin, auf Basis einer großen Datenmenge zügig komplexe Geo-Berechnungen auszuführen und die Ergebnisse in 3-D-Ansicht auszuliefern. Die Anwendung ist eine Ruby-on-Rails-Web-Applikation, deren Daten in einer PostgreSQL-Datenbank liegen. Für die Berechnung der komplexen Geo-Informationen kommt eine PostGIS-Erweiterung zum Einsatz. Das Ganze läuft in der Amazon-AWS-Cloud.
Platz eins für bestes Projekt: Clueda
Den Preis für das beste Projekt gewann die Münchener Clueda AG, die mit der Baader Bank AG ein Analysesystem für Börsenhändler entwickelt hat. Dieses Analysesystem filtert aus großen unstrukturierten Textmengen alle relevanten Informationen und Stimmungen in Echtzeit heraus und erleichtert so Handelsentscheidungen. Denn Nachrichten treiben Börsen. Deshalb müssen Börsenhändler in der Lage sein, innerhalb kürzester Zeit die Tragweite einer Nachricht zu verstehen und Entscheidungen zu treffen.
Ein Trader kann täglich unter 200 000 potenziell investitionsentscheidenden Nachrichten wählen - und das sind nur die Nachrichten, die im Bloomberg- und Thomson-Reuters-News-Stream generiert werden. Researcher und Analysten betrachten langfristige Zeiträume und sehen sich pro Jahr mit 60 bis 80 Millionen Dokumenten konfrontiert. Aus dieser Flut systematisch die wirklich handelsrelevanten beziehungsweise marktbewegenden Informationen zu identifizieren, zu verarbeiten und zu bewerten ist eine Herkulesaufgabe, zumal die Nachrichtenmenge stetig zunimmt. Dies ist nur noch mithilfe semantischer Big-Data-Analysemethoden zu bewerkstelligen.
Das "News Analytics"-Projekt liefert dafür eine Lösung. Mit den Produkten "clueda.trader", "clueda.report" und "clueda.research" lassen sich in Echtzeit semantisch Texte verarbeiten. Das System erkennt Redundanzen und trifft objektive Vorhersagen zu den Auswirkungen der analysierten Informationen. So entsteht ein kontinuierlich wachsendes semantisches Netzwerk mit hunderten Millionen von Knoten und mehreren Milliarden Kanten - ein Wissens-Pool, der schnelle Entscheidungen möglich macht.
Für die Baader Bank ergeben sich dadurch zahlreiche Vorteile: Redundante Informationen werden aus verschiedenen Quellen herausgefiltert. Handelsrelevante Ereignisse werden komprimiert und automatisch von unwichtigen Informationen getrennt. Dadurch wird eine inhaltliche Konsolidierung der Nachrichten erzeugt, die einen Zeitvorsprung im Vergleich zur gewohnten Aufbereitung bringt.
Darüber hinaus lernt die Software, durch systembiologisch inspirierte Analysemethoden wirtschaftlich relevante Zusammenhänge auf makroökonomischer Ebene oder in spezifischen Märkten zu erkennen und zu bestimmen. Die Anwendungen reichen hierbei von einer umfassenden Detail-Recherche mit Sentimentanalyse bis hin zur detaillierten Risikoabschätzung in verschiedensten Märkten, Branchen oder Unternehmen.
Die "News Analytics-"Lösungen von Clueda können jedoch nicht nur im Finanzumfeld entscheidende Wettbewerbsvorteile liefern. Ihr Einsatz eignet sich überall dort, wo komplexe Zusammenhänge aus Millionen von Hintergrundinformationen intuitiv aufzuarbeiten sind und große unstrukturierte Datenmengen anfallen, wie beispielsweise im Marketing, im Content-Management oder im medizinischen und juristischen Bereich.
Platz eins für bestes Tool: Splunk
In der Kategorie "Big-Data-Tools" buhlten gleich 13 Nominierte um die Gunst von Jury und Publikum. Hier holte sich der US-Dienstleister Splunk mit Deutschland-Sitz in München gleich beide erste Preise, den der Jury und den des Publikums. Der Anbieter von Operational-Intelligence-Software hat mit "Splunk Enterprise" die für die Preisvergabe Verantwortlichen überzeugt.
Maschinengenerierte Big Data, die ununterbrochen von Webseiten, Applikationen, Servern, Netzwerken und mobilen Endgeräten generiert werden, lassen sich mit der Splunk-Software für Unternehmen nutzbar machen, indem sie gesammelt und indiziert werden. Die Technik ermöglicht es Unternehmen, sowohl Echtzeit- als auch historische Maschinendaten zu überwachen, zu durchsuchen, zu analysieren und zu visualisieren, verspricht der Hersteller.
Dabei muss Splunk Enterprise keine Logfiles transformieren, damit diese in Datenbanken abgelegt werden können. Vielmehr erfolgen Parsing und Indexierung direkt. Dadurch kann dieser Ansatz flexibel auf veränderte Log-Formate reagieren - ohne dass zusätzlicher administrativer Aufwand entsteht und ohne dass Log-Informationen verloren gehen. Unabhängig vom Datenformat werden die Daten indiziert. Anwender brauchen daher keinerlei Adapter. Die so indizierten Daten werden auf einem Server zentral gehalten und sind dort für Suchanfragen über die gesamte IT hinweg verfügbar.
So können Unternehmen ihren kompletten Daten-Pool durchsuchen und Muster erkennen, weil sich Ereignisse verschiedener Datenquellen korrelieren lassen. Durch das Kombinieren von Maschinendaten und Geschäftsdaten erhalten Unternehmen darüber hinaus zusätzliche Geschäftseinblicke und kommen dem Ziel einer effizienten Operational Intelligence näher – so lassen sich beispielsweise Geschäfts- und Kundenverständnis vertiefen, Service und Betriebszeit verbessern, Kosten reduzieren und Sicherheitsrisiken minimieren.
Platz zwei Tools: VMS AG
Die Silbermedaille errang in der Sparte "Tools" die Heidelberger VMS AG mit ihrem Big-Data-Werkzeug "Scoop" (Seeking Cash Opportunities in Operational Processes). Das Tool soll es Finanzverantwortlichen in Unternehmen ermöglichen, ihren Kapitaleinsatz zu optimieren. Dafür ermittelt die Software aus den operativen Prozessen alle relevanten Daten, die Einfluss auf die Kapitalausstattung haben.
Ein klassisches Anwendungsgebiet ist nach Angaben der VMS AG die Kenngröße DSO (Days-Sales-Outstanding), also die Zeit zwischen dem Versand einer Rechnung und dem Eingang der Zahlung. Scoop ermögliche es, verschiedene Szenarien durchzuspielen, wie sich Kunden überzeugen ließen, kürzere Zahlungsziele zu akzeptieren.
Das Werkzeug verbindet dafür Geld- und Materialflüsse in Ursache-Wirkungs-Korrelationen. Auf dieser Basis lassen sich die monetären Auswirkungen potenzieller Prozessänderungen simulieren und quantifizieren. Unternehmen soll das Tool VMS-Angaben zufolge helfen, sich auf vielversprechende Verbesserungen in den eigenen Geschäftsvorgängen zu konzentrieren. Technisch besteht Scoop aus einer iPad-App am Front-End und der SAP-In-Memory-Datenbank HANA im Back-End. Das Tool ist auf ERP-Systeme von SAP zugeschnitten. Dem Hersteller zufolge ist SCOOP einfach zu nutzen und soll sich innerhalb einer Woche produktiv setzen lassen.
Platz drei Tools: HP
Auf dem dritten Platz landete schließlich Hewlett-Packard (HP) mit seinem Service "Big Data Discovery Experience" (BDDE). Unternehmen können damit Big-Data-Vorhaben schon im Vorfeld genau prüfen, um sie später zielgenauer umzusetzen. Mögliche Anwendungsfälle lassen sich so innerhalb weniger Wochen pilotieren, mögliche Investitionen in Big-Data-Projekte frühzeitig validieren.
Außerdem könnten Anwender erste Erfahrungen für mögliche Big-Data-Produktivumgebungen sammeln und einen Business Case erstellen. Falls sich im Zuge der Vorabprüfung diese Big-Data-Anwendungsfälle als aussichtsreich erwiesen, könnten die Pilotumgebungen zudem zügig in eine Produktivumgebung überführt werden, da die BDDE-Umgebung für den Produktivbetrieb denselben Aufbau hat wie die Testumgebung.
Big Data Discovery Experience besteht HP-Angaben zufolge aus einer Kombination von Dienstleistungen und einer Big-Data-Analytics-Plattform, über die sich die definierten Big-Data-basierten Anwendungsfälle für einen definierten Zeitraum von wenigen Wochen pilotieren lassen. Diese Anwendungsfälle werden entweder bereits im Vorfeld von den Unternehmen oder gemeinsam mit HP als Teil des Projektes festgelegt. Dazu gehört die Definition beispielsweise der Zielsetzung, der notwendigen Daten, des Datenzugriffs und der Schnittstellen.
Die BDDE-Umgebung bietet dafür mehr als 400 Adapter, die dazu dienen, Daten einzuspeisen. Dabei spielt es keine Rolle, ob diese strukturiert, unstrukturiert, unternehmensspezifisch oder öffentlich sind. Der Service analysiert Text, Audio und Video ebenso sowie Social-Media-, Satelliten- und Wetterdaten. Verarbeitung und Analyse erfolgen über Speicher- und Analysemethoden wie "HP Autonomy", "HP Vertica" oder "Hadoop". Die Ergebnisse werden im nächsten Schritt mit marktüblichen Visualisierungstechnologien wie Spotfire dargestellt.
Der Weg zur Big-Data-Lösung
HP und Vertreter des Kunden arbeiten zunächst nach einer iterativen Methode an der schrittweisen Verbesserung der entsprechenden Big-Data-Lösung. Nach der Definition der Anwendungsfälle und der dafür notwendigen Informationen werden die Daten in die BDDE-Umgebung eingespeist. Dabei muss zunächst sichergestellt sein, dass die Daten lesbar und von den Analytikmodellen, -prozessen und -Tools verarbeitet werden können. In der Folge starten dann die Abfragen über geeignete Untersuchungsmethoden, analytische Modelle, Tools und Prozesse, um Muster zu erkennen, einen besseren Einblick zu bekommen oder neue Ideen zu generieren. Diese wiederum können zu neuen Fragen beziehungsweise Datenanforderungen für die nächste Iteration führen.
Das Resultat kann eine mögliche Lösung für Innovationen auf Grundlage von Big-Data-Analyseverfahren sein. Falls sich pilotierte Anwendungsfälle als aussichtsreich für das Erreichen der Unternehmensziele (wie Umsatzsteigerung oder Branding) erweisen, ist eine schnelle Überführung in die Produktion möglich. Die Produktivumgebung kann aus der Cloud bezogen oder inhouse beim Kunden aufgesetzt werden.