Die Themen, die sich hinter Big Data verstecken, sind nicht nur sehr interdisziplinär, sondern auch technologisch noch recht jung und aus rein technischer Sicht einem so starken Wandel unterworfen, dass das technische Wissen hierzu alle zwei Jahre verjährt. Während beispielsweise vor einigen Jahren noch Apache Hadoop mit dem MapReduce-Algorithmus als bestes Werkzeug für Big Data Analytics galt, reden heute alle nur noch von Apache Spark, dem überlegenen Platzhirsch.
Apache Spark setzt zwar auch auf dem Hadoop-Framework auf, substituiert das "eigentliche" Hadoop jedoch zum großen Teil. Zur Herausforderung, seine Kenntnisse stets aktuell zu halten, kommt noch eine weitere: Hinter Tech-Buzzwords wie Big Data Analytics verbergen sich nämlich nicht nur einige wenige, sondern eine Vielzahl unterschiedlicher Methoden, Tools und Programmiersprachen, die kaum ein menschliches Wesen in einem Leben erlernen kann.
10 Dinge, die Sie über Hadoop wissen sollten
Hadoop – Framework für Big Data
Haddop ist ein komplexes Framework, welches große Datenmengen auf zahlreiche Clusterknoten verteilen und berechnen kann.
Daraus besteht Hadoop
Hadoop besteht aus einem Cluster. Ein Knoten übernimmt die Steuerung (NameNode), die anderen die Berechnungen (DataNodes) im Cluster.
Lokaler Betrieb oder Cloud
Hadoop können Sie auch in der Cloud bei Microsoft Azure betreiben.
Ersetzt Hadoop Business Intelligence im Unternehmen?
Big Data-Lösungen wie Hadoop ergänzen Business Intelligence. Im Gegensatz zu BI-Lösungen, benötigen Big-Data-Lösungen keine perfekt zusammen gestellten Daten.
IBM General Parallel File System im Big Data-Einsatz
Verschiedene Clusterknoten können auf eine gemeinsame Datenbasis zugreifen, wenn GPFS im Einsatz ist. Unternehmen müssen beim Einsatz von Hadoop also nicht gezwungenermaßen auch auf HDFS setzen.
Hadoop in Amazon Web Services, Google Cloud Platform und Rackspace
Hadoop können Sie auch in Amazon Web Services betreiben.
Die wichtigsten Hadoop-Distributionen
Hortonworks Data Platform gehört zu den besonders bekannten Hadoop-Distributionen.
Hadoop erweitern – YARN und Co.
Auf dem Markt finden Sie zahlreiche Erweiterungen, mit denen sich der Funktionsumfang von Hadoop vergrößern lässt.
Sicherheit und Überwachung im Hadoop-Cluster
Apache Knox erhöht beispielsweise die Sicherheit im Hadoop-Cluster. Für die Überwachung der Hadoop-Infrastruktur eignet sich Apache Chukwa.
Oracle, IBM und Co. – Hadoop kommerziell erweitern
Oracle bietet zum mit Big Data SQL die Möglichkeit über SQL-Abfragen auf Big Data-Daten zuzugreifen. IBM InfoSphere BigInsights erweitert Hadoop um zahlreiche Möglichkeiten.
Data Scientists: Spezial-Zertifizierung war gestern
Das Berufsbild des Data Scientist gibt es eigentlich schon seit längerer Zeit - wenn auch bisher meist unter der Bezeichnung Data Analyst. Analytisches Denken und mathematisches Talent spielten hier schon immer eine bedeutende Rolle. Was den Data Analyst jedoch vom heutigen Data Scientist - momentan wohl der "world´s sexiest job" - unterscheidet, ist der mangelnde Einsatz von und der Spielraum für Kreativität.
Datenanalysten arbeiteten früher beispielsweise bei Banken und Versicherungen und genossen im Regelfall eine akademische Ausbildung zum Informatiker, Mathematiker oder Physiker. In der Praxis arbeiteten sie schließlich vor allem mit branchenüblicher Statistik-Software von großen Anbietern wie SAS oder IBM. Im Laufe ihrer Karriere konnten sie schließlich die für diese Jobs wichtigen, speziellen Zertifizierungen absolvieren und so ihren Experten-Status in Unternehmen untermauern.
Heute ist jedoch die Vielfalt an Tools und Programmiersprachen so groß, dass man sich die Frage stellen muss, ob bestimmte Tools in einigen Jahren überhaupt noch eine Rolle spielen werden. Deshalb werden für den heutigen Data Scientist Fähigkeiten in den Bereichen Data Mining und Machine Learning (für die es keine Zertifizierung braucht) immer wichtiger. Diese Skills werden im Regelfall bereits nach wenigen Tagen im Job deutlich sichtbar. Einige Unternehmen - beispielsweise Zalando - haben in der Data-Science-Szene bereits mit Stellenanzeigen für Aufsehen gesorgt, die knifflige Aufgaben für Data Scientists enthielten. Wer die Aufgabe lösen konnte, erarbeitete sich so die Eintrittskarte zum Vorstellungsgespräch.
Der Wandel vollzieht sich jedoch auch in der Qualifizierungsbranche, denn globale Anbieter wie beispielsweise Coursera ermöglichen eine kostengünstige Zertifizierung. Dabei bleiben sie - was bei Fortbildungsangeboten von speziellen Lösungsanbietern nicht immer der Fall ist - herstellerunabhängig und legen den Fokus auf die eigentliche Methodik, statt auf die Tools.
Data Scientists
Die Aufgaben des Business Developer
Business Developer blicken tief in die Geschäftsprozesse und können Unternehmensziele mit Datenanalysen in Verbindung bringen. Sie entwickeln eine erste Fragestellung oder decken ein Problem auf, das anhand der erhobenen Daten gelöst werden soll. Als Schnittstelle zwischen Geschäftswelt und Technik kann er den Nutzen der Analyseergebnisse am besten einschätzen und arbeitet daher eng mit dem Data Analyst zusammen.
Die Aufgaben des Data Analyst
Der Data Analyst besitzt profunde Kenntnis über datengetriebene analytische Methoden, Data Mining-Verfahren und Techniken der Datenvisualisierung. Mit ihnen können Datensätze automatisch klassifiziert oder hinsichtlich ihrer Ähnlichkeit gruppiert werden. So kann der Data Analyst die Aussagekraft der Daten bewerten und relevante Muster und Auffälligkeiten in den Datenströmen erkennen.
Die Aufgaben des Data Manager
Der Data Manager sorgt dafür, dass die Qualität der Daten optimiert wird und sie durch Metadaten ausreichend beschrieben werden. Dazu zählt, dass sich der Data Manager einen Überblick über die Nutzungsrechte verschafft und bei sensiblen Daten weiß, wofür diese verwendet werden dürfen.
Die Aufgaben des Application Developer
Der Application Developer setzt die Plattform auf, auf der die Daten integriert und die Anwendungen entwickelt und installiert werden. Er beherrscht verschiedene Werkzeuge zur Parallelisierung und Echtzeitverarbeitung, so dass die statistischen Modelle des Data Analysten auch auf großen Datenmengen genutzt werden können.
Die Aufgaben des Security Manager
Der Security Manager sorgt dafür, dass die Zusammenführung, Anreicherung und Analyse von Daten keine Rückschlüsse auf Einzelpersonen zulässt und damit die Persönlichkeitsrechte verletzen könnte. Der Security Manager muss also den Datenschutz organisatorisch und technisch umsetzen.
Die 5 Typen von Data Scientists im Überblick
Das Schaubild zeigt noch einmal alle 5 Typen von Data Scientists und ihre Aufgaben im Überblick.
IT-Experten: Die Anforderungen steigen
Welcher IT-Spezialist kennt das nicht: Eine Stellenbeschreibung verspricht endlich den lange gesuchten Traumjob, die Ideen für ein kreatives Anschreiben sprudeln bereits - da fällt der Blick auf die erforderlichen Skills. Fehlt eine - als obligatorisch ausgewiesene - Programmiersprache im eigenen Portfolio, legt sich der Drang zur Instant-Bewerbung postwendend wieder. Und was nun? Die Stelle sausen lassen oder sich trotzdem bewerben?
Zwar ist der Bedarf an IT-Spezialisten - egal ob es dabei um Software-Entwickler, Netzwerk-Administratoren oder Daten-Ingenieure geht - beeindruckend, die Anforderungen sind jedoch meist ausgesprochen hoch, der notwendige Skill-Katalog umfangreich. Von einem Kandidaten für eine Stelle als Data Scientist werden beispielsweise ausgezeichnete Statistik-Kenntnisse, der geschulte Umgang mit ausgewählter Analyse-Software, Erfahrung mit zwei bis drei relevanten Programmiersprachen sowie Kenntnisse im Umgang mit Big-Data-Tools (Apache Spark, NoSQL-Datenbanken, Cloud-Lösungen) genauso erwartet, wie Erfahrung mit spezifischen Methoden des Projektmanagements und idealerweise auch Kenntnisse über spezielle Branchen- oder Fachbereiche.
Das verdienen IT-Manager 2016
Gute Nachrichten für IT-Chefs:
Ihre Gehälter steigen um 5,1 Prozent, wie die aktuelle Studie von Compensation Partner und der COMPUTERWOCHE zeigen, weniger gut kommen die Projektleiter weg.
Bereichsleiter sind die Spitzenverdiener
In Banken kommen sie auf 275.000 Euro im Jahr, in der Telekommunikation auf 227.000 Euro.
Auch die Autoindustrie zahlt die IT-Bereichsleiter gut:
Dort kommen die IT-Bereichsleiter auf ein Bruttogehalt von 212.000 Euro im Jahr.
IT-Unternehmen vergüten ihre Bereichsleiter etwa schlechter:
Ein Bereichsleiter im Softwarehaus kann mit 193.000 Euro im Jahr rechnen, im Systemhaus kann er 189.000 Euro erwarten.
Abteilungsleiter kommen in der Hierarchie nach den Bereichsleitern
In Banken verdienen sie mit 125.000 Euro Bruttojahresverdienst überdurchschnittlich gut.
In den anderen Branchen wie Halbleiter, ...
... Auto, Telekommunikation, Software- oder Systemhaus können sie zwischen 105.000 und 109.000 Euro erwarten.
Gruppenleiter in Banken ...
... verdienen am besten im Vergleich zu Teamleitern in anderen Branchen.
Überdurchschnittlich bezahlt werden Gruppenleiter auch ...
... in der Konsum- und Gebrauchsgüterindustrie (86.000 Euro), in der Halbleiterindustrie (87.000 Euro)sowie in der Automobilbranche und der Telekommunikation ( jeweils 80.000 Euro).
Die Bekleidungsbranche zahlt dagegen eher schlecht.
Dort müssen sich IT-Teamleiter mit 67.000 Euro im Jahr begnügen.
Projektmanager ...
... können mit 72.000 Euro im Jahr in Softwarehäusern und mit 101.000 Euro im Jahr in Banken rechnen. Ihre Gehälter sind allerdings im Gegensatz zu denen der übrigen Führungskräfte nicht gestiegen.
Auch in der Telekommunikation ...
-- verdienen Projektmanager mit 88.000 Euro im Jahr überdurchschnittlich.
Vertriebsleiter in der IT-Industrie ...
... gehören mit 145.000 Euro im Jahr ebenfalls zu den Spitzenverdienern unter den Führungskräften. Etwa 35 Prozent ihres Gehalts sind prämienbasiert.
In Fankfurt verdienen IT-Führungskräfte ...
... am besten, und zwar 22 Prozent mehr als im Bundesdurchschnitt.
Auch in Stuttgart ...
... eröffnen sich IT-Fphrungskräften überdurchschnittliche Verdienstaussichten (15 Prozent mehr als der Durchschnitt).
Bayerns Hauptstadt München ...
... lockt IT-Führungskräfte auch mit Gehältern, die 19 Prozent über dem Durchschnitt liegen. Dafür sind auch Miet- und Lebenshaltungskosten hoch.
Just-in-Time Skills: Die heimliche IT-Normalität
Auf die gestiegenen Anforderungen, das verjährende Tool-Wissen und die immer spezieller werdenden Lösungen reagieren IT-Experten bislang mit spontan erworbenen Kenntnissen - sogenannten Just-in-Time Skills. Dieses Prinzip beschreibt nichts anderes, als den kurzfristigen, bedarfssynchronen Aufbau von Wissen und Fähigkeiten. Bedarfssynchron meint dabei: unmittelbar vor Bewerbung oder Antritt eines neuen Jobs. Der leichte und vollwertige Zugang zu kostenlosen Informationen im Web ermöglichen IT-Fachkräften das schnelle Erlernen bestimmter Programmiersprachen, der Bedienung von Tools und sonstigem Theorie- und Praxiswissen, so dass heute mehr denn je gilt: "Man muss nicht alles wissen, sondern nur, wo es steht".
Natürlich funktionieren Just-in-Time Skills nur dann, wenn sie erstens im generellen Rahmen der Fähigkeiten des Kandidatens liegen und zweitens gegenüber den routinierten Kenntnissen in der Minderheit sind. Um dem Anforderungsprofil durch das Füllen von Kenntnislücken ein Stück näher zu kommen, ist diese Vorgehensweise quasi etabliert - und ihre Anwendung wird vermutlich noch weiter zunehmen.
Just-in-Time Skills sind jedoch kein Phänomen, das es nur in der IT gibt. Zwar sind in der IT-Branche, die von der Nerd- und Hacker-Kultur geprägt ist, Begriffe wie GIYF ("Google is your friend") und RTFM ("Read the f*cking manual") besonders stark verbreitet - wer jedoch beispielsweise einmal in der Unternehmensberatung tätig war, wird sicherlich bestätigen können, dass in Sachen Spezialfähigkeiten oftmals "Learning just before the Job" betrieben wird. Die Idee der bedarfssynchronen Belieferung hat ihren Ursprung außerhalb der IT, eignet sich für IT-Fachkräfte aber besonders gut und ist bei vielen Unternehmen auch explizit erwünscht. (fm)
Die acht stressigsten Jobs der IT-Branche
Platz 8: Programmierer
Programmierer sehen sich ähnlichen Anforderungen ausgesetzt wie Software-Entwickler - allerdings schreiben, testen und codieren sie die Applikationen und Software, die von den Entwicklern erarbeitet wurde. Erstaunlicherweise werden am Markt laut dem amerikanischen Bureau of Labour Statistics (BLS) immer weniger Programmierer gesucht.
Platz 7: Software-Entwickler
Die Aufgabe eines Software-Entwicklers ist es, Computer-Programme zu entwickeln. Dabei sollte er im Idealfall seine Deadlines einhalten, Kunden zufriedenstellen und die Erwartungen seines Unternehmens an die Software-Entwicklung erfüllen. Die Nachfrage nach diesem Jobprofil wird sich bis 2024 laut BLS um 17 Prozent erhöhen. Auch das macht den Job als Software-Entwickler stressiger.
Platz 6: IT-Service-Techniker
Mit dem technologischen Aufschwung wächst der Bedarf an Service-Technikern, die Computer und andere Devices am Arbeitsplatz am Leben halten. Es ist also wenig überraschend, dass der Beruf des IT-Service-Technikers unter den acht stressigsten IT-Jobs vertreten ist.
Platz 5: Data Scientist
Die "Datenwut" greift ja bereits seit längerem um sich. Viele Unternehmen suchen daher händeringend nach Daten-Spezialisten, finden aber keine (oder nur wenige) geeigneten Kandidaten. Die wenigen, die bereits eine solche Position innehaben, haben entsprechend viel zu tun.
Platz 4: Netzwerk-Administrator
Der Job des Netzwerk- und System-Administrators erfreut sich zwar keiner wachsenden Beliebtheit (BLS: minus 8 Prozent bis 2024) - gehört aber trotzdem zu den stressigsten IT-Jobs. Kein Wunder, schließlich ist der arme Kerl mit diesem Titel auf der Visitenkarte für den gesamten Netzwerkverkehr eines Unternehmens verantwortlich.
Platz 3: IT-System-Analyst
System-Analysten sind dafür zuständig, die IT-Systeme und -Prozesse eines Unternehmens zu untersuchen. Ihr Ziel: maximale Effizienz. Der Job ist an sich schon mit einem ausgeprägtem Stress-Level gesegnet - durch den Technologie-Eifer der Digitalisierungs-Ära erhält der Stressfaktor allerdings noch einmal einen deutlichen Boost.
Platz 2: Technischer Redakteur
Der Beruf des technischen Redakteurs wird laut BLS im Laufe der nächsten acht Jahre zunehmend beliebt (Wachstum bis 2024: 27 Prozent). Die Hauptaufgabe des technischen Redakteurs besteht in der engen Zusammenarbeit mit Entwicklern, auf deren Basis technische Dokumentationen, Fachartikel, Tutorials oder Bedienungsanleitungen entstehen.
Platz 1: Web-Entwickler
Entwickler von Web-Anwendungen haben den stressigsten Job der IT-Branche. Aber auch den von den Unternehmen am meisten nachgefragten - mehr als jeder vierte Personaler ist laut BLS jetzt oder in den kommenden Jahren auf der Suche nach Fachkräften.