High Performance Computing
Supercomputer-Trends für 2017
Bedingt durch die wachsende Wettbewerbsfähigkeit Chinas und die allerorts drastischen Veränderungen der politischen Landschaften hält 2017 einige Unsicherheiten für den High-Performance-Computing (HPC)-Bereich bereit. Auch in diesem Umfeld beweisen bewährte Technologien ihre Stärke und bilden ein stabiles, gegen Erschütterungen weitgehend gefeites, Fundament.
Künstliche Intelligenz & Deep Learning
Obwohl künstliche Intelligenz (KI) ein Lieblingsthema der Marketingwelt und ein lohnendes Feld für Grundlagen- und angewandte Forschung ist, dürfte es sich auch in den kommenden 12 Monaten zu keinem wirklich dominierenden Faktor entwickeln. Wir sind noch weit von der technologischen Singularität entfernt, die so viele Hightech-Experten schaudernd heraufbeschwören. KI-Systeme werden in absehbarer Zukunft nicht aus den Laboren in unsere Alltagswelt gelangen, um dort in bester "Terminator"-Manier unkontrolliert ihr Unwesen zu treiben.
Sehr wohl gilt jedoch, dass maschinelles Lernen und Deep Learning enorme Fortschritte machen und von einigen Unternehmen bereits zur Verbesserung ihrer Prozessproduktivität eingesetzt werden. Obwohl sich die Presse in erster Linie von autonomen Fahrzeugen fasziniert zeigt, wird das Konzept einer Software, die lernt und aus dem Gelernten Schlussfolgerungen zieht, weit über unsere Straßen hinaus Anwendung finden. Ob als Post-sortierender Roboter, Optimierung der Lieferkette oder bei der Öl- und Gasexploration: Deep Learning ist aus unserer hochtechnisierten Welt nicht mehr wegzudenken.
Das marine Seismik-Unternehmen Petroleum Geo-Services (PGS) stieß in Neuland vor, als es 2016 einen Machine-Learning-Algorithmus einsetzte, um seismische Messungen und Analysen in nie gekannter Detailtreue durchzuführen. Erfolgreiche Anwendungen wie diese werden künftig zweifellos häufiger zu sehen sein.
- Apache Spark MLlib
Früher als Teil des Hadoop-Universums bekannt, ist Apache Spark mittlerweile ein bekanntes Machine-Learning-Framework. Sein umfangreiches Angebot an Algorithmen wird ständig überarbeitet und erweitert. - Apache Singa
Singa, seit kurzem Teil des Apache Incubator, ist ein Open-Source-Framework, das Deep-Learning-Mechanismen auf große Datenvolumen hin „trainieren“ soll. Singa stellt ein simples Programmierungsmodell für Deep-Learning-Netzwerke bereit und unterstützt dabei diverse Entwicklungsroutinen. - Caffe
Caffe umfasst ein ganzes Set von frei verfügbaren Referenzmodellen für gängige Klassifizierungsroutinen; die gewachsene Caffe-Community steuert weitere Modelle bei. Caffe unterstützt die Nvidia-Programmiertechnik CUDA, mit der Programmteile wahlweise auch durch den Grafikprozessor (GPU) abgearbeitet werden können. - Microsoft Azure ML Studio
Weil die Cloud also die ideale Umgebung für ML-Anwendungen darstellt, hat Microsoft seine Azure-Cloud mit einem eigenen ML-Service auf der Basis von „pay as you go“ ausgestattet: Mit Azure ML Studio können Nutzer KI-Modelle entwickeln und trainieren und anschließend in APIs umwandeln, um diese wiederum Anderen zur Verfügung zur stellen. - Amazon Machine Learning
Amazon Machine Learning arbeitet mit Daten, die in einer Amazon-Cloud wie S3, Redshift oder RDS liegen und kann mithilfe binärer Klassifizierungen und Multiklassen-Kategorisierung von vorgegebenen Daten neue KI-Modelle bauen. - Microsoft DMTK
Das DMTK (Distributed Machine Learning Toolkit) von Microsoft soll ML-Anwendungen über mehrere Maschinen hinweg skalieren. Es ist eher als "Out of the Box"-Lösung gedacht und weniger als Framework - entsprechend gering ist die Anzahl der unterstützten Algorithmen. - Google TensorFlow
TensorFlow basiert auf sogenannten Data-Flow-Graphen, in denen Bündel von Daten („Tensors“) durch eine Reihe von Algorithmen verarbeitet werden, die durch einen Graph beschrieben sind. Die Bewegungsmuster der Daten innerhalb des Systems heißen „Flows“. Die Graphen lassen sich mittels C++ und Python zusammenbauen und via CPU oder GPU verarbeiten. - Microsoft CNTK
Das Microsoft Computational Network Toolkit funktioniert ähnlich wie Google TensorFlow: Neuronale Netze lassen sich durch gerichtete Graphen erzeugen. Microsofts eigener Beschreibung zufolge lässt sich CNTK außerdem mit Projekten wie Caffe, Theano und Torch vergleichen – sei aber schneller und könne im Gegensatz zu den genannten gar parallel auf Prozessor- und Grafikprozessorleistung zugreifen. - Samsung Veles
Das Samsung-Framework ist dazu gedacht, Datensätze zu analysieren und automatisch zu normalisieren, bevor sie in den Produktivbetrieb übergehen – was wiederum durch eine eigene API namens REST sofort möglich ist – vorausgesetzt, die eingesetzte Hardware hat genügend Power. Der Python-Einsatz in Veles umfasst auch ein eigenes Analyse- und Visualisierungstool namens Jupyter (früher IPython) für die Darstellung einzelner Anwendungs-Cluster. - Brainstorm
Brainstorm setzt auf Python, um zwei Data-Management-APIs („Handers“ genannt) bereitzustellen – eine für CPU-Prozessing durch die Bibliothek „Numpy“ und eine für GPU-Verarbeitung via CUDA. Eine benutzerfreundliche GUI ist in Arbeit. - mlpack 2
Die neue Version der in C++ geschriebenen Machine-Learning-Bibliothek mlpack, die erstmals im Jahr 2011 erschien, bringt eine Menge Neuerungen mit – darunter neue Algorithmen und überarbeitete alte. - Marvin
Der Quellcode von Marvin ist sehr übersichtlich - die enthaltenen vortrainierten Modelle (siehe Bild) ermöglichen aber bereits eine umfangreiche Weiterentwicklung. - Neon
Neon von NervanaSystems ist ein Open-Source-Framework, das auf ein- und abschaltbaren Modulen basiert und KI-Prozesse via CPU, GPU oder Nervanas eigener Hardware ermöglicht.
China & die Bedeutung langfristiger Strategien
Auch wenn China bezogen auf die produktive HPC-Infrastruktur noch nicht das Niveau der USA oder Europas erreicht hat, dürfte der Vorsprung des Westens angesichts der chinesischen Aufholjagd bis Ende 2017 erheblich schrumpfen. Unternehmen wie Huawei, Sugon, Lenovo und andere entwickeln sich zu dynamischen Supercomputer-Playern. Schon jetzt werden die ersten zwei Ränge der Top 500 von Systemen aus dem Reich der Mitte gehalten. Und selbst wenn diese Spitzenplätze keine Aussage über die tatsächliche Produktivität erlauben, ist das Signal klar: China hat den Willen und das Wissen, um bei den Supercomputern ganz vorne mitzumischen.
Dabei ist die rasante Entwicklung nicht etwa dem Zufall geschuldet. Sie ist das Ergebnis einer langfristigen strategischen Planung, die über gezielte Investitionen Kompetenzen im HPC-Infrastrukturbereich erwirbt, um darauf aufbauend ein Geschäftsnetz zu knüpfen und neue Märkte zu erobern. Das strategische Modell der Chinesen ist auch in anderen Regionen nicht unbemerkt geblieben. So hat Indien erst kürzlich eine "Made-in-India"-Strategie verkündet, in deren Umsetzung erhebliche staatliche Mittel fließen.
Auch hinter der National Strategic Computing Initiative der US-Regierung und dem Exascale-Programm des amerikanischen Energieministeriums sowie hinter dem Horizon 2020-Programm der Europäischen Union stehen langfristig angelegte Strategien, die das Zusammenwachsen von Deep Learning und Supercomputing zum Ziel haben.
Noch ist nicht ersichtlich, wie schnell die Akteure auf diesem Weg vorankommen, und auch das nächste Jahr steckt voller Ungewissheiten. Werden nationale und regionale Strategien 2017 Fahrt aufnehmen oder eher ins Stocken geraten? Angesichts des dramatischen politischen Wandels in den USA und der anstehenden Wahlen in Europa ist noch unklar, welche Politik die Staaten heute in einem Jahr verfolgen werden und ob der Wille und die klare Ansage zugunsten einer zwingenden HPC-Strategie vorhanden sein werden. Eines jedoch ist klar: Staaten und Regionen mit sorgfältig konzipierten High-Perfromance-Computing-Strategien wie beispielsweise China werden sich bis Ende 2017 einen geschäftlichen und technologischen Vorsprung erarbeitet haben, der nur noch schwer einzuholen sein könnte.
Das Mooresche Gesetz & seine Grenzen
2016 war das Jahr innovativer Prozessortechnologien von etablierten Branchenriesen wie Intel, Nvidia, ARM oder AMD, aber auch von Newcomern aus China. Dieser Trend wird auch 2017 anhalten. Infolge der vom Markt geforderten Performancesteigerung und der Probleme, die sich daraus für CMOS-Komponenten ergeben, wird der Energiebedarf der Prozessoren immer weiter ansteigen. Die klassische Skalierung nach Dennard besagt, dass die Leistung pro Watt zunimmt und dabei dem Mooreschen Gesetz folgt.
In einer Phase, in der die Mooresche Wachstumskurve flacher wird, werden die Chiphersteller Produkte auf den Markt bringen, die mehr und mehr Wärme erzeugen. Der anhaltende Zwang zur Leistungserhöhung wird Innovationen bei der Prozessor-, der Energie- und Kühltechnologie hervorbringen und auch die Systemanbieter dazu bringen, ihre Plattformkonzepte zu optimieren. Das Energiemanagement im Halbleitersektor dürfte somit 2017 - und darüber hinaus - eine der größten Herausforderungen im Bereich der Supercomputer sein.
Foto: Carol Gauthier - shutterstock.com
Die Cloud der Zukunft: Gemeinsam sind wir stärker
Ein Blick auf die weltweiten Umsatzzahlen zeigt, dass die Cloud-Revolution in vollem Gange ist. Dieser Boom wird auch 2017 anhalten, denn die flexible Reaktion auf Nachfragespitzen im Computingbereich und die einfache Bereitstellung neuer Features sind unschätzbare Vorteile für Entwickler und kleine Unternehmen. Am Supercomputer-Horizont ist die Cloud hingegen noch nicht aufgezogen.
Bei optimaler Ausgestaltung sorgt High Performance Computing im besten Falle für die perfekte Abstimmung von Anwendung und zugrundeliegender Architektur, so dass eine maximale Skalierbarkeit, Produktivität und Performance bei minimalen Gesamtbetriebskosten erzielt wird. Mit Supercomputern lassen sich scheinbar unlösbare Aufgabenstellungen bewältigen und bahnbrechende Erkenntnisse gewinnen. Die Frage lautet nun: Können Cloud und Supercomputing gekoppelt werden, um gemeinsam noch bessere Resultate zu erbringen?
Als Antwort darauf wird es 2017 zu einem Paradigmenwechsel bei der Art und Weise kommen, wie Cloud- und Plattformanbieter die Bedürfnisse einer gerade erst entstehenden Kundenbasis befriedigen. Denn genau wie die Wolken am Himmel stetig ihre Form ändern, bleibt auch ihr technologisches Pendant niemals gleich. 2017 wird das Jahr sein, in dem vermehrt hybride Technologien entwickelt werden. Sie sind die Antwort auf den Wunsch der Wirtschaft nach einer Mischung aus Cloud- und On-Premise-Lösungen und nach einer Möglichkeit, ihre Produktivitätsziele durch die gemeinsame Nutzung von Daten und Ressourcen zu realisieren.
Die Wettervorhersage für das Supercomputing 2017 lautet daher: Teilweise wolkig… (fm)