Rund die Hälfte ihrer Energie vergeuden viele Rechenzentren mit der Klimatisierung und Temperierung. Unternehmen brauchen dazu eine Armada von Geräten: Ventilatoren, Pumpen, Kühltürme, Wasserkreisläufe, Kompressoren und so weiter. Das alles kostet – nicht nur beim Aufbau, sondern während des ganzen, möglichst langen Lebens eines RZ.

Den Vergleichsmaßstab für den Umgang mit der immer teurer werdenden Energie liefert die sogenannte Power Usage Effectiveness (PUE). Der Parameter kann Werte zwischen 1,0 und unendlich annehmen. Er setzt die vom Data Center insgesamt verbrauchte Energie zu der tatsächlich nur für die IT genutzten ins Verhältnis.

PUE-Werte von über 2 sind keine Seltenheit. Das bedeutet im Klartext: Mehr Energie als fürs Rechnen oder Speichern wird dafür verwendet, das Rechenzentrum vor Überhitzung und Schäden durch zu große Trockenheit oder Feuchte zu schützen. So manchem IT-Verantwortlichen war das in der Vergangenheit egal; in Zeiten sich verknappender Energieressourcen klettert das Thema aber auf der Agenda weit nach oben. Das Ziel ist jetzt immer öfter ein niedrigerer PUE-Wert, möglichst nahe an 1.

Die gute Nachricht: Neue Rahmenbedingungen vereinfachen die Aufgabe. Die American Society of Heating, Refrigerating and Air-Conditioning Engineers (ASHRAE) gehört zu den Verbänden, die Maßstäbe und Standards für Gebäudetechnologie setzen. Die aktuellen Richtlinien des Verbandes für Rechenzentren aus dem Jahr 2008 haben die Spielregeln hier erheblich entschärft: Betriebsumgebungen dürfen nun wärmer, kälter, feuchter und trockener sein als zuvor, ohne dass die IT als gefährdet gilt.

Das ermöglicht eine ganze Reihe neuer Technologien. Die Messlatte für ein renoviertes Datenzentrum ist heute ein PUE von 1,4, bei einem neuen RZ kann man Werte nur wenig über 1,0 erreichen. Aktuelle Neuigkeiten gab es diesbezüglich auf der „Datacenter 2011“ in Nizza, einer von der britischen BroadGroup veranstalteten Kongressmesse für die boomende Rechenzentrums-Branche.

IT-Auswahl bestimmt die Kühlleistung im RZ

Schon die Auswahl der geeigneten IT-Basistechnologien und die Auslastung bestimmen maßgeblich darüber mit, welche Kühlleistung erbracht werden muss. Wer beispielsweise seine Rechner schlecht auslastet oder längst nicht mehr benötigte Elemente einfach weiter laufen lässt, darf sich über hohen Kühlbedarf nicht wundern.

Auch die Wahl der richtigen Prozessortechnologie ist vorentscheidend. „Unternehmen wie das Startup Calxeda kommen mit vollkommen neuen Architekturen, die vier- bis sechs Mal so viel pro Watt leisten“, berichtet Beraterin Deborah Grove von Grove-Associates LLC. Calxeda packt mehr als 9000 Multicore-ARM-Prozessoren in einen Server-Schrank. Auch der Ersatz konventioneller Generatoren durch Brennstoffzellen, falls der Strom ausfällt, wirke energetische Wunder, die sich sofort im PUE niederschlügen, so die Expertin. Diesen Weg geht beispielsweise das Online-Auktionshaus E-Bay.

Energie für ein RZ von einem Wasserkraftwerk
Strato holt sich den Strom für Rechenzentren aus dem Wasserkraftwerk Laufenburg. Foto: Strato

Grünes RZ von der Host Europe GmbH
Die Host Europe GmbH hat Ihr RZ konsequent nach grünen Richtlinien entworfen. Die Racks sind so ausgerichtet, dass die Server mit der jeweils zu kühlenden Seite in den Kaltgang zeigen. Im Hintergrund sieht man an der Decke zudem Kabelgänge. Im Doppelboden sollten nämlich keine Kabel den freien Fluss der kalten Luft behindern. Foto: Host Europe

Eingehauster Gang im Rechenzentrum
Um die Luftzirkulation in einem Rechenzentrum zu optimieren, kann man Racks mit Vorhängen (Butcher Curtains) einhausen.

Einkapselung von RZ-Gängen
Ganz konsequent regeln RZ-Betreiber die Luftströme, indem sie Kaltgänge oben sowie vorne und hinten abschotten. So zirkuliert die Luft nur an den Systemen entlang und im Gang und nicht im gesamten Rechenzentrum. Foto: Knürr AG

Foto mit einer Wärmebildkamera
Wer ganz konsequent die Temperaturverhältnisse in seinem RZ diagnostizieren will, macht Fotos mit der Wärmebildkamera. Das Beispiel hier zeigt einen Kaltgang, bei dem die kalte Luft aus dem Unterboden (in blau) an den Systemen hoch strömt. Nebenerkenntnis: Die unten angeordneten Server werden besser gekühlt. Grafik: Knürr AG

Einkapselung von Kaltgängen
So strömt die kalte Luft in einem eingekapselten Kaltgang. Knürr realisiert solche optimierten Steuerungen der Liftzirkulation mit seiner Coolflex-Technik. Grafik: Knürr AG

Luftzirkulation ohne Einkapselung
Und so zirkuliert kalte und warme Luft in einem RZ nicht besonders energieeffizient. Grafik: Knürr AG

Schematische Darstellung von Kalt- und Warmgängen
In Kaltgängen und Warmgängen sind Server so ausgerichtet, dass zu beiden Seiten eines Ganges entweder nur kalte Luft auf die zu kühlenden Systeme bläst oder diese ihre warme Abluft in den Gang abgeben. Grafik: Host Europe

Kühlgeräte im Rechenzentrum von Host Europe
Kühlgeräte (hier rechts) sollten zwei Funktionen gut koordinieren: die eigentliche Kühlung und die Be- oder Entfeuchtung eines RZs. Foto: Host Europe

Vorbildliche Verkabelung
Kleinigkeiten, die sehr wichtig sind: Wer seine Kabel kreuz und quer in RZ-Schränken oder in den Unterboden stopft, behindert die freie Strömung der kalten Luft. Im RZ der Rehau AG ist die Verkabelung beispielhaft realisiert. Foto: Rehau AG

Rückkühler zur Wärmeabfuhr
Rückkühler (vorzugsweise auf Dächern platziert) entziehen Racks die Wärme und müssen über Kondensatoren abgeführt werden.

Data Center-Kühlung mit Wasser

Der Klassiker bei der RZ-Kühlung ist Wasser. Die Methoden allerdings ändern sich. Wo immer kühles Wasser in ausreichender Menge und Qualität zur Verfügung steht, ist die freie Wasserkühlung eine Option. Ein Beispiel für einen Betreiber, der diese Technologie nutzt, ist Deep Green Datacenter im Schweizer Näfels in der Nähe des Walensees.

Der See ist recht tief und hat am Boden Temperaturen von nur sechs Grad. Ein redundantes Rohrsystem von 800 Meter Länge führt direkt vom RZ zum See. „Wir dürfen Wasser direkt aus dem See entnehmen und es nach dem Durchlauf durch das Rechenzentrum 14 Grad warm wieder in den See zurückleiten“, berichtet Technologiechef André Oppermann. Der Lohn für den Aufwand: ein PUE-Wert von 1,1.

Derzeit befindet sich das Rechenzentrum im Bau. Es soll 12000 Quadratmeter Rackfläche umfassen, ist für 8 kW/qm ausgelegt und soll mehr als 5100 Rechner-Racks Platz bieten. Das Wasser durchströmt Kühlwände auf der kalten Seite der Rechner, die Warmgänge werden eingehaust und die Wärme über eine gestufte Deckenkonstruktion abgeführt.

Zwei Wärmetauscher trennen das Seewasser vom internen Kühlwasserkreislauf und diesen vom Luftkreislauf. Nutzen lässt sich dieses Konzept natürlich nur in von der Natur begünstigten Gegenden. Doch von denen gibt es mehr als man denkt. Auf Mauritius beispielsweise wird ein Rechenzentrum mit Wasser aus einer tiefen Meeresströmung gekühlt.

Freie Kühlung mit Luft

In ganz Nord- und Mitteleuropa ist nach den 2008 überarbeiteten ASHRAE-Regeln die freie Kühlung mit Luft eine Alternative. Das neue RZ Marilyn des französischen Betreibers Celeste in Paris beispielsweise löst zwei Probleme auf einmal: das der knappen Flächenkapazitäten und gleichzeitig das der Kühlung respektive Wärmerückgewinnung. Ziel war ein Rechenzentrum mit minimalem PUE, 5 kW Stromverbrauch pro Rack beim Einsatz von Standard-Servern und ein Preis von höchstens 10000 Euro pro Quadratmeter RZ-Fläche.

Heraus kam ein mehrstöckiges Gebäude mit patentierter Architektur, in dem die Kalt- und Warmgänge jedes Stockwerks direkt übereinander liegen. Zwischen Kalt- und Warmgang stehen die Rechner. Die Kaltluft – bis unter 23 Grad Celsius Außentemperatur gefilterte Umgebungsluft - wird von außen angesaugt und mit leichtem Überdruck durch metallische Lochböden die Kaltgänge hinaufgepumpt, von wo aus sie in die Rechner fließt und sie erwärmt auf der anderen Seite verlässt.

Nur bei Temperaturen über 35 Grad oder sehr geringer Luftfeuchtigkeit wird die Innenluft immer wieder rezykliert und konditioniert, was aber nur zu 5 Prozent der Laufzeit vorkommt. In anderen abweichenden Fällen – etwa 15 Prozent der Zeit - wird Außenluft konditioniert und die erwärmte Innenluft zieht nach oben ab. Im Winter heizt sie das benachbarte Bürohaus des RZ-Betreibers.

Doppelböden und technische Decken sind bei diesem Design unnötig, die Kabel werden unmittelbar oberhalb der Rechner entlang geführt. Jedes Geschoss fasst zwei Rechnerreihen mit jeweils fünf Racks, das macht auf den fünf Stockwerken mit 600 qm insgesamt 200 Racks. Auch außerhalb der Rechnerräume gibt es keine Batterien und damit keine Kühlung. Als USV dient ein Schwungrad. Der auf diese Weise angestrebte PUE des RZ, das im September in Betrieb geht, beträgt laut CEO Nicolas Aube 1,3.

Einen anderen Weg geht Thor Datacenter in Island, wo hinsichtlich der Lufttemperatur ganzjährig nahezu Idealbedingungen herrschen. Zusammen mit AST Modular wurde ein auf angesogener Außenluft basierendes Kühlsystem entwickelt, das modular direkt über den halbhohen Server-Racks angebracht ist und sie von oben kühlt. Dass Kaltluft von selbst von oben nach unten fließt, verringert den Ventilationsaufwand. Die Warmluft fließt ab in einen Heißgang und steigt nach oben. Der resultierende PUE: 1,07.

Neu im RZ: Verdunstungskühlung

Eine indirekte Kühlmethode mit Luft, die in den letzten Jahren Freunde gewinnt, ist die Verdunstungskühlung (adiabatische Kühlung). Dabei wird dem heißen Luftstrom durch ein verdunstendes Medium, oft Wasser, die Hitze entzogen. Danach kann es wieder zur Temperierung verwendet werden. Mit Ecobreeze bietet beispielsweise Schneider Electric ein modulares adiabatisches Kühlsystem an.

Dabei stehen Reihen aus je bis zu acht Kühleinheiten neben dem eigentlichen Rechenzentrum. Die erwärmte Luft fließt in Ecobreeze über Luft-Luft-Kreuzstrom-Wärmetauscher, wo sie abkühlt. Dann wird sie, falls zu warm, mit Wasser und, falls das auch nicht reicht, per Kompressor nachgekühlt. Anschließend wird die temperierte Kaltluft unten wieder ins RZ geblasen.

Wer das modulare Design nutzen will, muss die unterirdischen Teile der Verrohrung für die gesamte Kapazität des RZ vorverlegen. Die Kühlmodule werden montiert, wann immer das Wachstum im RZ das nötig macht. Sowohl die Verwendung der Außenluft als primäres Kühlmedium als auch der modulare Ausbau drücken die PUE nach unten.

Data Center-Kühlung mit thermischen Rädern

Interessant ist auch die Idee des belgischen Unternehmens Datacenter Oostkamp, wo unter das mit freier Luftkühlung klimatisierte Rechenzentrum ein 4 Millionen Liter fassender Kühlwassertank gebaut wurde. Wasser von dort wird nur in den 20 Prozent der Zeit zur Zusatzkühlung genutzt, in denen die freie Luftkühlung nicht ausreicht. Das Rechenzentrum erreicht durch diese und diverse andere Maßnahmen einen PUE von 1,06.

Vielversprechend sind auch sogenannte thermische Räder, das sind scheibenförmige, permanent rotierende Wärmetauscher, die senk- oder waagerecht stehen können. Das thermische Rad trennt den Außen- vom Innenluftbereich und sorgt für einen permanenten Temperaturausgleich zwischen diesen Bereichen. Dabei reguliert die Rotationsgeschwindigkeit die Intensität des Wärmeaustauschs bei unterschiedlichen Außentemperaturen. Nur wenn es außen sehr warm ist, wird die Luft per Verdunstungskühler weiter heruntergekühlt.

Beim thermischen Rad geraten zwar durch die Fugen zwischen Rad und Wänden geringe Mengen an Außenluft in den Innenluftbereich, die aber die Leistung nicht beeinträchtigen. Der mechanische Aufwand beschränkt sich auf einen kleinen Motor für das Rad und einen Ventilator, der die Außenluft ansaugt. Staub und andere Verschmutzungen der Außenluft geraten so gut wie nicht ins Innere. Auch bei Ausfall des Kühlaggregats wird die Außentemperatur innen um nicht mehr als 2 Grad überschritten.

Die Kühlkapazität bestimmt die Größe des Rads. 6 Meter Durchmesser reichen für die Kühlung von 600 kW Rechenleistung. Die Technologie ist also eher für kleinere Einheiten sinnvoll. RZ-Bauer müssen sich an ein neues Design gewöhnen: jede Kühlzelle ist für eine Reihe Rechner verantwortlich und schließt räumlich direkt an den Rechnerraum an. Dadurch wächst die Kühlung mit dem Rechenzentrum: Eine neue Reihe Rechner wird mit einem neuen Rad versorgt. Eine Demonstrationsanlage steht in den Niederlanden. Sie hat ein PUE von 1,15. Robert Sullivan, der als Berater für die Technologie wirbt, sagt dazu: „Das größte Risiko besteht darin, dass im RZ-Bereich niemand thermische Räder kennt.“

Submersionskühlung mit konventionellen Servern

Auch die Idee, IT-Systeme direkt flüssig zu kühlen – ohne Umweg über die Luft – feiert zur Zeit fröhliche Urständ. Hintergrund ist die Tatsache, dass Luft Wärme nun einmal eher schlecht leitet. Diesmal allerdings bleibt das Wasser, das bisher unter anderem wegen seiner korrosiven Eigenschaften bei der direkten Systemkühlung für Verdruss bei RZ-Managern sorgte, aus dem Spiel. Die Nachfolgelösungen verwenden meist nicht leitende Öle, in die die IT komplett eingetaucht wird.

So verwendet der britische Rechenzentrumsbauer und –betreiber Ark Continuity Submersionssysteme der Marke CarnotJet von Green Revolution Cooling. Man muss sie sich als eine Art Hightech-Wanne vorstellen, in die das gesamte Hitze abstrahlende IT-Equipment gehängt wird. Die Wanne, der sogenannte CarnotJet, ist mit einem nicht elektrisch leitenden, nicht korrosiven, ungiftigen, aber sehr gut Wärme leitenden Öl gefüllt, in dem sich alle IT-Komponenten befinden. Das sich erhitzende Öl wird in einem Kreislauf geführt und in Kühleinheiten außerhalb der Behälter gekühlt, ehe es wieder in die Behälter zurückkehrt. Man braucht also nur Kühler für das Öl, Rohre und Pumpen.

„Ein großer Teil der Ersparnis ergibt sich bei diesen Systemen, weil die Server und übrigen Geräte keine Lüftung mehr benötigen“, erklärt Dr. Ian F. Bitterlin von Ark Continuity. Die Standzeit der Systeme und ihre Zuverlässigkeit verlängern sich laut Bitterlin durch fehlenden Thermostress erheblich. Falle die Anlage einmal aus, dauere es im Gegensatz zu konventionellen Methoden Stunden, bis die kritische Temperatur erreicht sei. Um zu brennen, müsse ein 1000-Liter-Tank eine Temperatur von 200 Grad Celsius erreichen, und bis dahin sei alles längst abgeschaltet. Der erreichbare PUE der Methode: 1,12. Angewandt wird sie beispielsweise im amerikanischen Texas Advanced Computing Center (TACC).

Submersionskühlung in der Maschine

Den wohl konsequentesten Weg der Flüssigkühlung geht das junge amerikanische Unternehmen Hardcore Computer. Auch Hardcore verwendet zum Kühlen ein dielektrisches Öl, das gut Wärme leitet, kaum jemals brennt, nicht giftig und biologisch abbaubar ist. Es lässt sich rezyklieren und korrodiert Metalle nicht. Jedes der angebotenen „Liquidblades“ – ausgestattet mit aktuellen Prozessoren und entsprechender Connectivity – wird in sich gekapselt.

liquidblade2

liquidblade3

liquidblade4

liquidblade

Die Kühlflüssigkeit, die mehr als 1300 mal so gut isoliert wie Luft, fließt über tropffreie Zu- und Abflüsse und damit verbundene Schläuche kühl in den gekapselten Rechner ein und warm wieder hinaus. Das übrige Kühlsystem besteht aus Pumpen und einer Einheit, die die Kühlflüssigkeit ihrerseits kühlt, bevor sie in die Rechner zurückfließt. Lüfter, Chiller, Wassertürme, umfangreiche Rohrsysteme, Kalt- und Warmgänge sind allesamt überflüssig.

Das spart natürlich Platz und verhilft dem RZ zu mehr Rechenpower pro Quadratmeter. „Die Technologie spart 80 Prozent der Kühlkosten“, sagt Attlesey. Er hatte bisher schon PCs und Einzel-Server im Programm, das Blade kommt nun hinzu. Derzeit gibt es laut dem Manager großes Interessente an OEM-Verträgen, IBM habe, so Attesley, bereits einen unterschrieben.

Zukunftsmusik: Hyperschall und Nanolaser-Impulse

Während die oben beschriebenen Technologien sich bereits in der Umsetzungsphase befinden, gibt es auch vollkommen neue Entwicklungen im Grundlagenbereich, die in einigen Jahren in komplett andersartigen Kühltechniken resultieren könnten. Jay Harman, Gründer und Cheferfinder des Silicon-Valley-Startups Caiti beispielsweise, versucht, die der Natur abgeschauten Erkenntnisse zur Strömungsdynamik in Neuentwicklungen für Kühlung, Klimatisierung und Windenergie umzusetzen.

Die kleine Firma bekommt Geld von Koshla Ventures, einem auf „grüne“ Technologien spezialisierten Wagnisfinanzierer. Ohne allzu viel zu verraten, beschreibt Caitin seine Technologie als eine Mischung natürlicher Strudelbewegungen mit Hyperschall-Beschleunigung des Kühlmittels durch spezielle Düsen. Hyperschall ist Ultraschall mit Frequenzen über 1 GHz.

Einer anderen, derzeit noch weit von der RZ-Praxis entfernten Methode sind Forscher einer Arbeitsgruppe am Institut für Optik der Universität von Rochester auf der Spur: Sie beschießen unterschiedliche Materialien mit nur Nanosekunden dauernden, dafür aber höchst energiereichen Laserimpulsen. Diese verändern dauerhaft die innere Struktur der behandelten Materialien. Äußeres Zeichen dafür: Sie werden tiefschwarz.

Professor Chunlei Guo: „Schwarze Materialien nehmen Hitze sehr leicht auf, leiten sie aber auch genau so leicht wieder ab.“ Außerdem leiten nanogelaserte Oberflächen Wasser unvergleichlich gut weiter – sogar bergauf. Aus diesen Effekten ließen sich, so Guo, eventuell neuartige Methoden der Kühlung entwickeln. Denkbar ist, die schwarzen Oberflächen beispielsweise von Rechnern oder Prozessoren mit einem die Hitze abtransportierenden Flüssigmedium in Kontakt zu bringen.

Es fragt sich aber, in welcher Relation der energetische Aufwand des Nanolaserns zur Energieeinsparung beim Kühlen mit nanogelaserten Materialien steht. Guo: „Wir gehen davon aus, dass der Einspareffekt auf jeden Fall größer ist, weil die Werkstoffe nur einmal gelasert werden müssen und der Effekt über ihre ganze Lebensdauer erhalten bleibt.“ (Computerwoche)