Microsofts Bing-KI größter Stromfresser mit 7.200 MWh

Dass die KI-NutzungKI-Nutzung enorme Mengen an Strom benötigt, war uns allen mehr oder weniger bewusst. Doch wieviel genau? Alles zu Künstliche Intelligenz auf CIO.de

Dieser Frage ging jetzt der texanische Rechenzentrums-Betreiber TRG Datacenters nach und analysierte die sieben - auf Basis der durchschnittlichen monatlichen Suchanfragen auf Google - populärsten KI-Programme.

Die populärsten KI-Bots

Demnach ist ChatGPT mit rund 16 Millionen Suchanfragen der populärste KI-Bot, gefolgt von Bing und Jasper. Auf Platz vier folgt Google Bard mit rund 201.000 Anfragen pro Monat.

Um den monatlichen Energieverbrauch der KI-Modelle und den Energieverbrauch im Zusammenhang mit dem Trainingsprozess für jedes KI-Modell zu berechnen, berücksichtigte man bei TRG Datacenters die Modellarchitektur, Hardware-Spezifikationen, Trainingsphase, Inferenzphase und Leistungseffizienz.

7.200 MWh: Stromfresser Bing-KI

Nach diesen Berechnungen ist die Bing-KI mit 7.200 MWh mit Abstand der größte Stromfresser. Um diesen Strombedarf zu decken, bedürfte es fast zweier Braunkohlekraftwerke wie sie etwa im nordrheinwestfälischen Neurath stehen. Das dortige Kraftwerk stößt je nach Quelle zwischen 18,67 Millionen und 22,08 Millionen Jahrestonnen des Klimakillers CO₂ aus.

Bei ihren Berechnungen gingen die TRG-Autoren von folgenden Annahmen aus:

• Microsoft Bing verwendet OpenAI ChatGPT-4. Das Large Language Model (LLM) verfügt über die gleiche Architektur wie GPT-3, hat aber 100 Billionen Parameter. Das sind 5,8mal mehr Parameter als bei GPT-3.

• Wenn GPT-4 5,8-mal mehr Parameter hat, sollte es 5,8-mal mehr Petaflop/s-Tage für Berechnungen benötigen als GPT-3. Es würde also 5,8 * 3640 Petaflop/s-Tage, also insgesamt 21.000 Petaflop/s-Tage, für die Berechnung benötigen.

• Wenn OpenAI in seinem Supercomputer die gleichen Nvidia GPUs V100 mit 0,014 Petaflop/s verwendet, dann sollte es etwa 150 Tage dauern, um das Training abzuschließen.

• Damit beträgt die Trainingszeit von GPT-4 etwa fünf bis sechs Monate.

• Für den Stromverbrauch einer V100-GPU wurden rund 250 Watt angesetzt.

• Wenn also 10.000 V100-GPUs 150 Tage lang mit voller Leistung laufen, bedeutet dies einen Energieverbrauch von 7.200 MWh.

Bei ChatGPT, respektive GPT-3, rechnete TRG ebenfalls mit einem Supercomputer mit 10.000 GPUs vom Typ Nvidia V100. Aufgrund der geringeren Anzahl an Parametern wurde eine Trainingszeit von 26 Tagen angesetzt. Dies ergibt einen Energieverbrauch von 1.248 MWh.

312 MWh: Sparwunder Google Bard

Im Vergleich zu Bing und GPT-3 ist Google Bard mit 312 MWh ein Energiesparer. Der geringere Energieverbrauch erklärt sich so:

• Bard verwendet die Google eigenen TPUv4-Chips. Diese sind etwa doppelt so schnell wie ein Nvidia V100. Dabei verbrauchen sie nur halb so viel Energie.

• Bard hat 137 Milliarden Parameter, dies entspricht in etwa ChatGPT-3.

• Wenn also GPT-3 26 Tage benötigte, dann würde TPUv4 für das Training 13 Tage benötigen, um die Berechnungen abzuschließen.

• Damit würde der Energieverbrauch bei 312 MWh liegen.

Echter Sparfuchs unter den KI-Chatbots ist Socratic von Google. Für diesen auf den Education-Bereich ausgerichteten Chatbot wird ein Verbrauch zwischen 50 und 300 MWh angegeben. Socratic verwendet sein eigenes natürliches Sprachmodell. In Bezug auf den Energieverbrauch ist Socratic von Google damit eines der effizientesten Tools - allerdings wird dies mit Einschränkungen in Bezug auf seine Fähigkeiten erkauft.

YouChat, Jasper und Chatsonic

Bei der Berechnung des Verbrauchs der KI-Bots YouChat und Jasper berücksichtigten die Forscher die Tatsache, dass diese ChatGPT-3 beziehungsweise OpenAI 3.5 verwenden. Chatsonic von Writesonic ist wiederum eine KI-Plattform, die GPT-4 als zugrundeliegende Technologie verwendet. Das bedeutet, so die Autoren, dass der Energieverbrauch der Chatbots der gleiche ist wie der von GPT-3 beziehungsweise GPT-4.

Folgen für den Stromverbrauch

Inzwischen sind weltweit Hunderttausende von KI-Chatbots im Einsatz. Allein der Facebook Messenger beherbergt 300.000 aktive KI-ChatbotsKI-Chatbots. Und die Zahl der verfügbaren Chatbots wird in naher Zukunft noch weiter steigen. Alles zu Chatbot auf CIO.de

So sagen Analysten voraus, dass die Zahl der mit Chat-Assistenten ausgestatteten Geräte weltweit bald acht Milliarden erreichen könnte. Das dürfte natürlich erhebliche Auswirkungen auf den weltweiten Energieverbrauch und CO₂-Ausstoß haben.

Interessierte finden die detaillierten Berechnungen hier.