Foto: chayanuphol - shutterstock.com
Vergangenes Jahr, als sich viele CIOs auf ihre erste Runde der Scope-3-Berichterstattung vorbereiteten, hielt generative KI (GenAI) Einzug in praktisch jedes Büro. Manchmal kam sie durch die Vordertür, aber in den meisten Fällen schlich sie sich still und heimlich ein, weil Wissensarbeiter mit ihr an Dokumenten und E-Mails experimentierten.
In vielen Unternehmen haben die Anwendungsfälle dort auch wieder aufgehört, aber einige IT-Abteilungen genehmigen - und fördern - es, GenAI für Aufgaben wie das Coding einzusetzen. Andere Firmen wiederum suchen bei ihren Softwareanbietern nach Upgrades, die KI-Komponenten enthalten. Unternehmen wie das schwedische Fintech Klarna nutzen KI nicht für interne Projekte, sondern integrieren sie auch in die eigenen Produkte.
GenAI bei Klarna: ubiquitär
Seit ChatGPT im November 2022 vorgestellt wurde hat sich Klarna intensiv mit KI beschäftigt. Das Unternehmen ist zu der Einschätzung gelangt, dass KI fast jeder Person im Unternehmen helfen kann, effektiver zu werden - unabhängig vom Qualifikationsniveau oder der jeweiligen Rolle. "Wir prüfen derzeit etwa hundert Initiativen in der Produktion und der Entwicklung, ob wir GenAI einsetzen könnten", sagt Martin Elwin, Senior Engineering Director bei Klarna. "Und dies umfasst nicht nur Ingenieure, sondern alle, von der Finanzabteilung über die Rechtsabteilung bis hin zum Marketing und darüber hinaus."
Für spannende Hintergründe, und Deep Dives aus der CIO-Community, abonnieren Sie unsere CIO-Newsletter.
Vor einigen Wochen kündigte Klarna einen KI-Assistenten an, der Nutzerfragen mit sehr wenig menschlicher Unterstützung beantworten kann. Die Software hilft Verbraucherinnen und Verbrauchern, interessante Produkte bei dem Händler zu finden, der für sie am besten geeignet ist.
Zudem unterstützt das Tool bei der Bezahlung sowie nach dem Kauf. Laut Daniel Greaves, Kommunikationschef bei Klarna, war die neue KI-Generation sofort erfolgreich. "Innerhalb von vier Wochen nach dem Start hat der KI-Assistent zwei Drittel der Chat-Anfragen unseres Kundendienstes übernommen und erledigt damit die Arbeit von etwa 700 Mitarbeitenden."
Ist KI schlecht für den CO2-Fußabdruck?
KI-Anwendungen, so vorteilhaft sie auch klingen mögen, rufen jedoch häufig Bedenken hervor. "Oberflächlich betrachtet, stellt es sich heute so dar, dass KI und Nachhaltigkeit in entgegengesetzte Richtungen laufen", sagt Srini Koushik, President of AI, Technology and Sustainability bei Rackspace Technology. "KI verbraucht viel Energie durch das Trainieren großer Sprachmodelle oder beim Ausführen von Inferenzen. Und das ist erst der Anfang. Der Stromverbrauch steigt exponentiell an."
Allerdings argumentieren Koushik und viele andere Technologen, dass die Vorteile der KI ihren ständig wachsenden CO2-Fußabdruck bei weitem überwiegen. KI verspricht, Forschenden bei der Suche nach effizienteren Energiequellen zu helfen, aktuelle Energiequellen durch verbesserte Energieverteilung zu optimieren und die Auswirkungen von CO2-Emissionen durch die Analyse von Klimamustern zu messen.
"KI wird der Menschheit in vielerlei Hinsicht zugutekommen", prognostiziert Koushik. "Und aus der Sicht meines eigenen Unternehmens: Wenn einer der Vorteile der KI darin besteht, dass ich niemanden mehr auf einen Flug von New York nach London schicken muss, habe ich den Verbrauch wieder ausgeglichen."
Zwei Seiten der CO2-Medaille
Unabhängig davon, ob KI langfristig die Versprechen einhalten kann, müssen einige CIOs bereits heute die Auswirkungen in ihre Scope-3-Berichterstattung einbeziehen - und das wird sehr schnell kompliziert. Arbeiten Unternehmen beispielsweise mit einem Modell, das von jemand anderem trainiert wurde, müssen sie über ihren jeweiligen Anteil am CO2-Impact berichten. Der Anbieter kann vielleicht die Gesamtkosten für das Training nennen, aber niemand weiß, wie man diese Kosten über die Lebensdauer des Modells auf alle Nutzer aufteilt.
"Vieles ist noch gar nicht klar, denn das Scope-3-Reporting ist ebenso neu wie GenAI", sagt etwa Niklas Sundberg, Chief Digital Officer und SVP beim Schweizer Transport- und Logistikunternehmen Kühne+Nagel. Sundberg kennt sich mit dem Thema Scope-3-Berichterstattung bestens aus, er behandelt das Thema in seinem Buch "Sustainable IT Playbook for Technology Leaders". Trotz der Unklarheiten treiben IT-Führungskräfte den Einsatz von KI voran. Mit drei Strategien können sie versuchen, die Auswirkungen des Energieverbrauchs auf ihre eigenen Nachhaltigkeitsinitiativen abzumildern.
1. Mit einem Provider die Auslastung optimieren
"Wir sind bereits fortgeschrittene AI-Anwender und empfehlen Provider, die gemeinsame On-Demand-KI-Umgebungen für Vorhersagen beziehungsweise Inferenzen aus neuen Daten anbieten", berichtet Elwin von Klarna. Das sei sinnvoll, denn je mehr Menschen einen öffentlichen Cloud-Service nutzen, desto höher sei die Auslastung. Die verbesserte Ressourcennutzung bei der Ausführung stromhungriger KI-Anwendungen könnte sich positiv auf die Gesamtbilanz des eigenen Unternehmens auswirken.
Ein weiterer Schritt wäre, den Providern eine Liste von Fragen stellen, angefangen bei der Art und Weise, wie sie ihre Modelle trainieren und wie die Inferenzen ausgeführt werden. "Wenn Sie nur Inferenz-Services kaufen, fragen Sie den Anbieter, wie er alle vorgelagerten CO2-Auswirkungen berücksichtigen kann", empfiehlt Tate Cantrell, CTO von Verne, einem Unternehmen, das Rechenzentrumslösungen für Unternehmen und Hyperscaler anbietet. "Die Ausgabe von Inferenzen selbst dauert nur Sekundenbruchteile. Aber warum die Gewichte in diesem neuronalen Netzwerk so verteilt sind, wie sie sind, liegt an den immensen Trainingseinheiten - möglicherweise ein oder zwei Monate Training bei etwa 100 bis 400 Megawatt. Wie viel davon sollte Ihnen also in Rechnung gestellt werden?"
Cantrell fordert daher CIOs auf, die Anbieter nach ihrer eigenen Berichterstattung zu fragen. "Berichten sie offen über die vollständigen Auswirkungen ihrer Dienstleistungen unter dem Gesichtspunkt der Nachhaltigkeit? Wie lange dauert der Trainingsprozess, wie lange ist das Modell valide und auf wie viele Kunden hat sich das alles ausgewirkt?"
Laut Sundberg wäre es ideal, wenn das KI-Modell selbst Auskunft über seinen CO2-Fußabdruck geben würde. "Sie sollten in der Lage sein, Copilot oder ChatGPT zu fragen, wie hoch der CO2-Fußabdruck Ihrer letzten Anfrage ist", sagt er. "Soweit ich weiß, gibt Ihnen derzeit keines der Tools eine Antwort auf diese Frage."
2. Das beste Modell für jeden Schritt
Als Klarna seinen KI-Assistenten entwickelte, verwendeten sie nicht nur ein KI-Modell für alle Aufgaben. Stattdessen durchlief das Unternehmen einen Prozess, bei dem jeder Schritt bewertet wurde, um zu sehen, was wirklich für die Teilbereiche der Aufgabe benötigt wird.
"Wir haben uns bemüht, ressourceneffizient zu arbeiten", sagt Elwin. "Und daher haben wir darauf geachtet, möglichst kleine Modelle zu verwenden, die für einen bestimmten Schritt alle erforderlichen Fähigkeiten bieten." Mit Leitlinien will Klarna sicherstellen, dass Teams auf dieselbe Weise vorgehen, wenn sie andere Lösungen entwickeln. So könnte eine Etappe ein umfassendes Modell wie GPT-4 erfordern, während ein anderer Teil des Dienstes mit einem leichteren Modell wie GPT-3.5 Turbo gut funktioniert.
Kleinere Modelle benötigen nicht nur in der Trainingsphase, sondern auch bei der Inferenz weniger Strom. Letztendlich müssen die Unternehmen den Energieverbrauch messen - und zwar auf der Basis der einzelnen Abfragen, bei denen die kleineren Modelle viel besser abschneiden.
"Man braucht kein GPT-4, um Schadenersatzansprüche in einem Versicherungsumfeld zu beurteilen", sagt Koushik. "Sie brauchen etwas Kleineres, das auf domänenspezifischen Daten trainiert ist und Fragen in Ihrer Domäne genauer beantworten kann als GPT-4."
3. Anwendungsfälle priorisieren
Ein CIO kann einen ausgewogenen Blick auf die Use Cases werfen und Prioritäten setzen. "Die wenigsten Leute brauchen Copilot", so Koushik. "Seine Vorteile beim Schreiben besserer E-Mails rechtfertigen nicht automatisch die Kosten für das Abonnement und die CO2-Emissionen. Andererseits profitiert unsere Rechtsabteilung von Copilot in einer Weise, die die Kosten ausgleicht - also haben wir es auch für sie eingeführt."
Anwendungsfälle zu priorisieren bedeutet, dass IT-Führungskräfte einigen Benutzern sagen müssen, dass KI keine geeignete Lösung für ihr Problem ist. Eine gangbare Lösung dafür ist, frühzeitig klare Richtlinien festzulegen.
CIOs sollten den CO2-Fußabdruck von KI-Tools messen und diesen dann für jeden Anwendungsfall mit den potenziellen Vorteilen abgleichen. "Für CIOs ist es entscheidend, dass sie die CO2-Emissionen einer bestimmten Anwendung messen können", sagt Sundberg. "Dann können sie die Kosten und den Nutzen abwägen. Wenn Sie den CO2-Fußabdruck nicht selbst herausfinden können, versuchen Sie, Ihren Softwareanbieter zu fragen."
Was die Angelegenheit jedoch schwierig machen kann, ist, dass die Anbieter nicht immer sagen, was sie wissen. "KI kann zwar viele Nachhaltigkeitschancen eröffnen, aber es gibt auch eine Schattenseite, über die nicht gesprochen wird - jedenfalls nicht von den Providern", sagt Sundberg. "Sie konzentrieren sich zu sehr auf den Wettlauf um den Status als Top-Anbieter in ihrem Bereich." (jd)