Generative AI - darauf sollten CIOs achten

Mit der wachsenden Bedeutung von ChatGPT sind auch die Unternehmen aufgewacht und zeigen verstärktes Interesse an generativer KI (GenAI). Oft drehen sich die Debatten allerdings vor allem darum, ob und wo Arbeitsplätze bedroht sind. Die positiven Aspekte der Technologie für die operative Arbeit fallen dann erst einmal unter den Tisch. Wird GenAI richtig implementiert und auf die jeweiligen Anforderungen eingestellt, können Unternehmen schneller neue Produkte und Services entwickeln beziehungsweise - etwa in den Bereichen Pharma und Gesundheit - präzisere Diagnosen vornehmen.

Die Sprachmodelle müssen passen

Doch der Einsatz von GenAI im Geschäftsumfeld ist kein Selbstläufer. CIOs müssen zunächst klären, welche Aufgaben auch in Zukunft von Menschen erledigt werden sollen. Erst dann ist es sinnvoll zu evaluieren, wo genau GenAI das Unternehmen unterstützen soll, ob punktuell oder bei übergreifenden Aufgaben.

CIOs sollten dazu folgende Fragen beantworten:

• Welche Personen oder Rollen sind an welchen Aktivitäten beteiligt?

• Was sind die als stark kognitiv zu bezeichnenden Aufgaben?

• Welche Daten benötigt GenAI, um bestimmte Aufgaben zu lösen?

• Müssen geistige Eigentumsrechte berücksichtigt werden?

• Lassen sich die Datenpfade für die jeweiligen Aufgaben durchgängig nachverfolgen?

• Können mit GenAI neue Arten von Informationen generiert und damit Perspektiven für das Business eröffnet werden?

• Wie könnten Aufgaben, Prozesse und Rahmenbedingungen durch Wettbewerber verändert werden, wenn diese ebenfalls GenAI verwenden?

Bei der Implementierung von GenAI müssen mögliche Auswirkungen auf Mitarbeitende und Kunden berücksichtigt werden. CIOs brauchen eine klare Vorstellung davon, wie die Stakeholder auf Veränderungen durch KI reagieren werden und was das für die Geschäftsentwicklung bedeuten kann.

Ist geklärt, welche Aufgaben die KI erledigen soll, muss die Bewertung der verfügbaren großen Sprachmodelle (Large Language Models = LLMs) erfolgen. Die LLMs müssen in der Lage sein, das benötigte Wissensgebiet abzudecken. Wichtig dabei: Einige populäre Sprachmodelle wurden auf Grundlage breiter Datenbestände geschult, andere eignen sich ausschließlich für spezifische Anwendungen.

Umsetzung von generativer KI

Die Einbindung von GenAI in betriebliche Prozesse setzt kritisches Denken seitens der Mitarbeitenden, teilweise auch der Kunden, voraus. Konzepte und Zusammenhänge müssen optimal formuliert werden, um daraus verwertbare Abfragen und somit auch aussagekräftige Antworten generieren zu können. Hier haben sich die Methoden des Prompt Engineering, Prompt Adaption und Prompt Vetting bewährt.

• Beim Prompt Engineering geht es darum, Informationen, Kontext und Struktur für die an eine KI-Lösung gestellten Fragen bereitzustellen. Es gilt Anleitungen, die zu bestimmten Ergebnissen führen sollen, zu optimieren. Dabei geht es um weit mehr als nur darum, korrekte Fragen an die KI zu formulieren. Zum Prompt Engineering zählen auch die Kontextualisierung mit externen Informationen, die Formatierung der Ausgabe, die Auswahl von Daten, spezifische Benutzereingaben und einfache Programmieraufgaben (mit Python).
  

• Prompt Adapting, auch als Prompt Tuning bezeichnet, ist ein Ansatz, um ein existierendes Modells für die Verwendung in einem bestimmten Bereich zu trainieren, ohne dass dabei die ursprüngliche Modellgewichtungen beeinflusst werden. Beim Prompt Adapting wird festgelegt, auf welcher Datenbasis das Modell geschult wird, welche Modelle und Modalitäten (Text, Video, Chat, Audio) trainiert werden müssen und welche Beschränkungen für die Ausgabe gelten sollen.
  
  Dabei gibt ein Training für alle Anwendungsfälle wirtschaftlich aktuell nur selten Sinn. Vielmehr gilt es, bestimmte Anwendungsfälle zu trainieren, die im Rahmen der Analyse als erfolgsversprechend identifiziert worden sind. Mit dem Aufkommen neuer Produkte, die mit spezifischen Datentypen und Quellen arbeiten, sowie dem Aufkommen neuer Open-Source-LLMs beziehungsweise Grundlagenmodelle wird sich der Aufwand für dieses Training in Zukunft reduzieren. Schon heute bieten Anbieter wie Google mit Vertex AI, Microsoft mit Open AI Studio, AWS mit SageMaker oder IBM mit watsonx.ai Möglichkeiten der Feinabstimmung von LLMs.
  

• Prompt Vetting dient schließlich dazu, die Effektivität und Zuverlässigkeit von GenAI-Antworten zu bewerten.

Proof of Concept senkt Risiken

Für geschäftskritische Aufgaben sollte generative KI heute nur mit äußerster Vorsicht eingesetzt werden. In anderen Bereichen zeigen die Erfahrungen von Early Adopters, dass die GenAI ohne Probleme genutzt werden kann - beispielsweise für die Zusammenfassung von Geschäftsberichten.

Wichtig ist es natürlich auch, die Kosten im Blick zu behalten: Muss ein neues Grundlagen- oder Sprachmodell entwickelt, aufwändig angepasst oder durch Schulung unterstützt werden, drohen hohe Kosten. Ist jedoch bereits ein etabliertes Open-Source-Modell für ein Aufgabengebiet verfügbar, sinken die Aufwendungen.

Vorsicht ist zudem geboten, wenn GenAI in Apps oder Tools integriert wurde und dabei die Struktur der Frage im Vorfeld bereits festgelegt worden ist. Das reduziert zwar die Gefahr, falsche oder schlechte Fragen zu stellen, doch es schränkt auch - im Gegensatz zu Chat-basierten Oberflächen - oft die Flexibilität für die Beantwortung ein.

Mit diesen Handlungsempfehlungen möchten wir ihnen helfen, Unsicherheiten im Zusammenhang mit Generative AIGenerative AI im Unternehmen abzubauen. CIOs haben die Chance, diese bahnbrechende Technologie frühzeitig und effektiv zu nutzen, sie sollten aber die damit einhergehenden Risiken richtig einschätzen können. (hv) Alles zu Generative AI auf CIO.de