In 8 Schritten zur eigenen GenAI

Den Anfang machte ChatGPT. In seiner kostenlosen, frei verfügbaren Version überzeugte der Chatbot auf Basis des KI-Modells GPT-3.5 innerhalb weniger Wochen Millionen Nutzer von den Vorteilen generativer KI (GenAI). Kein Wunder also, dass Microsoft, Google, AWS, IBM und zahlreiche kleinere Anbieter in rascher Folge eine breite Vielfalt unterschiedlicher GenAI-Tools für den Unternehmenseinsatz auf den Markt brachten.

Eher unentschlossen präsentieren sich dagegen noch die Anwendungsunternehmen. Ende 2023 nutzten laut einer Studie des Bitkom erst 15 Prozent der befragten Unternehmen KI. Immerhin sehen mehr als zwei Drittel der Befragten (68 Prozent) KI allgemein als wichtigste Zukunftstechnologie und als Chance für ihr Unternehmen an.

Beispiel GoodGPT bei NTT Data

In Schlüsselbranchen wie Automotive und Unterhaltungselektronik nimmt die Implementierung von KI-Anwendungen immer schneller an Fahrt auf. Und nicht nur dort, wie das Beispiel "GoodGPT" in unserem Unternehmen zeigt. Innerhalb von drei Monaten gelang es uns in acht Schritten, einen individualisierten KI-Chatbot produktiv einzusetzen.

1. Die Technologie verstehen

Fehlendes technisches Know-how ist eines der größten Hindernisse für den Einsatz von KI in Unternehmen. Das sagen laut der Bitkom-Studie 84 Prozent der Befragten, die sich mit dem Thema beschäftigen. Die gute Nachricht in diesem Zusammenhang: Wer die Möglichkeiten und Grenzen von ChatGPT und Co. frühzeitig erkundet, kann unnötige Enttäuschungen und Misserfolge vermeiden.

Denn diese ergeben sich vor allem aus unrealistischen Zielsetzungen. Wer hingegen die Potenziale der generativen KI realistisch einschätzt, kann mit vergleichsweise einfachen Mitteln Quick Wins realisieren.

So etwa bei der Zusammenfassung, Übersetzung, oder Analyse von Dokumenten. Außerdem kann ein realistisches Bild von KI helfen, überflüssige Bedenken zu beseitigen. Dazu gehört etwa die Ansicht, GPT-3.5, das KI-Modell hinter der frei verfügbaren Version von ChatGPT, tauge nicht für den professionellen Einsatz.

2. Erwartungen managen - realistische Ziele setzen

Der kürzeste Weg zu praxistauglichen Ergebnissen führt über eine konkrete Zielsetzung. Für den Einsatz heutiger GenAI-Lösungen könnte die so lauten:

• Synthetische Daten für Softwaretests erzeugen,

• Programmcode entwickeln,

• Ideen und Konzepte für Texte und andere Kommunikationsmedien entwickeln,

• Content zusammenfassen und

• Standardtexte im Bereich Sport- oder Wirtschaftsmeldungen erstellen.

Genau solche Einsatzszenarien standen bei uns im Vordergrund. Verbunden mit der Erwartung, eine sichere und flexible generative KI-Plattform mit einfach bedienbaren Werkzeugen für die verschiedenen Anwendungsfälle möglichst rasch bereitzustellen.

3. Mensch im Mittelpunkt

Wer je an einem IT-Projekt mitgearbeitet hat, weiß: Wenn die Akzeptanz der Beschäftigten fehlt, ist der Erfolg gefährdet. Das gilt auch und gerade beim Thema KI: Die möglichen Auswirkungen auf den Arbeitsalltag der Mitarbeitenden von Unternehmen sind tiefgreifend.

Das provoziert Fragen, Bedenken und Ängste, die ernst genommen werden wollen. Was dabei hilft: Die neue Technologie erklären und erlebbar machen. Die Menschen beteiligen. Und zwar nicht nur Betriebs- und Personalräte, sondern alle Mitarbeitenden in ihrem Arbeitsumfeld.

Promptathons für die Akzeptanz

Unser Projektteam legte deshalb von Beginn an großen Wert auf die Erläuterung der Funktionalität und das gemeinsame Erarbeiten der Regeln der KI-Nutzung. Und vor allem: Tätige Unterstützung bei der praktischen Anwendung, etwa durch Kurse zum Gestalten von wirkungsvollen Prompts, Use-Case-Workshops oder so genannten Promptathons, bei denen die Mitarbeitenden im spielerischen Wettbewerb den ergebnisorientierten Umgang mit GenAI trainieren.

4. Daten qualifizieren

Generative Pretrained Transformer (GPT) ist ein vortrainiertes System zum Erzeugen von Content wie Text, Code, Bildern oder Tönen. Was ein GPT kann, auf welche Fragen es geeignete Antworten liefert, hängt stark von der Menge und Qualität der Trainingsdaten ab.

Im Falle von ChatGPT wurde dafür ein gigantischer Pool von überwiegend englischen, frei verfügbaren Texten verwendet, die alle eins gemeinsam haben: Sie wurden vor 2022 veröffentlicht. Wenn es um aktuellere Fragen geht, bei denen auch Spezialwissen gefragt ist, das in einer seltenen Sprache hinter einer Bezahlschranke liegt, kann die frei verfügbare Version von ChatGPT ohne spezialisierte Plugins wenig helfen.

Garbage in - Garbage out

Allerdings kann GenAI auch auf die unternehmenseigenen Daten angewendet werden und mit "Retrieval Augmented Generation" auch auf neue Daten zugreifen. Generell gilt auch für GenAI die alte Regel: Garbage in - Garbage out.

Qualitativ hochwertige Ergebnisse sind nur auf Basis qualitativ hochwertiger und quantitativ ausreichender Daten zu erreichen. Wer zum Beispiel einen KI-basierten Chatbot im Support einsetzen will, sollte daher zunächst die Aktualität und Vollständigkeit der Datenblätter und Benutzerhandbücher prüfen, auf die der Bot zugreift.

5. Rechtliche Fragen klären

Die gesetzlichen Anforderungen an den Datenschutz und Sorge vor künftigen rechtlichen Entwicklungen gehören KI in der bereits zitierten Bitkom-Studie zu den Top drei der größten Hemmnisse beim Einsatz von generativer KI. Der AI-Act der EU schafft hier noch nicht die Klarheit, die aus Unternehmenssicht wünschenswert wäre.

Klar ist aber: Wer GenAI nutzt, um personenbezogene Daten zu verarbeiten, muss sicherstellen, dass dabei europäisches, respektive deutsches Datenschutzrecht eingehalten wird. Konkret bedeutet das unter anderem, dass die Daten den europäischen Rechtsraum nicht verlassen dürfen. Das ist mit den heute zur Verfügung stehenden Lösungen möglich.

User schulen

Es geht jedoch um mehr. Beispielsweise um urheberrechtliche Fragen, mit denen viele Mitarbeitende in ihrem bisherigen Arbeitsalltag nicht konfrontiert waren: Welche Daten darf die KI benutzen, um neue Bilder oder Videos zu generieren? Wie muss sie darauf verweisen? Wer darf diese neu generierten Inhalte wofür nutzen? Und: Wann und in welcher Form muss der Einsatz von KI kenntlich gemacht werden?

Die Diskussion über viele dieser Fragen läuft noch und sie wird sich mit zunehmender KI-Nutzung weiterentwickeln. Umso wichtiger ist es, frühzeitig das Bewusstsein der Mitarbeitenden für dieses Thema zu schärfen. Unser Good-GPT-Team setzt dafür neben Ankündigungen auf allen Kommunikationskanälen, Workshops und Schulungen einen eigenen Teams-Kanal ein.

6. Verantwortungsbewusst vorgehen

Unabhängig von den einschlägigen Rechtsvorschriften wirft der Einsatz von KI zudem ethische Fragen auf: Wie viele Ressourcen darf KI verbrauchen? Nach welchen Regeln erstellt sie ihre Entscheidungsvorlagen? Wer darf sie wofür nutzen?

Egal ob Diversität, ökologische Nachhaltigkeit oder menschenwürdige Arbeit: Gesellschaftliche und Unternehmenswerte sind auch beim KI-Einsatz zu berücksichtigen. So könnte ein Beitrag zum Klimaschutz darin bestehen, dass GenAI-Anwendungen je nach Komplexität der zu lösenden Aufgaben unterschiedliche Instanzen einsetzen, deren Energieverbrauch an die tatsächlich benötigte Rechenleistung angepasst ist.

Das hilft, den CO2-Fußabdruck der KI insgesamt zu minimieren, senkt die Energiekosten und beschleunigt die Umsetzung. Denn die verfügbaren Rechenkapazitäten, die den Anforderungen von KI-Anwendungen genügen, sind noch begrenzt.

7. Geeignete Lösung finden

Die Bandbreite des Angebots von generativen KI-Anwendungen wächst sprunghaft. Microsoft, Google, AWS und Co. liefern sich ein Wettrennen um die Führung beim Ausbau der Leistungsfähigkeit ihrer KI-Modelle. Hinzu kommen zahlreiche zusätzliche Services zu den verschiedenen Modellen, wie beispielsweise ChatWithPDF. Damit können Nutzer Dokumente durchsuchen, auswerten und zusammenfassen lassen.

Andere Anwendungen wie Dall-E oder Midjourney bearbeiten und erstellen Bilder und Grafiken. Und wer nicht nur einzelne Aufgaben mit generativer KI erledigen will, sondern eine komplette individualisierte AI-Umgebung erstellen möchte, kann auf eine wachsende Zahl von Open-Source-Tools zugreifen. Die Auswahl der richtigen Lösung erfordert vor allem die Bereitschaft, mit innovativen Technologien zu experimentieren. Und Fachleute, die neue Wege erkunden und dabei immer die Wirtschaftlichkeit der Lösung im Blick haben.

Oft reicht Open Source

Denn mehr Leistung bedeutet nicht immer mehr Nutzen. Wenn die Anwendung auf einen klar umrissenen Aufgabenbereich in einer Versicherung begrenzt ist, bringt GPT-4, das mit mehreren hundert Milliarden Parameter arbeitet, keinen Mehrwert gegenüber kleinen, feingetunten Versionen von Open-Source-Modellen mit "nur" sieben Milliarden Parameter. Für solche Anwendungen bieten sich beispielsweise Instanzen von LLaMA 2 oder Mistral an, die auf kostengünstiger Standard-Hardware betrieben werden können.

8. Dranbleiben und nach vorne schauen

Jede Innovation hat ihren Preis - nicht nur finanziell. GenAI und KI allgemein stellen die IT-Infrastruktur von Unternehmen und anderen Organisationen vor neue Herausforderungen. Rechenkapazität, Security und Integration sind hier nur drei von vielen Aspekten.

Für die technische Integration von GenAI in die Unternehmens-IT stehen zwar zahlreiche Tools zur Verfügung. Die Absicherung des Zugriffs auf die Ergebnisse der KI und der Schutz sensibler Daten vor unbefugtem Zugriff stehen jedoch weiter im Fokus der Entwicklung. Nicht nur deshalb ist die Offenheit für zukünftige Entwicklungen eine zentrale Anforderung an jedes KI-Projekt.

Für die Zukunft planen

Das zeigt auch unser Projekt: Während sich heute noch achtzig Prozent der Aufgaben von GoodGPT auf Basis von GPT-3.5 erledigen lassen, liegen schon Pläne für neue Anwendungen mit höheren Anforderungen bereit. Eine Lösung sollte deshalb so konstruiert sein, dass die einzelnen KI-Instanzen bei Bedarf rasch durch ein anderes Large Language Model ersetzbar sind. So ist sichergestellt, dass die eigene Lösung auch in Zukunft mit den Anforderungen an die generative KI wachsen kann.