4 Gründe, warum KI-Projekte in Schönheit sterben

3. Zu viele Anwender haben überhöhte Erwartungen

Der Hype um Generative AI treibt seit dem Erscheinen von ChatGPT immer neue Blüten. Viele Unternehmen hoffen auf eine neue Wunderwaffe oder fürchten, von anderen überholt zu werden. Amol Ajgaonkar, Cheftechnologe bei Insight, einem Lösungsintegrator mit Sitz in Arizona, findet die Euphorie wenig hilfreich. "Einiges davon sickert in die Entscheidungsfindung ein", fürchtet er.

Ajgaonkar nennt ein Beispiel: Im Sommer wollte ein weltweit aktiver Elektronikkonzern aus den USA ein System für die automatisierte Content-Produktion einführen, wobei es schwerpunktmäßig um das Erstellen von Preisdokumenten ging. "Das Unternehmen hat mehr als 8.000 Vertriebsmitarbeiter, die Zehntausende von Kunden verwalten", erklärt er. Das Erstellen von Inhalten gelte als einfacher Use Case für GenAI, glaubten die Verantwortlichen.

Das Unternehmen sei jedoch fälschlich davon ausgegangen, dass die KI relevante Beispiele aus der Vergangenheit finden und diese dann auf neue Kundenanfragen anwenden könne. "Die dachten: Wir geben der KI historische Preise vor, sie analysiert diese und teilt uns mit, wie die Preise für ähnliche Produkte sein sollten." Das habe nicht funktioniert, und für ihn sei es ein Kampf gewesen, dem Management zu erklären, wie generative KI tatsächlich arbeite.

"Alles, was sie gelesen hatten, hat uns am Ende Schwierigkeiten bereitet", erinnert sich Ajgaonkar. "Sie hielten den Aufwand für verschwindend gering und den geschäftlichen Nutzen für großartig." Der Insight-CTO hält es generell für besser, solche Projekte in einzelne Schritte zu zerlegen und zu analysieren, wie diese am besten zu bewerkstelligen sind. Oft sei GenAI gar nicht die richtige Lösung. Historische Dokumente zu durchforsten, um relevante Fälle aufzustöbern, könne besser mit traditionellen Ansätzen erledigt werden, auch wenn das Zusammenfassen von Dokumenten eine Stärke von GenAI darstelle.

Zukunftsszenarien ließen sich besser mit Advanced Analytics und Machine Learning erstellen. Und wenn es darum gehe, verschiedene Bestandteile zu einem Angebot zusammenzufügen, sei es am besten, eine Geschäftslogik zu verwenden, die festlegt, welche Dienste enthalten sein sollen. Komme es schließlich zu mathematischen Berechnungen, sei GenAI nicht nur ungenau, sondern auch ein Overkill. "Man kann ein Plugin schreiben, das die Berechnungen durchführt", so der Techniker, "aber man sollte sich nicht auf Generative AI verlassen, um etwas zu berechnen."

Geht es schließlich darum, das endgültige Angebotsdokument zu erstellen, kann GenAI wieder helfen. Beispielsweise ließen sich mit der Technik Standardtexte aus der Rechtsabteilungen integrieren. Letztendlich habe das Elektronikunternehmen zwar eine Lösung gefunden, mit der Leistungsbeschreibungen schneller erstellt werden konnten. Aber bis es so weit war, habe der Konzern eine lange Lernkurve durchlaufen müssen.

Einen guten Prompt kann nicht jeder schreiben

Unternehmen würden oft auch nicht verstehen, dass es nicht leicht sei, einen guten KI-Prompt zu schreiben. Sie verhielten sich meist so, als würden sie einem erwachsenen Menschen Anweisungen geben. "In Wirklichkeit ist es aber so, als würde ich meinen Kindern im Teenageralter Anweisungen geben", sagt Ajgaonkar. "Man muss Dinge wiederholen, damit sie hängen bleiben. Manchmal hört die KI auf einen, aber eben nicht immer." Bei GenAI-Vorhaben sei das Verständnis der vermeintlichen Kleinigkeiten besonders wichtig für den Projekterfolg.

Der Insight-Manager verweist auf die Möglichkeit, die Qualität der Antworten systematisch zu verbessern, indem beispielsweise Gedankenbäume oder ähnliche Prompting-Methoden genutzt würden. Das bedeute aber, dass man sich mit den Prompt-Techniken beschäftigen müsse. Es erfordere immer mehrere Prompts, um verfeinerte und damit brauchbare Antworten zu bekommen.

So entstünden dann aber mitunter hohe Kosten, sagt Ajgaonkar. Jedes Wort, das User eingeben, wird auf das Kontingent des Unternehmens angerechnet. Am Ende werden die Kosten für die Plattform von der Menge der verbrauchten Token bestimmt. Hinzu kommt die Zeit, die für die Beantwortung der einzelnen Fragen benötigt wird.

"Wenn man für jede Anfrage den Gedankenbaum verwenden und nach Erklärungen fragen muss, wird das sehr teuer", beobachtet der Technikexperte. "Wenn es nichts kosten würde, würde ich dieselbe Abfrage wahrscheinlich tausendmal in verschiedenen Variationen ausführen, um das gewünschte Ergebnis zu erhalten." Unternehmen müssten sich aber überlegen, ob der zu erwartende Mehrwert diesen Aufwand rechtfertige.

4. Datenqualität - ein Problem, das nicht weggeht

Carm Taglienti, Distinguished Engineer bei Insight, hatte kürzlich ebenfalls mit einem Fall zu tun, in dem unrealistische Erwartungen ein KI-Projekt beinahe an den Abgrund geführt hätten. "Das Scheitern solcher Vorhaben hängt zu 99 Prozent mit überzogenen Erwartungen zusammen und nicht etwa mit fehlerhafter Technologie", sagt Taglienti.

In seinem Fall wollte ein Kunde von Insight, ein US-amerikanischer Halbleiterkonzern, Probleme in seinem Supply Chain Management mit KI lösen. Das Unternehmen habe aber zu hohe Erwartungen an die Lösung gestellt und sei zudem davon ausgegangen, dass alles auf Anhieb funktionieren würde. Doch jedes Mal, wenn das Projekt von einer Phase in eine andere überging, mussten Anpassungen vorgenommen werden, weil nicht alles so lief, wie es sollte. Hinzu kam ein technisches Problem, das viele KI-Vorhaben scheitern lässt: Es fehlte an guten Daten.

Wenn in der Vergangenheit ein Chip oder eine Komponente nicht verfügbar war, musste das Unternehmen in einem arbeitsintensiven, manuellen Prozess Ersatz schaffen. Aus Sicht von Taglienti war das alles andere als agil. Man entschied sich, einen Teil des Prozesses durch Entscheidungsbäume und Expertensysteme zu ersetzen, doch diese erwiesen sich als fehleranfällig. Veränderungen im Zuliefermarkt bedeuteten, der gesamte Entscheidungsbaum musste aktualisiert werden.

Außerdem erforderte der KI-Einsatz gepflegte Daten in großen Mengen. Aber das Unternehmen tat sich schwer, Trainingsdaten zu identifizieren, mit denen die herstellerübergreifende Suche nach Komponenten automatisiert funktionieren könnte. Chiphersteller analysieren nicht ständig den Zuliefermarkt, so Taglienti. Sie hielten Listen bevorzugter Lieferanten und Backup-Anbieter vor. Zudem würden Lieferanten nur selten umfangreich geprüft.

Ein weiteres Problem bestand darin, dass die Daten, wenn sie denn verfügbar waren, oft in einer nur schwer zu verarbeitenden Form vorlagen. "Die Spezifikationen gab es nicht in einem Format, das man schnell hätte einlesen können."

Und dann gibt es bei der Auswahl von Partnern in einer Supply Chain noch einige differenzierende Aspekte, die automatisiert nur schwer abzubilden sind. Das betrifft etwa den Standort eines Anbieters oder seinen Ruf in Bezug auf Pünktlichkeit. "Wenn es sich um ein börsennotiertes Unternehmen handelt, muss man auch noch das Internet durchforsten und sich die 10-K-Zahlen ansehen", führt Taglienti aus.

Am Ende sei die Aufgabe viel größer, als nur funktionierende Teile bei Zulieferern zu finden. Die dafür nötige Analyse kann laut Taglienti durchaus automatisiert werden, doch das sei auch schon vor GenAI der Fall gewesen. Meistens entpuppten sich diese Anstrengungen aber dann doch als größer und komplexer als gedacht. Der Grund sei eigentlich immer der Mangel an verwertbaren Daten - ein Problem, das KI- und ML-Projekte schon lange begleitet. Auch in der AIIA-Umfrage nennen 84 Prozent der Unternehmen, die GenAI einsetzen, Datenprobleme als größte Herausforderung.

Datenquellen harmonisieren ist nicht einfach

Greenstein von PwC beispielsweise arbeitete kürzlich für ein B2C-Unternehmen, das ein Projekt zur Automatisierung von Back-Office-Prozessen starten wollte. "Sie hatten ihre KI-Dienste schon eingerichtet, auch die Cloud. Die Mitarbeiter waren ebenfalls bereit. Aber am Ende hatte niemand damit gerechnet, wie schwierig es sein würde, Zugang zu den richtigen Daten zu bekommen."

Beispielsweise seien für eine Datenquelle API-Lizenzen erforderlich geworden, über die das Unternehmen nicht verfügt habe. Deshalb musste ein monatelanger Beschaffungsprozess durchlaufen werden. "In einem anderen System waren die Zugriffskontrollen hierarchisch zu hoch angesetzt gewesen", so Greenstein. Ein drittes System habe indes nur benutzerbasierte Kontrollen vorgesehen. "Für GenAI mussten all diese Systeme miteinander abgeglichen werden, aber das ging nicht so schnell."

Greenstein ist sicher, dass das Unternehmen langfristig alle benötigten Daten erhalten wird, aber bis dahin werden Monate vergehen. "Solche Verzögerungen wirken sich negativ auf die Motivation der Teams aus", beobachtet Greenstein. "Mitarbeitende, die von den potenziellen Produktivitätsverbesserungen erst einmal begeistert waren, wurden frustriert. Das gilt erst recht für die IT-Mitarbeiter, denen die mangelnde Datenqualität vorgeworfen wurde. Sie verloren das Vertrauen des Managements."

Greenstein empfiehlt Unternehmen daher, KI-Anwendungsfälle zuerst nach ihrem potenziellen Nutzen, dann nach ihrem Risiko und schließlich nach den verfügbaren Daten zu priorisieren. Entscheidend seien die Fragen: "Haben wir die Daten für diesen Anwendungsfall? Dürfen wir sie nutzen? Sind sie zugänglich? Sind sie sauber genug, um unseren Use Case zu unterstützen?" Nur dann lohne es sich, ein GenAI-Projekt zu beginnen. (hv)