Foto: charles taylor - shutterstock.com
Im Jahr 2017 erklärte "The Economist", dass ab sofort Daten und nicht Öl die wertvollste Ressource der Welt seien. Seitdem wird dieser Satz gebetsmühlenartig wiederholt. Doch wie Öl haben auch Daten und Analysen ihre Schattenseiten.
Jüngstes Beispiel: Die Wetter-App der BBC sagte einen Hurricane mit rund 20.000 Stundenkilometern und 400 Grad in England voraus. Schuld sei ein "Datenfehler" gewesen. In Bezug auf Reputation, Umsatz oder sogar Leben können solche Patzer richtig teuer werden.
Mit ein paar aufsehenerregenden Pannen rund um künstliche Intelligenz (KI) aus dem letzten Jahrzehnt zeigen wir, was alles schiefgehen kann. Sie machen deutlich: Vertrauen ist gut, Kontrolle ist besser.
McDonald's und die Drive-Thru-Bestellungen
Nachdem McDonald's drei Jahre lang mit IBM zusammengearbeitet hatte, um KI für die Annahme von Drive-Thru-Bestellungen zu nutzen, brach das Unternehmen das Projekt im Juni 2024 ab. Der Grund? Eine Reihe von Videos in den sozialen Medien zeigten verwirrte und frustrierte Kundschaft, die die KI dazu bringen wollten, ihre Bestellungen zu verstehen.
Abonnieren Sie unsere CIO-Newsletter für mehr Neuigkeiten, Hintergründe und Einblicke aus der IT-Community.
In einem TikTok-Video waren zwei Personen zu sehen, die die KI wiederholt anflehten, aufzuhören, da sie immer mehr Chicken McNuggets zu ihrer Bestellung hinzufügte. Bei 260 war angeblich Schluss. Der Burger-Brater hatte die KI in mehr als 100 Drive-Thrus in den USA getestet und gab an, dass er immer noch eine Zukunft für eine Sprachbestellungslösung sieht.
KI Grok und der NBA-Vandale
In einem Beitrag auf X (ehemals Twitter) im April 2024 beschuldigte Grok, der KI-Chatbot von Elon Musks xAI, den NBA-Star Klay Thompson fälschlicherweise, im kalifornischen Sacramento Ziegelsteine in die Fenster mehrerer Häuser geworfen zu haben. Einige Kommentatoren spekulierten, dass Grok die Vandalismus-Geschichte über den damaligen Spieler der Golden State Warriors halluziniert haben könnte.
Vielleicht hatte er mit Nachrichten trainiert, in denen Thompson vorgeworfen worden war, "Backsteine" - Bricks - zu werfen: eine im Basketball verwendete Bezeichnung für einen Fehlwurf. Der Chatbot Grok zeigt einen Haftungsausschluss an, der besagt: "Grok ist eine frühe Funktion und kann Fehler machen. Überprüfen Sie seinen Output."
Chatbot als Rechtsberater
Im März 2024 berichtete "The Markup", dass der von Microsoft betriebene Chatbot MyCity Unternehmern falsche Informationen gab, die sie dazu brachten, gegen das Gesetz zu verstoßen. MyCity sollte New Yorkern helfen, Informationen über die Gründung und den Betrieb von Unternehmen in der Stadt sowie über Wohnungspolitik und Arbeitnehmerrechte zu finden.
Das Problem war: Die KI behauptete fälschlicherweise, Geschäftsinhaber könnten einen Teil der Trinkgelder ihrer Angestellten einbehalten, Angestellte entlassen, die sich über sexuelle Belästigung beschweren, sowie Speisen servieren, die von Nagetieren angeknabbert worden waren. Nach dem Bericht verteidigte der Bürgermeister von New York City, Eric Adams, das Projekt. Der Chatbot ist weiterhin online.
Schadenersatz für Chatbot-Lügen
Im Februar 2024 wurde Air Canada dazu verurteilt, Schadenersatz an einen Fluggast zu zahlen, nachdem sein virtueller Assistent ihm in einer besonders schwierigen Zeit falsche Informationen gegeben hatte. Jake Moffatt befragte den virtuellen Assistenten der Fluggesellschaft nach dem Tod seiner Großmutter im November 2023 zu Sondertarifen im Trauerfall. Der Chatbot sagte ihm, er könne ein reguläres Ticket kaufen und innerhalb von 90 Tagen eine Ermäßigung für Trauerfälle beantragen.
Als Moffatt seinen Erstattungsantrag einreichte, lehnte die Fluggesellschaft ihn mit der Begründung ab, dass Trauerfalltarife nach dem Kauf eines Tickets nicht mehr geltend gemacht werden können. Moffatt verklagte Air Canada vor einem kanadischen Gericht und behauptete, die Fluggesellschaft habe fahrlässig gehandelt und über ihren virtuellen Assistenten falsche Angaben gemacht.
Laut Gericht argumentierte Air Canada, dass die Fluglinie nicht für die von ihrem Chatbot bereitgestellten Informationen haftbar gemacht werden könne. Das sah das Gericht anders: Die Fluggesellschaft habe "keine angemessene Sorgfalt walten lassen, um sicherzustellen, dass ihr Chatbot korrekt ist". Sie wurde zur Zahlung eines geringen Schadensersatzes verurteilt.
Neu im Team: KI-generierte Autoren
Im November 2023 behauptete das Online-Magazin Futurism, dass die Zeitschrift "Sports Illustrated" Artikel von KI-generierten Autoren veröffentlicht habe. Futurism zitierte anonyme Quellen, die an der Erstellung der Inhalte beteiligt waren, und behauptete, dass die traditionsreiche Sportzeitschrift "eine Menge" Artikel von KI-generierten Autoren publiziert hatte. Demnach waren die fraglichen Autorenporträts auf einer Website aufgeführt, die KI-generierte Bilder verkauft.
Futurism wandte sich daraufhin an die Arena Group, den Herausgeber von Sports Illustrated. In einer Erklärung gab die Firma an, dass es sich bei den fraglichen Artikeln um in Lizenz genommene Inhalte einer dritten Partei, AdVon Commerce, handelte. Die fraglichen Artikel und Autorenprofile wurden von der Website der Sports Illustrated entfernt.
Junge KI und alte Bewerber
Im August 2023 stimmte das Nachhilfeunternehmen iTutor Group zu, 365.000 Dollar zu zahlen, um eine Klage der US Equal Employment Opportunity Commission (EEOC) beizulegen. Die Bundesbehörde behauptete, dass das Unternehmen, das Fernunterricht für Schüler in China anbietet, eine KI-gestützte Rekrutierungssoftware verwendete. Diese soll weibliche Bewerber ab 55 Jahren und männliche Bewerber ab 60 Jahren automatisch abgelehnt haben.
Nach Angaben der EEOC wurden mehr als 200 qualifizierte Bewerber direkt von der Software aussortiert. "Altersdiskriminierung ist ungerecht und ungesetzlich", sagte die EEOC-Vorsitzende Charlotte Burrows in einer Erklärung. "Selbst wenn die Technologie die Diskriminierung automatisiert, ist der Arbeitgeber immer noch verantwortlich." Die iTutor Group bestritt jegliches Fehlverhalten, entschied jedoch, die Klage beizulegen. Als Teil des Vergleichs und der Einverständniserklärung stimmte das Unternehmen zu, neue Antidiskriminierungsmaßnahmen zu ergreifen.
ChatGPT halluziniert Gerichtsverfahren
Steven Schwartz, ein Anwalt der Kanzlei Levidow, Levidow & Oberman in New York, nutzte 2023 ChatGPT, um Präzedenzfälle für eine Klage zu finden. Mindestens sechs der im Schriftsatz aufgeführten Fälle existierten jedoch nicht. In einem Dokument (PDF) stellte Richter Kevin Castel fest, dass die von Schwartz vorgelegten Verfahren falsche Namen und Aktenzeichen sowie gefälschte Zitate enthielten. Schwartz' Vorgesetzter hatte als eingetragener Anwalt den Schriftsatz unterzeichnet.
In einer eidesstattlichen Erklärung erklärte Schwartz vor Gericht, dass er ChatGPT zum ersten Mal als Quelle für juristische Recherchen verwendet hatte und sich "der Möglichkeit, dass der Inhalt falsch sein könnte, nicht bewusst war". Der Anwalt gab zu, dass er die vom KI-Chatbot gelieferten Quellen nicht bestätigt hatte. Er bedauerte, KI zur Ergänzung seiner juristischen Recherchen verwendet zu haben. Der Richter verhängte eine Geldstrafe in Höhe von 5.000 US-Dollar gegen Schwartz und seinen Vorgesetzten, in einer weiteren Entscheidung wurde auch noch die Klage abgewiesen.
Zillow und die Immobilienbewertung
Im November 2021 teilte der Online-Immobilienmarktplatz Zillow seinen Aktionären mit, dass er seinen Geschäftsbereich Zillow Offers abwickeln und in den nächsten Quartalen ein Viertel der Belegschaft - etwa 2.000 Mitarbeitende - abbauen werde. Grund war die Fehlerquote eines Machine-Learning-Algorithmus, der zur Vorhersage von Hauspreisen verwendet wurde.
Auf Basis der Schätzung einer Immobilie über das Kalkulations-Tool "Zestimate" machte Zillow den Eigentümern Kaufangebote. Der Plan war, die Immobilien zu renovieren und sie schnell zu verkaufen. Das klappte nicht wie geplant. Durch überhöhte ML-Angebote musste das Unternehmen seinen Bestand um 304 Millionen Dollar nach unten korrigieren. Zestimate ist immer noch online. Heute, genau drei Jahre später, ist die Aktie gleich viel wert wie nach dem Absturz damals.
Der Bias-Klassiker
Im Jahr 2014 begann Amazon mit der Arbeit an einer KI-gestützten Rekrutierungssoftware. Es gab nur ein Problem: Das System bevorzugte weit überwiegend männliche Bewerber. Vier Jahre später kam heraus, dass Amazon das Projekt eingestellt hat.
Die ML-Modelle waren anhand von Lebensläufen aus zehn Jahren trainiert worden, die bei Amazon eingereicht wurden - die meisten von ihnen von Männern. Als Ergebnis dieser Trainingsdaten begann das System, Formulierungen in Lebensläufen zu bestrafen, die das Wort "Frau" enthielten. Bewerberinnen von reinen Frauen-Colleges wurden ebenfalls herabgestuft.
Damals sagte Amazon, dass das Tool nie von Amazon-Recruitern zur Bewertung von Bewerbern verwendet worden war. Das Unternehmen versuchte, das Tool zu bearbeiten, um es neutral zu gestalten. Schließlich wurde das Projekt eingestellt. (jd)