Fast alle Cyberangriffe mit GenAI führen zum Erfolg

Pillar Security, ein israelisches Unternehmen für GenAI-Sicherheitslösungen, hat eine Studie zum "State of Attacks on GenAI" veröffentlicht. Der Bericht zeigt alarmierende Schwachstellen bei GenAIGenAI-Anwendungen auf: Alles zu Generative AI auf CIO.de

90 Prozent der Angriffe führten zu Datendiebstahl und

20 Prozent der Jailbreak-Versuche umgingen Schutzmaßnahmen.

Die AngreiferAngreifer benötigten im Durchschnitt nur 42 Sekunden und fünf Interaktionen für einen erfolgreichen Angriff auf ein Large Language Modell (LLM). Hierfür nutzten sie Schwachstellen in allen Interaktionsphasen aus. Die Prompt-Injection-Angriffe werden zudem immer häufiger und komplexer. Alles zu Hacker auf CIO.de

Mit mehreren Techniken zum Ergebnis

Der Bericht hebt neben diesen Erkenntnissen einschlägige Jailbreak-Techniken hervor. Zu diesen zählen

"Ignore Previous Instructions", in denen KI-Systeme angewiesen werden, ihre Sicherheitsvorgaben zu ignorieren, sowie

"Base64 Encoding", das schädliche Eingaben verschlüsselt, um Inhaltsfilter zu umgehen und dann Desinformationen, Hassreden, Phishing-Nachrichten sowie bösartigen Code verbreitet.

Auch Strongarm-Techniken wie "ADMIN OVERRIDE", um das Modell zu überlisten, werden beleuchtet. Hartnäckige und eindringliche Anfragen sollen die KI dazu zwingen sensible Informationen preiszugeben oder unbefugte Aktionen auszuführen. Die Folge sind Datenlecks oder eine Systemkompromittierung. Die Hauptziele der Angreifer sind sensible Daten zu stehlen und Inhaltsfilter zu umgehen.

Chatbots und Apps sind beliebte Ziele

Der Bericht prognostiziert für 2025, dass Chatbots sich zu autonomen Agenten weiterentwickeln und kleine, lokale KI-Modelle häufiger auftreten. Dies soll zwar laut den Autoren den Zugang zur Technologie demokratisieren, wird aber auch neue Sicherheitsrisiken schaffen.

Gleichzeitig warnen die Experten allerdings auch davor, dass KI-Sprachmodelle weiterhin unsicher bleiben, denn ihr Fokus liege auf Features und nicht auf Security. Besonders gefährdet seien momentan Kundenservice-Chatbots, denen bereits jeder vierte Angriff gilt.

Dementsprechend fordern die Autoren verstärkte Sicherheitsmaßnahmen für KI-Apps, da der Bericht zeigt, dass herkömmliche Sicherheitsmaßnahmen nicht ausreichen.

Nicht mehr Theorie sondern Praxis

Die Untersuchung basiert auf der Analyse von mehr als 2.000 KI-Anwendungen. Im Gegensatz zu früheren Meinungsumfragen und theoretischen Risikoerhebungen stützt diese Studie sich auf Telemetriedaten. Diese wurden von Pillar aus Dateninteraktionen abgeleitet, die in den letzten drei Monaten in produktiven KI-gestützten Anwendungen stattfanden.