Der Schwarzmarkt für den Zugang zu großen Sprachmodellen (Large Language Models - LLMs) wächst. Angreifer missbrauchen dazu zunehmend gestohlene CloudCloud-Zugangsdaten, um KI-DiensteKI-Dienste wie Amazon Bedrock abzufragen - eine Methode, die als LLM-Jacking bezeichnet wird. Alles zu Cloud Computing auf CIO.de Alles zu Künstliche Intelligenz auf CIO.de

Untersuchungen des Security-Anbieter Sysdig deuten darauf hin, dass Bedrohungsakteure nicht nur LLMs abfragen, die Kontoinhaber bereits auf solchen Plattformen bereitgestellt haben, sondern auch versuchen, neue zu aktivieren. Dies könnte die Kosten für die Opfer schnell in die Höhe treiben.

"LLM-Jacking ist auf dem Vormarsch", warnen die Sicherheitsforscher in ihrem Bericht. Im Juli 2024 verzeichneten sie eine zehnfache Zunahme der LLM-Anfragen und eine Verdoppelung der Anzahl der eindeutigen IP-Adressen, die an diesen Angriffen beteiligt sind. "Mit der fortschreitenden Entwicklung von großen Sprachmodellen steigen die Kosten für die Opfer bei Verwendung von Spitzenmodellen wie Claude 3 Opus fast um das Dreifache auf mehr als 100.000 Dollar pro Tag."

Sysdig hat Beweise dafür gefunden, dass die Angreifer, die sich an LLM-Jacking beteiligen, in einigen Fällen in Russland ansässig sind, wo der Zugang zu LLM-Chatbots und -Diensten westlicher Unternehmen durch Sanktionen stark eingeschränkt ist.

"Die Hauptsprache, die in den Eingabeaufforderungen verwendet wird, ist Englisch (80 Prozent), die zweithäufigste Sprache ist Koreanisch (10 Prozent), der Rest sind Russisch, Rumänisch, Deutsch, Spanisch und Japanisch", heißt es im Forschungsbericht.

Angreifer missbrauchen Bedrock-APIs

Amazon Bedrock ist ein AWS-Dienst, der es Organisationen ermöglicht, LLMs von mehreren KI-Unternehmen einfach bereitzustellen und zu nutzen, um sie mit eigenen Datensätzen zu ergänzen und Agenten und Anwendungen um sie herum zu erstellen. Der Dienst unterstützt eine lange Liste von API-Aktionen, über die Modelle verwaltet und programmgesteuert mit ihnen interagiert werden kann.

Zu den häufigsten API-Aktionen, die von Angreifern in diesem Jahr über kompromittierte Anmeldeinformationen aufgerufen wurden, gehörten InvokeModel, InvokeModelStream, Converse und ConverseStream. Kürzlich wurden Angreifer jedoch auch bei der Verwendung von PutFoundationModelEntitlement und PutUseCaseForModelAccess beobachtet. Diese dienen zusammen mit ListFoundationModels und GetFoundationModelAvailability dazu, Modelle im Voraus zu aktivieren. Dadurch können Angreifer erkennen, auf welche Modelle ein Konto Zugriff hat.

Das bedeutet, dass auch Organisationen nicht sicher sind, die Bedrock bereitgestellt, aber bestimmte Modelle nicht aktiviert haben. Die Kostenunterschiede zwischen verschiedenen Modellen können erheblich sein. So berechneten die Forscher beispielsweise für die Nutzung eines Claude-2.x-Modells potenzielle Kosten von mehr als 46.000 Dollar pro Tag, während die Kosten für Modelle wie Claude 3 Opus zwei- bis dreimal höher liegen könnten.

Die Forscher haben festgestellt, dass Angreifer Claude 3 verwenden, um den Code eines Skripts zu generieren und zu verbessern, das in erster Linie dazu dient, das Modell abzufragen. Das Skript ist so konzipiert, dass es kontinuierlich mit dem Modell interagiert, Antworten generiert, nach bestimmten Inhalten sucht und die Ergebnisse in Textdateien speichert.

"Dass Modelle in Bedrock deaktiviert werden und eine Aktivierung erforderlich ist, sollte nicht als Sicherheitsmaßnahme betrachtet werden", betonten die Forscher. "Angreifer können und werden sie in Ihrem Namen aktivieren, um ihre Ziele zu erreichen."

Ein Beispiel ist die Converse API, die im Mai angekündigt wurde und Benutzern eine vereinfachte Möglichkeit bietet, mit Amazon Bedrock-Modellen zu interagieren. Laut Sysdig begannen Angreifer innerhalb von 30 Tagen nach ihrer Veröffentlichung, die API zu missbrauchen. Converse API-Aktionen erscheinen nicht automatisch in CloudTrail-Protokollen, wohingegen InvokeModel-Aktionen dies tun.

Lesetipp: Ist Ihre Cloud-Security-Strategie bereit für LLMs?

Maßnahmen gegen LLM-Jacking

Selbst wenn die Protokollierung aktiviert ist, versuchen intelligente Angreifer, sie durch den Aufruf von DeleteModelInvocationLoggingConfiguration zu deaktivieren, wodurch die Aufrufprotokollierung für CloudWatch und S3 deaktiviert wird. In anderen Fällen überprüfen sie den Protokollierungsstatus und vermeiden die Verwendung gestohlener Zugangsdaten, um ihre Aktivitäten zu verbergen.

Angreifer rufen Amazon Bedrock-Modelle nicht oft direkt auf, sondern nutzen Dienste und Tools von Drittanbietern. Dies ist beispielsweise bei SillyTavern der Fall, einer Front-End-Anwendung für die Interaktion mit LLMs. Dabei müssen Benutzer ihre eigenen Anmeldedaten für einen LLM-Dienst ihrer Wahl oder einen Proxy-Dienst bereitstellen

"Da dies kostspielig sein kann, hat sich ein ganzes kriminelles Ökosystem rund um den Zugang zu LLMs entwickelt", so die Forscher. "Zugangsdaten werden auf viele Arten beschafft, unter anderem gegen Bezahlung, über kostenlose Testversionen und durch Diebstahl. Da dieser Zugang ein wertvolles Gut ist, werden Reverse-Proxy-Server eingesetzt, um die Zugangsdaten sicher und unter Kontrolle zu halten."

Unternehmen sollten Maßnahmen ergreifen, um sicherzustellen, dass ihre AWS-Zugangsdaten und -Token nicht in Code-Repositories, Konfigurationsdateien und an anderen Stellen durchsickern. Sie sollten auch die Prinzipien der geringsten Privilegien anwenden, indem sie Token auf die Aufgabe beschränken, für die sie erstellt wurden.

"Evaluieren Sie Ihre Cloud kontinuierlich anhand von Best-Practice-Kontrollen, wie zum Beispiel dem AWS-Standard für grundlegende Sicherheits-Best-Practices", empfehlen die Sysdig-Forscher. "Überwachen Sie Ihre Cloud auf potenziell kompromittierte Anmeldedaten, ungewöhnliche Aktivitäten, unerwartete LLM-Nutzung und Indikatoren für aktive KI-Bedrohungen." (jm)

Sie möchten regelmäßig über wichtige Themen rund um Cybersicherheit informiert werden? Unser kostenloser Newsletter liefert Ihnen alles, was Sie wissen müssen.