Foto: Ivan Marc - shutterstock.com
Die Welt verändert sich durch Künstliche Intelligenz rasant. Die Europäische Union (EU) hat erkannt, dass für einen verantwortungsvollen Einsatz von KI ein rechtlicher Rahmen nötig ist und eine Verordnung über Vorschriften für künstliche Intelligenz (KI-VO) erlassen. Die KI-VO, besser bekannt als AI Act, tritt am 1. August in Kraft und reiht sich ein in eine Phalanx von Regeln und Standards des Digitalisierungsrechts der EU, die deutsche Unternehmen zunehmend vor große regulatorische Herausforderungen stellen.
Die EU hat mit dem neuen KI-Gesetz einen Meilenstein gesetzt, der die Nutzung künstlicher Intelligenz grundlegend verändern wird. IT-Experten müssen sich bei der Entwicklung, aber auch bei der Anwendung von KI-Systemen auf weitreichende Regulierungen und neue Compliance-Anforderungen einstellen.
Insbesondere die zahlreichen unklaren Vorgaben, die die Verordnung enthält, werden in der Praxis zu Startschwierigkeiten führen. Ein Trial-and-Error-Ansatz ist allerdings nicht vorgesehen, die KI-VO sieht einen beachtlichen Bußgeldrahmen vor, der selbst jenen der DSGVO übertrifft. Verstöße werden mit empfindlichen Strafen geahndet. So sind Bußgelder von bis zu sieben Prozent des gesamten weltweiten Jahresumsatzes eines Unternehmens vorgesehen.
Vier verschiedene Risikoklassen
Der Verordnung liegt ein Risikomodell zugrunde, das je nach individuellem Risiko eines KI-Systems unterschiedliche Anforderungen formuliert. So wird unterschieden zwischen Systemen mit
inakzeptablem Risiko,
hohem Risiko,
spezifischem Risiko und
keinem Risiko.
Parallel hierzu bestehen zudem Regelungen über KI-Modelle mit allgemeinem Ver-wendungszweck. Ob ein System ein Risiko darstellt, richtet sich primär nach dessen Verwendungszweck und/oder Einsatzbereich.
KI-Systeme mit inakzeptablem Risiko verbietet die Verordnung umfassend. Betroffen sind etwa manipulative oder täuschende Systeme, Social Scoring, Gesichts- oder Emotionserkennung in bestimmten Kontexten sowie Systeme zur biometrischen Kategorisierung.
Erfahren Sie mehr zum Thema Generative AI und bestellen Sie den CIO Generative AI Newsletter. klick
Als hochriskant gelten Systeme insbesondere in sensiblen Bereichen wie der Biometrie, der kritischen Infrastruktur und dem Personalmanagement. Auch fallen KI-Systeme in diese Kategorie, wenn sie als Sicherheitskomponente für Bereiche verwendet werden, die bereits durch andere EU-Rechtsakte zur Produktsicherheit reguliert werden, beispielsweise Medizinprodukte, in der Luftfahrt oder auch in Spielzeugen.
Die Vorgaben für Hochrisiko-KI-Systeme stellen den Schwerpunkt der Verordnung dar. Neben umfangreichen Transparenz- und Dokumentationspflichten sieht die KI-VO hier die Einrichtung von Risiko- und Qualitätsmanagementsystemen sowie Anforderungen an die zum Training und zur Benutzung verwendeten Daten vor. Zudem haben Betreiber von Hochrisiko-KI-Systemen vor Inbetriebnahme eine Grundrechte-Folgenabschätzung durchzuführen.
KI-Systeme mit spezifischem Risiko sind ausgewählte Systeme, die eine Kennzeichnung erforderlich machen - beispielsweise, wenn eine Person mit einer KI interagiert, ohne dass sich dies aus dem Kontext unmittelbar ergibt, oder Systeme, die künstliche Inhalte erstellen oder manipulieren, unter anderem sogenannte Deep Fakes.
Schließlich sind im Laufe des Gesetzgebungsverfahrens unter dem Eindruck der Fortschritte generativer KI auch Vorschriften für KI-Modelle mit allgemeinem Verwendungszweck hinzugekommen. Die Einstufung als solches System erfolgt primär anhand der für sein Training verwendeten Berechnungen oder durch eine Entscheidung der EU-Kommission. Anbieter von KI-Modellen mit allgemeinem Verwendungszweck treffen insbesondere Dokumentations- und vorgelagerte Verfahrenspflichten.
Als Problemlos erweisen sich KI-Systeme ohne Risiko. Sie unterliegen keinerlei besonderen Pflichten und Anforderungen.
Anbieter stark in der Compliance-Pflicht
Nach der Konzeption der KI-VO werden die Compliance-Pflichten überwiegend den An-bietern auferlegt, also denjenigen, die KI-Systeme selbst entwickeln oder entwickeln lassen und diese unter eigenem Namen in Verkehr bringen oder in Betrieb nehmen. Dagegen müssen Betreiber von KI-Systemen, also alle, die KI-Systeme in eigener Verantwortung verwenden, deutlich weniger Pflichten einhalten.
So setzt das Regelwerk beispielsweise voraus, dass ausschließlich kompetentes Personal für die Verwendung der betroffenen Systeme eingesetzt wird. Kommt beispielsweise ein Hochrisiko-KI-System zur Anwendung, müssen etwa Eingabedaten überprüft und Protokolle aufbewahrt werden. Zudem besteht die Pflicht, Sicherheitsvorfälle zu melden und betroffene Mitarbeiterinnen und Mitarbeiter über den Einsatz zu informieren.
Die Konformität mit der KI-VO wird durch das CE-Kennzeichen und eine Konformitätserklärung des Anbieters nachgewiesen. Im weit überwiegenden Teil der Fälle erfolgt die Prüfung der Konformität in Eigenregie durch das Unternehmen selbst. Nur im Bereich der Biometrie ist eine externe Prüfung teilweise verpflichtend.
Die Überwachung der Vorgaben der KI-VO obliegt weitgehend den nationalen Behörden. In anderen Ländern wie Frankreich und Spanien wurden hierzu die Datenschutzbehörden beauftragt oder neue Behörden eingerichtet. Wer in Deutschland den Vollzug übernehmen wird, ist bislang unklar, im Raum stehen die Datenschutzbehörden und die Bundesnetzagentur.
Privilegien für Open-Source-Systeme bringen wenig
Auf den letzten Metern hat die EU den Text der Verordnung im Rahmen der formellen Korrektur noch leicht verschärft in Hinblick auf das Verbot von KI-Systemen, die unterschwellige manipulative oder täuschende Techniken verwenden, um Personen zu beeinflussen. Für ein Verbot bedarf es nun der hinreichenden Wahrscheinlichkeit, einer Person einen erheblichen Schaden zuzufügen. Das bedeutet, dass die Annahme eines wahrscheinlichen Schadenseintritts zumindest begründet sein muss.
Ebenfalls eingefügt wurde eine Privilegierung von Open-Source-Systemen. KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, sind daher vom Anwendungsbereich der KI-VO ausgenommen, es sei denn, es handelt sich um verbotene KI-Systeme, Hochrisiko-KI-Systeme oder bestimmte KI-Systeme mit spezifischen Risiken, die den Transparenzpflichten unterfallen.
Infolge dieser zahlreichen Ausnahmen ist die tatsächlich verbleibende Wirkung der neuen Regelung nur sehr gering. Vom Anwendungsbereich der KI-VO sind dadurch lediglich Open-Source-Systeme ausgenommen, die entweder kein Risiko beinhalten, oder sich als sogenannte KI-Modelle mit allgemeinem Verwendungszweck einordnen lassen.
Das zeigt den geringen Nutzen der Open-Source-Ausnahme: KI-System ohne Risiko werden von der KI-VO überhaupt nicht reguliert, abgesehen von der Pflicht, kompetentes Personal einzusetzen - was Anwendern von Open-Source-Technologie wohl keine Probleme bereiten sollte. Auch für KI-Modelle mit allgemeinem Verwendungszweck ist der Nutzen der Privilegierung zweifelhaft, da für derartige Modelle ohnehin spezielle Ausnahmen von Pflichten vorgesehen sind.
Haftungsfallen für Betreiber
In der Praxis muss zunächst die Frage gestellt werden, ob es sich bei der zu prüfenden KI um ein KI-System mit entsprechenden Risiken im Sinne der Verordnung handelt. Denn in vielen Fällen werden KI-Systeme von den Vorgaben der KI-VO gar nicht erfasst. Andererseits erweist sich gerade die Einstufung als Hochrisiko-KI-System aufgrund der komplexen Voraussetzungen mit Ausnahmen und Rückausnahmen als äußerst schwierig.
Auch wenn Unternehmen beabsichtigen, keine eigenen Systeme zu entwickeln, sondern diese von Dienstleistern zu beziehen (KI Sourcing), ist Vorsicht geboten. Auch in diesem Fall besteht die Verpflichtung, keine verbotenen KI-Systeme zu verwenden und spezifische Pflichten für Betreiber einzuhalten.
Foto: Ivan Marc - shutterstock.com
Besondere Haftungsfallen lauern für Betreiber darüber hinaus in zwei Fällen: Benutzen Unternehmen ein KI-System mit allgemeinem Verwendungszweck (zum Beispiel ein LLM) zu einem Zweck, der nach der Verordnung als hochriskant eingestuft wird, müssen diese die Anforderungen an Hochrisiko-Systeme erfüllen.
Ferner können die Anbieterpflichten in bestimmten Fällen auch unmittelbar auf die Betreiber übergehen. Dies gilt etwa dann, wenn der Betreiber wesentliche Veränderungen an einem Hochrisiko-KI-System vornimmt. Teilweise wird in Fachkreisen die Meinung vertreten, dass bereits das Finetuning eines LLMs eine solche Veränderung darstellen und damit die Anbieterpflichten auslösen kann. Damit wäre die Verwendung von KI-Systemen mit allgemeinem Verwendungszweck für Betreiber mit einem deutlich höheren Compliance-Risiko verbunden.
Erleichterungen für kleinere Firnen
Für kleinere und mittlere Unternehmen (KMUs) sieht die Verordnung eine Reihe von Erleichterungen und Privilegierungen vor. Diese unterliegen nicht so strikt den Voraussetzungen an Hochrisiko-KI-Systeme und erhalten priorisierten Zugriff auf KI-Reallabore, in welchen KI-Systeme erprobt werden können. Zudem gelten bei KMUs geringere Bußgeldrahmen im Fall von Sanktionen.
Zudem ist die EU-Kommission dazu verpflichtet, hinsichtlich bestimmter Vorgaben der KI-VO Leitlinien erlassen, die ebenfalls in der Praxis unterstützen sollen. Diese Leitlinien sind bei der Verhängung von Sanktionen von den Behörden zu berücksichtigen, sodass sie zukünftig bei der Konzeption von KI-Systemen herangezogen werden sollten.
In jedem Fall müssen die Anforderungen der DSGVO beachtet werden, da KI-Systeme häufig personenbezogene Daten verarbeiten. Insofern sollten Unternehmen bereits von Beginn an Compliance-Prozesse parallel zu den bereits vorhandenen DSGVO-Strukturen aufbauen. Unter anderem steht betroffenen Personen auch ein Recht auf Erläuterung von KI-basierten Entscheidungen zu, das gewisse Ähnlichkeit zum datenschutzrechtlichen Recht auf Auskunft aufweist.
Enger Zeitrahmen mit verschiedenen Übergangsphasen
Nach dem Inkrafttreten der KI-VO greift ein gestaffeltes System an Übergangsfristen: Bereits ab dem 2. Februar 2025 gelten die Verbote für besonders risikobehaftete KI-Systeme. Regelungen bezüglich KI mit allgemeinem Verwendungszweck sowie die Transparenzvorschriften sind ab 2. August 2025 anzuwenden Vollständige Geltung erlangt die KI-Verordnung genau ein Jahr später. Eine Ausnahme stellen die Abschnitte zu Hochrisiko-KI-Systemen dar, welche erst ab dem 2. August 2027 gelten.
Eine Besonderheit gilt allerdings für Hochrisiko-KI-Systeme, die sich schon vor August 2026 auf dem Markt befinden. Diesen Systemen wird Bestandsschutz garantiert, soweit sie danach in ihrer Konzeption nicht erheblich verändert werden. Angesichts dieses engen Zeitrahmens empfiehlt es sich für Unternehmen, sich möglichst frühzeitig mit den sich aus der KI-VO ergebenden Pflichten auseinanderzusetzen.