KI-Entscheidungen müssen nachvollziehbar werden

War es bisher ein Erfolg, selbstlernende Anwendungen in bestehende Applikationslandschaften zu integrieren, muss nun der Fokus auch auf die Nachvollziehbarkeit der Handlungen von KI und die Interaktion des Menschen mit künstlicher Intelligenz gelegt werden. Diese neuen regulatorischen Anforderungen müssen im Entwicklungsprozess von neuen wie in der Nachrüstung bestehender KI-Anwendungen berücksichtigt werden, da sie wahrscheinlich einen direkten Einfluss auf die Architektur der Applikationen haben können.

Aufsichtsinstitution für KI - ähnlich der Bafin

Wie präsent das Thema ist, zeigt der Vorschlag von Klaus Müller, Vorstand des Verbraucherzentrale Bundesverbands, der sich eine Aufsichtsinstitution für künstliche Intelligenz wünscht - ähnlich der Bafin für den Finanzsektor. Er fordert zudem, dass die Möglichkeit der Einzelfallprüfung zum Beispiel bei Kreditanträgen auch bei KI-gestützten Anwendungen erhalten bleiben soll. Er spricht sich also für einen bestenfalls semi-automatischen Prozess aus, zu dem zwingend eine menschliche Entscheidungskomponente gehört. KI unterstützt den Antragsbearbeiter bei seinen Entscheidungen, ersetzt ihn aber nicht.

Projekte zur Nachvollziehbarkeit von KI-Entscheidungen laufen

Dieser Aspekt der KI-basierten Entscheidungsunterstützung ist eine Kernkomponente der Forschungsarbeit der Darpa, einer Behörde des US-amerikanischen Verteidigungsministeriums. Ziel des Projekts mit dem Thema "Explainable Artificial Intelligence" (XAI) ist ein quelloffenes Framework, über das Verfahren und Methoden für die Erklärbarkeit und Nachvollziehbarkeit von KI-basierten Handlungsempfehlungen verfügbar gemacht werden. Künstliche Intelligenz gilt allgemein als Blackbox, die beliebigen Input über verborgene Schichten und nicht nachvollziehbare Algorithmen zu einem Output verdichtet, der so lange trainiert wird, bis gewünschte Ergebnisse herauskommen.

Die Forschungsansätze, welche von der Darpa im Rahmen des Projekts zusammengeführt werden, zielen darauf ab, diese Blackbox zu öffnen und mit einem Blick auf das Innenleben künstlicher Intelligenz Entscheidungswege transparent und nachvollziehbar zu machen.

Um zum Beispiel erklären zu können, wie ein Bild durch ein Convolutional Neural Network (CNN) klassifiziert werden kann, verfolgen Forscher der UC Berkeley den Ansatz, sogenannte visuelle Erklärungen zu generieren (Generating Visual Explanations). Dabei werden nur die Informationen identifiziert und weiterverarbeitet, die für die Klassifizierung eines Bildes relevant sind.

Um diese Informationen für Anwender verständlich zu präsentieren, erzeugt das CNN lesbare Beschreibungen und Klassifizierungen. Beides wird in einem weiteren Schritt in einer textbasierten Erklärung zusammengeführt. So können Anwender die Parameter nachvollziehen, die zur Klassifizierung des Bildes geführt haben.

Transparenz mit Methode: Wenn KI auf den LIME geht

Ein weiterer Ansatz für die Nachvollziehbarkeit von KI-Entscheidungen ist LIME (Local Interpretable Model-Agnostic Explanations). Die Methode kann neben Bildern auch Tabellen- oder Textdateien als Input verwerten. LIME erlaubt die Interpretation einzelner Vorhersagen eines neuronalen Netzwerkes - über die Betrachtung einer gewünschten Vorhersage eines Modells, also eines Output-Punkts.

LIME erzeugt einen neuen Datensatz aus den Samples, die um den gewünschten Output herum liegen. Auf diesen reduzierten Datensatz wird dann ein erklärbares statistisches Modell angewendet, zum Beispiel eine Regressionsanalyse. So kann die Entscheidung des neuronalen Netzes, den betrachteten Output zu erzeugen, lokal ermittelt und durch lineare Modelle erklärt werden.

Das LSTMVis-Projekt

Auf die Erklärbarkeit von neuronalen Sequenzmodellen, die durch sogenannte rekurrente neuronale Netze (bzw. deren Spezialform des LSTM, Long-Short-Term-Memory) erzeugt werden können, zum Beispiel Textübersetzungen, -erzeugung oder -interpretationen, konzentriert sich das LSTMVis-Projekt.

Zellen eines LSTM-Modells beinhalten Zellzustände welche die Input- und Outputinformationen regulieren. Aktuelle Forschungsarbeiten haben gezeigt, dass Zellzustände auf bestimmte Zeichen reagieren und sich dann aktivieren oder eben unaktiv bleiben. Diese Änderungen der Zellzustände können mittels des LSTMVis Tools visuell dargestellt werden.

Durch Auswahl eines Textabschnitts kann der Nutzer Hypothesen über die Funktionsweise der Zellen auf seinen Text definieren. Das Tool vergleicht dann diese Auswahl mit anderen Textbeispielen aus dem Datensatz und zeigt visuell, ob und wenn ja, wann Zellen durch das gleiche Muster im Text aktiviert werden.

Somit kann über den gesamten Text nachgewiesen werden, dass bestimmte Zellen des neuronalen Netzes auf bestimmte Zeichen im Text reagieren. Anhand der grafischen Gegenüberstellung aller gefundenen Textabschnitte kann dann die Hypothese über ein bestimmtes Muster in den verborgenen Schichten bestätigt oder verworfen werden.

Bislang nur ansatzweise die gewünschte Nachvollziehbarkeit erreicht

All diese Methoden befinden sich noch in der Entwicklung und bieten derzeit nur ansatzweise die gewünschte Nachvollziehbarkeit der Arbeit neuronaler Netze. Um den regulatorischen Anforderungen vollends gerecht werden zu können, sind daher weitere Forschungsarbeit und praktische Erfahrungen aus der produktiven Implementierung nötig. Doch erste Institutionen, darunter Banken, erkennen bereits die Potenziale solcher Methoden und setzen sie für Themen wie Betrugserkennung bereits produktiv ein. There is more to come.