Explainable AI: Wie man KI-basierte Entscheidungen besser versteht

04.05.2022

Künstliche Intelligenz (KI) kann auch unternehmerische Entscheidungen automatisieren. Diese können weitreichende Folgen für den Unternehmenserfolg haben und sollten entsprechend bedacht getroffen werden.

Ähnlich wie bei der Einstellung von Entscheidungsträgern in der Organisation ist es wichtig zu verstehen, wie KI Entscheidungen trifft. Viele Organisationen möchten KI nutzen, fühlen sich aber nicht wohl dabei, das Modell oder die KI wirkungsvollere Entscheidungen treffen zu lassen, weil sie dem Modell noch nicht vertrauen. Die Vorhersagen mögen zutreffend sein, ohne tiefergehendes Verständnis ist aber der Weg zum Ergebnis kaum nachvollziehbar. Data Scientists stehen dann vor dem Problem, kaum Insights aus den Modellen hervorholen zu können. Explainable AI hilft dabei, da sie Einblicke in die Entscheidungsfindung von Modellen gibt. Sie gibt Antworten auf drei Fragen:

  • Welche Merkmale in den Daten stuft das Modell als besonders wichtig ein?
  • Wie wirkt sich bei einer einzelnen Vorhersage des Modells jedes Merkmal auf das Ergebnis aus?
  • Wie wirkt sich jedes Merkmal auf die Vorhersagen des Modells in der gesamtheitlichen Betrachtung aus, wenn es über eine große Anzahl möglicher Vorhersagen betrachtet wird?

Mit der zunehmenden Komplexität künstlicher Intelligenz steigt die Relevanz von Explainable AI. Sie gibt einen Einblick in das „Gehirn“ der KI, um nicht nur das Ergebnis, sondern auch den Rechenweg zu verstehen. Das schafft Vertrauen und baut Hemmungen ab, KI im Produktivumfeld einzusetzen. Data Scientists profitieren somit von der Transparenz ihrer Modelle, da das Management und Verantwortliche die Entscheidungen nachvollziehen wollen.

Das Hauptziel von Explainable AI ist es, besser erklärbare Modelle zu erstellen und gleichzeitig ein hohes Maß an Lernleistung und Vorhersagegenauigkeit beizubehalten. Sie optimiert den Einsatz von KI im Produktivumfeld durch eine eingehende Modell- und Datenuntersuchung. Die Ergebnisse bringen Vorteile für alle Branchen und Unternehmen: gesteigerte Effizienz und geringere Kosten.

In KI-Projekten herrscht dennoch oft Unklarheit über die Gründe für Explainable AI. Sie macht KI-Modelle transparenter, fairer und zuverlässiger. Warum das so ist, wie sie funktioniert und welchen Mehrwert sie leistet, wird in diesem Beitrag beschrieben.

Nutzen von Explainable AI

Interpretierbare Modelle helfen, einige Ziele von Machine Learning Projekten zu erreichen:

  • Vertrauen: Ohne einige grundlegende Fakten zu überprüfen neigen viele Menschen dazu, die Entscheidungsfähigkeit eines Modells anzuzweifeln. Angesichts der Häufigkeit von Datenfehlern ist dies eine kluge Vorsichtsmaßnahme. Das Vertrauen in Modelle steigt, wenn Einsichten für ein besseres Verständnis des Problems sorgen.
  • Kausalität: Die Datengrundlage eines Modells kann unzuverlässig, unorganisiert und fehlerhaft sein. Sie ist damit eine potenzielle Fehlerquelle für falsche Zusammenhänge. Zu verstehen, welche Muster ein Modell in den Daten findet, hilft beim Aufspüren von zufälligen Korrelationen.
  • Effektivitätssteigerung: Mit dem Wissen, welche Rolle einzelne Merkmale bei der Modellvorhersage spielen, können neue Merkmale durch Transformationen der Rohdaten erstellt werden (auch Feature Engineering genannt). Manchmal wird dieser Prozess durch Domänenwissen geleitet, doch mit der Interpretierbarkeit kann das Modell gezielt um Merkmale erweitert werden, die die Genauigkeit erhöhen.

Explainable AI und der Tradeoff zwischen Interpretierbarkeit und Genauigkeit

In der Regel sind simplere Machine-Learning-Verfahren wie lineare Regressionen oder Entscheidungsbäume leichter interpretierbar als komplexere Verfahren wie künstliche neuronale Netze. Denn je länger und komplizierter die mathematische Formel ist, die einem Verfahren zu Grunde liegt, desto schwieriger ist es, den Rechenweg zu verfolgen. Das lässt ein Verfahren aber auch flexibler auf verschiedene Muster in den Daten reagieren, sodass z.B. nichtlineare Zusammenhänge besser abgebildet werden können. Grundsätzlich spricht man hier deshalb von einem Kompromiss zwischen Interpretierbarkeit und Genauigkeit.

Machine-Learning-Verfahren im Kompromiss zwischen Interpretierbarkeit und Genauigkeit
Abbildung 1:  Machine-Learning-Verfahren im Kompromiss zwischen Interpretierbarkeit und Genauigkeit; Bildquelle: eigene Darstellung

Ebenen der Interpretierbarkeit in Explainable AI

Bei der Interpretierbarkeit von Modellen unterscheidet man zwischen globaler und lokaler Interpretierbarkeit. Damit werden die Ebenen der Interpretierbarkeit bezeichnet, die je nach Anwendungsfall unterschiedlich relevant sein können.

Lokale Interpretierbarkeit

Bei dieser Ebene der Interpretierbarkeit geht es darum, eine einzelne Vorhersage eines Modells zu verstehen. Wenn beispielsweise untersucht werden soll, warum ein bestimmte Kundin oder Kunde als „schlecht“ eingestuft wird, ist die lokale Interpretierbarkeit des Modells unerlässlich.

Globale Interpretierbarkeit

Bei dieser Ebene der Interpretierbarkeit geht es darum, zu verstehen, wie das Modell Entscheidungen trifft. Das basiert auf einer ganzheitlichen Sicht auf die Merkmale und jede der erlernten Komponenten wie Gewichte, andere Parameter und Strukturen. Die globale Interpretierbarkeit macht verständlich, welche Merkmale ein Modell für seine Entscheidungen berücksichtigt. Im Finanzbereich oder den Sozialwissenschaften ist es wichtig, dass Benutzende das Modell verstehen. Werden beispielsweise Wahrscheinlichkeiten für Kreditausfälle berechnet, reicht es nicht aus, einen Kunden nur als „gut“ oder „schlecht“ zu klassifizieren. Die Kreditgenehmigungsbehörden benötigen eine eindeutige Scorecard, um die Grundlage für diese Klassifizierung zu begründen.

Techniken für Explainable AI

Die Umsetzung von Explainable AI erfordert je nach Modell verschiedene Herangehensweisen. Diese unterteilen sich in zwei Kategorien: Modell-spezifische und modell-agnostische. Für beide Arten gibt es unzählige Techniken, die hier nicht alle im Detail gezeigt werden können. Um einen Einblick in die Anwendung von Explainable AI zu geben, werden einige der bekanntesten und meist genutzten nachfolgend vorgestellt.

Betrachten wir zunächst die modell-spezifischen Techniken: Modell-spezifische Techniken sind speziell für ein einzelnes Modell oder eine Gruppe von Modellen. Diese Tools hängen stark von der Funktionsweise und den Fähigkeiten eines bestimmten Modells ab, beispielsweise Bauminterpretierer. Anhand eines Bauminterpretierers lassen sich die Ergebnisse des Entscheidungsbaums nachverfolgen. In jedem Knoten stehen die Bedingungen, nach denen der Baum eine Entscheidung trifft und zum nächsten Knoten wandert, z.B. Blattgröße (petal length) <= 2,45cm. Trifft die Bedingung zu, springt der Index zum linken Knoten auf der nächsten Ebene. Ist die Bedingung unzutreffend, wählt der Index den rechten Knoten. Ist der Index an einem Endknoten angekommen, wird das im Knoten enthaltene Ergebnis ausgegeben.

Abbildung 2: Knoten zeigen die Bedingungen und Ergebnisse eines Entscheidungsbaums, Bildquelle: Eigene Darstellung

Weitere modellspezifische Interpretationstechniken befassen sich mit der Erklärung künstlicher neuronaler Netze. Da neuronale Netze, und die von ihnen gelernten Zusammenhänge und Datenrepräsentationen, so komplex und abstrakt sind, dass selbst Experten sie nicht mehr nachvollziehen können, werden sie auch als Black Box bezeichnet. Interpretationstechniken rund um Explainable AI bringen Licht in die Black Box. Sie helfen zu verstehen, wie ein neuronales Netz zum Ergebnis kam. Beispielsweise in der Bilderkennung werden Heatmaps genutzt, um die vom Modell erlernten Muster darzustellen. Eine hohe Nachvollziehbarkeit in diesem Gebiet ist nicht zu unterschätzen, da so auch Ungenauigkeiten bei der Erkennung identifiziert werden. Aus der Modellinterpretation lässt sich anschließend ableiten, ob ein Modell nachtrainiert werden muss oder die Daten anders gelabelt werden müssen.

Heatmaps zeigen, anhand welcher Mermlae ein neuronales Netz einen Hund erkennt
Abbildung 3: Heatmaps zeigen, anhand welcher Merkmale ein neuronales Netz einen Hund erkennt, Bildquelle: Jacob Gildenblat, Pytorch GradCAM

Im Gegensatz zu den modellspezifischen Techniken können modellunabhängige Tools für jedes Machine-Learning-Modell verwendet werden, egal wie kompliziert es ist. Diese agnostischen Methoden funktionieren normalerweise, indem sie Eingabe- und Ausgabepaare von Merkmalen analysieren. Verbreitete Frameworks sind LIME (Local Interpretable Model-agnostic Explanations) für Klassifikationsmodelle und SHAP (SHapley Additive exPlanation) für Regressionsmodelle. Beide Frameworks untersuchen, wie sich eine geringfügige Änderung einzelner Eingabe-Variablen auf das Ergebnis auswirken. So wird erkannt, ob einzelne Features zum Ergebnis beigetragen haben oder nicht. Die „Wichtigkeit“ der Features kann in Diagrammen dargestellt werden.

LIME-Diagramm vom Einfluss einzelner Features auf eine Klassifikation
Abbildung 4: LIME-Diagramm vom Einfluss einzelner Features auf eine Klassifikation; Bildquelle: Eigene Darstellung

 

Fazit: Explainable AI schafft Transparenz bei KI-gestützten Entscheidungen

Explainable AI bezeichnet den Einblick in KI-Modelle auf mehreren Ebenen. Je nach Einsatzgebiet kann es wichtiger sein, den Weg zu einer einzelnen Vorhersage oder das Modell in seiner ganzheitlichen Funktionsweise und Entscheidungsmerkmalen nachzuvollziehen.
Techniken und Tools zur Erhöhung der Erklärbarkeit

können auf Verfahren zugeschnitten sein oder verfahrensunabhängig funktionieren. Erstere liefern einen tieferen Einblick in das Modell und erklären somit auch schwer interpretierbare Ansätze wie neuronale Netze. Letztere untersuchen vor allem die Auswirkung einzelner Merkmale auf das Ergebnis. Sie unterstützen bei der Auswahl von Modellen und bei der Auswahl entscheidender Merkmale.
Beide Arten von Techniken verbindet, dass sie das Vertrauen in die Vorhersagen erhöhen und die Lücke zwischen genaueren, aber intransparenten Ansätzen und den leicht verständlichen Ansätzen schließen. Explainable AI sorgt daher dafür, weniger Kompromisse bei der Entscheidung zwischen Interpretierbarkeit und Genauigkeit eingehen zu müssen.
Für eine sichere und zuverlässige Einbeziehung von KI ist eine gegenseitige Ergänzung von menschlicher und künstlicher Intelligenz erforderlich. Techniken, die eine qualitative Einschätzung der verwendeten Entscheidungsregeln ermöglichen, sollten die Basis für entsprechende Handlungsempfehlungen bei der Modellanpassung sein.
Die Nachvollziehbarkeit von Modellen ist nicht nur eine wissenschaftliche Frage. Sie hilft zu verstehen, wo Modelle versagen, wie man sie repariert und wie man sie Projektbeteiligten erklärt, damit jeder genau weiß, wie ein Modell Wert generiert.

 

Mehr über Machine Larning erfahren

Hören Sie in den Podcast zu KI im Automotive

Zurück zur Übersicht

Kommentar verfassen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

*Pflichtfelder

*