Fairness in der KI – Warum Algorithmen nur so gut wie ihre Trainingsdaten sind

Amazon hat beispielsweise vor wenigen Jahren ein KI-gestütztes Tool zur automatisierten Bewertung von Bewerbungen eingeführt.

Ziel des Tools war es, die Lebensläufe von Bewerber:innen zu screenen und ihnen im Anschluss basierend auf der ausgeschriebenen Stelle einen Score zu vergeben. Der Vorteil eines solchen Tools liegt auf der Hand: Statt mühevoll dutzende Bewerbungen von Hand zu durchforsten, kann der Algorithmus mit zahlreichen CVs gefüttert werden und binnen kürzester Zeit die Top Kandidat:innen für den Job ermitteln. [1]

Das klingt bis hierhin wunderbar. Was Amazon aber nicht bedacht hatte: Das Bewertungssystem des Tools war nicht neutral: Amazon fand nämlich heraus, dass weibliche Kandidaten durch den Algorithmus systematisch schlechter als ihre männlichen Kollegen bewertet wurden. Männliche Bewerber hingegen wurden durch das System automatisch mit einem höheren Rating versehen, was zu einer geschlechterdiskriminierenden Bewertung zulasten weiblicher Bewerberinnen führte. [2]

Die Frage, die sich nun stellt ist: Wie kann das sein? Ein Computer hat schließlich kein subjektives Empfinden und sollte demnach befreit von Vorurteilen rein neutral auf den gelieferten Parametern Entscheidungen treffen können.

Ganz so einfach ist es nicht: Ein KI-System entscheidet nicht per Definition fair. Woran das liegen kann und wieso KI nicht ohne weiteres als ein Heilsbringer für sämtliche Probleme verwendet werden kann, möchte ich euch in diesem Beitrag zeigen.

Was bedeutet Fairness im Kontext KI?

Schauen wir uns zunächst einmal an, was man unter Fairness im KI-Kontext versteht. In diesem Zusammenhang kann ein Algorithmus als fair bezeichnet werden, wenn dessen Entscheidungen frei von Vorurteilen gegenüber einem Einzelnen oder einer Gruppe sind. Umgekehrt bedeutet das für einen unfairen Algorithmus, dass dieser seine Entscheidungen zulasten einer bestimmten Gruppe von Personen fällt. In diesem Zusammenhang beziehen sich die Verzerrungen („biases“) auf sogenannte „sensible Attribute“ wie beispielweise das Geschlecht oder die Religion. [3]

Doch wie entsteht eine solche Unfairness in KI-Systemen?

Um die Ursache von solch einem Bias-Effekt zu untersuchen ist es wichtig, dass man sich die dem Algorithmus zugrundeliegenden Trainingsdaten ansieht. Da Algorithmen Trainingssets nutzen, um Zusammenhänge zu erkennen, ist die Qualität der Entscheidungen von Algorithmen stark an die Testdatensets gebunden. Gibt es nun bereits in den zum Training genutzten Daten einen Schiefstand, so übernimmt das KI-System dieses Muster in seine Entscheidungen. Das bedeutet, dass bestehende Verzerrungen in den Trainingsdaten durch KI-Systeme übernommen und zu Abweichungen führen. [4]

Am Beispiel von Amazon gab es ebenfalls ein Problem mit den zugrundeliegenden Trainingsdaten: Hier wurden nämlich die bei Amazon eingereichten Bewerbungen der vergangenen zehn Jahre herangezogen. Da sich bei Amazon aber deutlich mehr Männer als Frauen beworben haben und einstellt wurden, gab es ein hohes Ungleichgewicht in den Trainingsdaten. Diese Verzerrung zu Ungunsten der weiblichen Bewerberinnen führte dazu, dass männliche Bewerber besser bewertet wurden. Konkret hat der Algorithmus CVs schlechter bewertet, in denen Wörter wie „women’s college“ oder „women’s chess club“ vorkamen. Das Ungleichgewicht in den Trainingsdaten führte also dazu, dass das KI-System verzerrte Entscheidungen zulasten weiblicher Kandidatinnen traf und somit unfair bewertet hatte. [5]

Das HR-Tool wurde laut Amazon nach Bekanntwerden der Probleme mehrfach angepasst, letzten Endes aber nicht mehr weiterentwickelt und verworfen. Zudem betonte der IT-Konzern, dass das Projekt nur mit internen Testdaten geprüft und nie ernsthaft im Recrutingprozess einsetzt wurde [6].

Das Potenzial von KI-Systemen ist schier grenzenlos. Es gibt zahlreiche Anwendungsfälle, in denen Algorithmen datenbasierte Entscheidungen treffen und dadurch viel Zeit und Geld sparen können. Allerdings zeigt sich am Beispiel von Amazon auch, dass es bei der Entwicklung von KI-Systemen einige Faktoren zu berücksichtigen gibt. Ein Algorithmus funktioniert nämlich nur so gut, wie Menschen ihn konzipiert und trainiert haben.

Mehr zum Einsatz von KI und Advanced Analytics

Quellen