Maschinen und Vertrauen: So mindern Sie KI-Voreingenommenheit

Im Jahr 2016 behauptete das Weltwirtschaftsforum, dass wir die vierte Welle der industriellen Revolution erleben: Automatisierung mit cyber-physischen Systemen. Zu den Schlüsselelementen dieser Welle gehören maschinelle Intelligenz, Blockchain-basierte dezentrale Governance und Genome Editing. Wie bei früheren Wellen verringern diese Technologien den Bedarf an menschlicher Arbeitskraft, stellen sie jedoch vor neue ethische Herausforderungen, insbesondere für Entwicklungsunternehmen für künstliche Intelligenz und ihre Kunden.

Der Zweck dieses Artikels besteht darin, aktuelle Ideen zur Erkennung und Minderung unerwünschter Verzerrungen in maschinellen Lernmodellen zu überprüfen. Wir werden kürzlich erstellte Richtlinien zu vertrauenswürdiger KI erörtern, Beispiele für KI-Voreingenommenheit betrachten, die sich sowohl aus der Modellwahl als auch aus der zugrunde liegenden gesellschaftlichen Voreingenommenheit ergeben, geschäftliche und technische Praktiken vorschlagen, um voreingenommene KI zu erkennen und zu mindern, und rechtliche Verpflichtungen erörtern, wie sie derzeit im Rahmen der DSGVO bestehen und wo sie könnten sich in der Zukunft entwickeln.

Menschen: Die ultimative Quelle der Voreingenommenheit beim maschinellen Lernen

Alle Modelle werden von Menschen gemacht und spiegeln menschliche Vorurteile wider. Modelle für maschinelles Lernen können die Vorurteile von Organisationsteams, der Designer in diesen Teams, der Data Scientists, die die Modelle implementieren, und der Data Engineers, die Daten sammeln, widerspiegeln. Natürlich spiegeln sie auch die Verzerrung wider, die den Daten selbst innewohnt. So wie wir von menschlichen Entscheidungsträgern ein gewisses Maß an Vertrauenswürdigkeit erwarten, sollten wir auch von unseren Modellen ein gewisses Maß an Vertrauenswürdigkeit erwarten und liefern.

Ein vertrauenswürdiges Modell enthält immer noch viele Verzerrungen, da Verzerrungen (im weitesten Sinne) das Rückgrat des maschinellen Lernens sind. Ein Brustkrebs-Vorhersagemodell wird korrekt vorhersagen, dass Patienten mit einer Vorgeschichte von Brustkrebs zu einem positiven Ergebnis tendieren. Je nach Design kann es lernen, dass Frauen auf ein positives Ergebnis voreingenommen sind. Das endgültige Modell kann für Frauen und Männer unterschiedliche Genauigkeitsgrade aufweisen und auf diese Weise voreingenommen sein. Die Schlüsselfrage lautet: Ist mein Modell voreingenommen? , weil die Antwort immer ja sein wird .

Auf der Suche nach besseren Fragen hat die hochrangige Expertengruppe der Europäischen Union für künstliche Intelligenz Leitlinien für die Modellerstellung erstellt. Im Allgemeinen sollten Modelle für maschinelles Lernen:

1. Gesetzlich – Einhaltung aller geltenden Gesetze und Vorschriften
2. Ethisch – Einhaltung ethischer Grundsätze und Werte
3. Robust – sowohl aus technischer Sicht als auch unter Berücksichtigung seines sozialen Umfelds

Diese kurzen Anforderungen und ihre längere Form beinhalten und gehen über Fragen der Voreingenommenheit hinaus und dienen als Checkliste für Ingenieure und Teams. Wir können vertrauenswürdigere KI-Systeme entwickeln, indem wir diese Vorurteile in unseren Modellen untersuchen, die im Kontext der Problemstellung und -domäne rechtswidrig, unethisch oder unrobust sein könnten.

Historische Fälle von KI-Voreingenommenheit

Unten sind drei historische Modelle mit zweifelhafter Vertrauenswürdigkeit aufgrund von KI-Voreingenommenheit, die rechtswidrig, unethisch oder unrobust ist. Der erste und bekannteste Fall, das COMPAS-Modell, zeigt, wie selbst die einfachsten Modelle unethisch nach Rassen diskriminieren können. Der zweite Fall veranschaulicht einen Fehler in den meisten NLP-Modellen (Natural Language Processing): Sie sind nicht robust gegenüber rassischen, sexuellen und anderen Vorurteilen. Der letzte Fall, das Allegheny Family Screening Tool, zeigt ein Beispiel für ein Modell, das durch voreingenommene Daten grundlegend fehlerhaft ist, und einige bewährte Verfahren zur Minderung dieser Fehler.

KOMPAS

Das kanonische Beispiel für voreingenommene, nicht vertrauenswürdige KI ist das COMPAS-System, das in Florida und anderen Bundesstaaten der USA verwendet wird. Das COMPAS-System verwendete ein Regressionsmodell, um vorherzusagen, ob ein Täter wahrscheinlich einen Rückfall erleiden würde oder nicht. Obwohl für die Gesamtgenauigkeit optimiert, sagte das Modell für afroamerikanische Ethnien doppelt so viele falsch positive Ergebnisse für Rückfälle voraus wie für kaukasische Ethnien.

Das COMPAS-Beispiel zeigt, wie sich unerwünschte Verzerrungen in unsere Modelle einschleichen können, egal wie komfortabel unsere Methodik ist. Aus technischer Sicht war der Umgang mit COMPAS-Daten äußerst gewöhnlich, obwohl die zugrunde liegenden Umfragedaten Fragen mit fragwürdiger Relevanz enthielten. Ein kleines überwachtes Modell wurde auf einem Datensatz mit einer kleinen Anzahl von Merkmalen trainiert. (In meiner Praxis habe ich Dutzende Male ein ähnliches technisches Verfahren befolgt, wie es wahrscheinlich für jeden Datenwissenschaftler oder ML-Ingenieur der Fall ist.) Dennoch führten gewöhnliche Designentscheidungen zu einem Modell, das unerwünschte, rassistisch diskriminierende Vorurteile enthielt.

Das größte Problem im COMPAS-Fall bestand nicht in der einfachen Modellwahl oder gar darin, dass die Daten fehlerhaft waren. Vielmehr hat das COMPAS-Team nicht berücksichtigt, dass der Bereich (Verurteilung), die Frage (Erkennung von Rückfällen) und die Antworten (Rückfallwerte) bekanntermaßen Unterschiede auf rassischer, sexueller und anderer Ebene beinhalten, selbst wenn Algorithmen nicht beteiligt sind. Hätte das Team nach Vorurteilen gesucht, hätten sie sie gefunden. Mit diesem Bewusstsein wäre das COMPAS-Team möglicherweise in der Lage gewesen, verschiedene Ansätze zu testen und das Modell neu zu erstellen, während es um Verzerrungen bereinigt wurde. Dies hätte dann dazu beigetragen, die unfaire Inhaftierung von Afroamerikanern zu verringern, anstatt sie zu verschlimmern.

Jedes NLP-Modell, das seit Word2Vec naiv auf Common Crawl, Google News oder einem anderen Korpus vortrainiert wurde

Große, vortrainierte Modelle bilden die Grundlage für die meisten NLP-Aufgaben. Sofern diese Basismodelle nicht speziell entwickelt wurden, um Verzerrungen entlang einer bestimmten Achse zu vermeiden, sind sie mit Sicherheit von den inhärenten Vorurteilen der Korpora durchdrungen, mit denen sie trainiert wurden – aus dem gleichen Grund, aus dem diese Modelle überhaupt funktionieren. Die Ergebnisse dieser Voreingenommenheit nach Rasse und Geschlecht wurden an Word2Vec- und GloVe-Modellen gezeigt, die mit Common Crawl bzw. Google News trainiert wurden. Während kontextbezogene Modelle wie BERT der aktuelle Stand der Technik sind (eher als Word2Vec und GloVe), gibt es keinen Beweis dafür, dass die Korpora, auf denen diese Modelle trainiert werden, weniger diskriminierend sind.

Obwohl die besten Modellarchitekturen für jedes NLP-Problem von diskriminierenden Gefühlen durchdrungen sind, besteht die Lösung darin, vortrainierte Modelle nicht aufzugeben, sondern vielmehr die jeweilige fragliche Domäne, die Problemstellung und die Daten in ihrer Gesamtheit mit dem Team zu betrachten. Wenn bei einer Anwendung diskriminierende Vorurteile von Menschen bekanntermaßen eine bedeutende Rolle spielen, sollten Entwickler sich darüber im Klaren sein, dass Modelle diese Diskriminierung wahrscheinlich aufrechterhalten werden.

Allegheny Family Screening Tool: Unfair voreingenommen, aber gut gestaltet und gemildert

In diesem letzten Beispiel diskutieren wir ein Modell, das aus unfair diskriminierenden Daten erstellt wurde, aber die unerwünschte Verzerrung wird auf verschiedene Weise gemildert. Das Allegheny Family Screening Tool ist ein Modell, das entwickelt wurde, um Menschen bei der Entscheidung zu unterstützen, ob ein Kind aufgrund missbräuchlicher Umstände aus seiner Familie entfernt werden sollte. Das Tool wurde offen und transparent mit öffentlichen Foren und Möglichkeiten zum Auffinden von Fehlern und Ungerechtigkeiten in der Software entwickelt.

Die unerwünschte Verzerrung des Modells stammt von einem öffentlichen Datensatz, der breitere gesellschaftliche Vorurteile widerspiegelt. Mittel- und Oberschichtfamilien haben eine höhere Fähigkeit, Missbrauch zu „verstecken“, indem sie private Gesundheitsdienstleister in Anspruch nehmen. Überweisungen an Allegheny County kommen bei afroamerikanischen und gemischtrassigen Familien mehr als dreimal so häufig vor wie bei weißen Familien. Kommentatoren wie Virginia Eubanks und Ellen Broad haben behauptet, dass Datenprobleme wie diese nur behoben werden können, wenn die Gesellschaft repariert wird, eine Aufgabe, die über jeden einzelnen Ingenieur hinausgeht.

In der Produktion bekämpft der Landkreis Ungerechtigkeiten in seinem Modell, indem er es nur als Beratungsinstrument für Mitarbeiter an vorderster Front einsetzt und Schulungsprogramme entwickelt, damit sich die Mitarbeiter an vorderster Front der Mängel des Beratungsmodells bewusst sind, wenn sie ihre Entscheidungen treffen. Mit neuen Entwicklungen bei Debiasing-Algorithmen hat Allegheny County neue Möglichkeiten, latente Verzerrungen im Modell zu mindern.

Die Entwicklung des Allegheny-Tools kann Ingenieuren viel über die Grenzen von Algorithmen bei der Überwindung latenter Diskriminierung in Daten und die diesen Daten zugrunde liegende gesellschaftliche Diskriminierung beibringen. Es bietet Ingenieuren und Designern ein Beispiel für die Erstellung von beratenden Modellen, die die realen Auswirkungen potenzieller diskriminierender Verzerrungen in einem Modell abmildern können.

Vermeidung und Minderung von KI-Voreingenommenheit: Wichtiges Geschäftsbewusstsein

Glücklicherweise gibt es einige unvoreingenommene Ansätze und Methoden, von denen viele den COMPAS-Datensatz als Benchmark verwenden.

Diversität verbessern, Diversitätsdefizite mindern

Die Aufrechterhaltung vielfältiger Teams, sowohl im Hinblick auf die Demografie als auch in Bezug auf die Fähigkeiten, ist wichtig, um unerwünschte KI-Voreingenommenheit zu vermeiden und abzumildern. Trotz ständiger Lippenbekenntnisse von Tech-Führungskräften zur Diversität bleiben Frauen und People of Color unterrepräsentiert.

Verschiedene ML-Modelle schneiden bei statistischen Minderheiten innerhalb der KI-Branche selbst schlechter ab, und die Personen, die diese Probleme zuerst bemerken, sind weibliche Benutzer und/oder Farbige. Mit mehr Diversität in KI-Teams können Probleme mit unerwünschter Voreingenommenheit erkannt und vor der Freigabe in die Produktion gemildert werden.

Achten Sie auf Proxys: Das Entfernen geschützter Klassenbezeichnungen von einem Modell funktioniert möglicherweise nicht!

Ein üblicher, naiver Ansatz zum Entfernen von Verzerrungen in Bezug auf geschützte Klassen (wie Geschlecht oder Rasse) aus Daten besteht darin, die Bezeichnungen, die Rasse oder Geschlecht kennzeichnen, aus den Modellen zu löschen. In vielen Fällen wird dies nicht funktionieren, da das Modell Erkenntnisse über diese geschützten Klassen aus anderen Bezeichnungen wie Postleitzahlen aufbauen kann. Üblicherweise werden auch diese Labels entfernt, sowohl um die Ergebnisse der Modelle in der Produktion zu verbessern, als auch aufgrund gesetzlicher Vorgaben. Die jüngste Entwicklung von Debiasing-Algorithmen, auf die wir weiter unten eingehen werden, stellt eine Möglichkeit dar, KI-Bias zu mindern, ohne Labels zu entfernen.

Beachten Sie die technischen Einschränkungen

Selbst Best Practices in der Produktentwicklung und Modellerstellung werden nicht ausreichen, um die Risiken unerwünschter Verzerrungen zu beseitigen, insbesondere bei voreingenommenen Daten. Es ist wichtig, die Grenzen unserer Daten, Modelle und technischen Lösungen für Bias zu erkennen, sowohl aus Gründen des Bewusstseins als auch damit menschliche Methoden zur Begrenzung von Bias beim maschinellen Lernen wie Human-in-the-Loop in Betracht gezogen werden können.

Vermeidung und Minderung von KI-Voreingenommenheit: Wichtige technische Werkzeuge für Bewusstsein und Debiasing

Data Scientists steht eine wachsende Zahl technischer Sensibilisierungs- und Debiasing-Tools zur Verfügung, die die Fähigkeit eines Teams ergänzen, KI-Bias zu vermeiden und abzumildern. Derzeit sind Awareness-Tools ausgefeilter und decken ein breites Spektrum an Modellauswahlen und Bias-Maßnahmen ab, während Debiasing-Tools im Entstehen begriffen sind und Bias in Modellen nur in bestimmten Fällen mildern können.

Bewusstseins- und Debiasing-Tools für überwachte Lernalgorithmen

IBM hat im Rahmen des AI-Fairness-Projekts eine Reihe von Sensibilisierungs- und Debiasing-Tools für binäre Klassifikatoren veröffentlicht. Um KI-Voreingenommenheit zu erkennen und dagegen vorzugehen, erfordern alle Methoden eine Klassenkennzeichnung (z. B. Rasse, sexuelle Orientierung). Anhand dieses Klassenlabels kann eine Reihe von Metriken laufen (z. B. unterschiedliche Auswirkungen und Chancengleichheitsunterschiede), die die Tendenz des Modells gegenüber bestimmten Mitgliedern der Klasse quantifizieren. Wir fügen eine Erklärung dieser Metriken am Ende des Artikels ein.

Sobald eine Verzerrung erkannt wird, verfügt die AI Fairness 360-Bibliothek (AIF360) über 10 Debiasing-Ansätze (und es werden mehr), die auf Modelle angewendet werden können, die von einfachen Klassifikatoren bis hin zu tiefen neuronalen Netzwerken reichen. Einige sind Vorverarbeitungsalgorithmen, die darauf abzielen, die Daten selbst auszugleichen. Andere sind In-Processing-Algorithmen, die unerwünschte Verzerrungen beim Erstellen des Modells bestrafen. Wieder andere wenden Nachbearbeitungsschritte an, um günstige Ergebnisse nach einer Vorhersage auszugleichen. Die jeweils beste Wahl hängt von Ihrem Problem ab.

AIF360 hat eine erhebliche praktische Einschränkung, da die Algorithmen zur Erkennung und Minderung von Verzerrungen für binäre Klassifizierungsprobleme entwickelt wurden und auf Mehrklassen- und Regressionsprobleme erweitert werden müssen. Andere Bibliotheken wie Aequitas und LIME haben gute Metriken für einige kompliziertere Modelle – aber sie erkennen nur Verzerrungen. Sie sind nicht in der Lage, es zu reparieren. Aber auch nur das Wissen, dass ein Modell voreingenommen ist, bevor es in Produktion geht, ist immer noch sehr nützlich, da es dazu führen sollte, alternative Ansätze vor der Veröffentlichung zu testen.

Allgemeines Sensibilisierungstool: LIME

Das Local Interpretable Model-agnostic Explanations (LIME)-Toolkit kann verwendet werden, um die Wichtigkeit von Merkmalen zu messen und das lokale Verhalten der meisten Modelle zu erklären, einschließlich Mehrklassenklassifizierung, Regression und Deep-Learning-Anwendungen. Die allgemeine Idee besteht darin, ein gut interpretierbares lineares oder baumbasiertes Modell an die Vorhersagen des Modells anzupassen, das auf Bias getestet wird.

Zum Beispiel sind tiefe CNNs für die Bilderkennung sehr leistungsfähig, aber nicht sehr interpretierbar. Indem wir ein lineares Modell trainieren, um das Verhalten des Netzwerks zu emulieren, können wir einen Einblick in seine Funktionsweise gewinnen. Optional können menschliche Entscheidungsträger die Gründe für die Entscheidung des Modells in bestimmten Fällen durch LIME überprüfen und darüber hinaus eine endgültige Entscheidung treffen. Dieser Prozess in einem medizinischen Kontext wird mit dem Bild unten demonstriert.

Debiasing von NLP-Modellen

Zuvor haben wir die Verzerrungen diskutiert, die in den meisten Korpora verborgen sind, die zum Trainieren von NLP-Modellen verwendet werden. Wenn für ein bestimmtes Problem wahrscheinlich eine unerwünschte Voreingenommenheit besteht, empfehle ich leicht verfügbare entzerrte Worteinbettungen. Dem Interesse der akademischen Gemeinschaft nach zu urteilen, ist es wahrscheinlich, dass neuere NLP-Modelle wie BERT in Kürze unvoreingenommene Worteinbettungen haben werden.

Debiasing Convolutional Neural Networks (CNNs)

Obwohl LIME die Bedeutung einzelner Merkmale erklären und lokale Erklärungen des Verhaltens bei bestimmten Bildeingaben liefern kann, erklärt LIME nicht das Gesamtverhalten eines CNN oder ermöglicht es Datenwissenschaftlern, nach unerwünschten Verzerrungen zu suchen.

In berühmten Fällen, in denen unerwünschte CNN-Voreingenommenheit festgestellt wurde, bemerkten Mitglieder der Öffentlichkeit (wie Joy Buolamwini) Fälle von Voreingenommenheit aufgrund ihrer Zugehörigkeit zu einer unterprivilegierten Gruppe. Daher kombinieren die besten Minderungsansätze technische und geschäftliche Ansätze: Testen Sie häufig und bauen Sie vielfältige Teams auf, die unerwünschte KI-Voreingenommenheit durch Tests vor der Produktion finden können.

Rechtliche Verpflichtungen und zukünftige Richtungen rund um die KI-Ethik

In diesem Abschnitt konzentrieren wir uns auf die Datenschutz-Grundverordnung (DSGVO) der Europäischen Union. Die DSGVO ist weltweit der De-facto-Standard in der Datenschutzgesetzgebung. (Aber es ist nicht die einzige Gesetzgebung – es gibt zum Beispiel auch Chinas Personal Information Security Specification.) Der Geltungsbereich und die Bedeutung der DSGVO sind höchst umstritten, daher bieten wir in diesem Artikel keinesfalls eine Rechtsberatung an. Dennoch wird gesagt, dass es im Interesse von Organisationen weltweit ist, sich daran zu halten, da die DSGVO nicht nur für europäische Organisationen gilt, sondern für alle Organisationen, die mit Daten von europäischen Bürgern oder Einwohnern umgehen.

Die DSGVO ist in verbindliche Artikel und unverbindliche Erwägungsgründe unterteilt. Während die Artikel Ingenieuren und Organisationen, die personenbezogene Daten verwenden, einige Belastungen auferlegen, sind die strengsten Bestimmungen zur Minderung von Voreingenommenheit in Erwägungsgrund 71 enthalten und nicht bindend. Erwägungsgrund 71 gehört zu den wahrscheinlichsten künftigen Vorschriften, da er bereits von den Gesetzgebern erwogen wurde. Kommentare gehen detaillierter auf die DSGVO-Verpflichtungen ein.

Wir werden uns zwei wichtige Anforderungen und ihre Bedeutung für Modellbauer näher ansehen.

1. Verhinderung diskriminierender Wirkungen

Die DSGVO stellt Anforderungen an die technischen Ansätze einer Modellierung personenbezogener Daten. Datenwissenschaftler, die mit sensiblen personenbezogenen Daten arbeiten, sollten den Text von Artikel 9 lesen, der viele Verwendungen besonders sensibler personenbezogener Daten (wie etwa Rassenkennzeichen) verbietet. Allgemeinere Anforderungen finden sich in Erwägungsgrund 71:

[. . .] geeignete mathematische oder statistische Verfahren verwenden , [. . .] sicherstellen, dass das Fehlerrisiko minimiert wird [. . .] und diskriminierende Auswirkungen aufgrund von Rasse oder ethnischer Herkunft, politischer Meinung, Religion oder Weltanschauung, Gewerkschaftszugehörigkeit, genetischem oder gesundheitlichem Status oder sexueller Orientierung verhindern .

DSGVO (Hervorhebung von mir)

Vieles in diesem Erwägungsgrund wird als grundlegend für einen guten Modellbau akzeptiert: Das Reduzieren des Fehlerrisikos ist das erste Prinzip. Nach diesem Erwägungsgrund sind Datenwissenschaftler jedoch verpflichtet, nicht nur genaue Modelle zu erstellen, sondern Modelle, die nicht diskriminieren! Wie oben beschrieben, ist dies möglicherweise nicht in allen Fällen möglich. Der Schlüssel bleibt, sensibel für die diskriminierenden Auswirkungen zu sein, die sich aus der vorliegenden Frage und ihrem Bereich ergeben könnten, und geschäftliche und technische Ressourcen einzusetzen, um unerwünschte Verzerrungen in KI-Modellen zu erkennen und zu mindern.

2. Das Recht auf eine Erklärung

Rechte auf „aussagekräftige Informationen über die involvierte Logik“ bei der automatisierten Entscheidungsfindung finden sich in den DSGVO-Artikeln 13-15. Erwägungsgrund 71 fordert ausdrücklich „das Recht [. . .] um eine Erklärung ” (Hervorhebung von mir) automatisierter Entscheidungen zu erhalten. (Der Umfang eines verbindlichen Anspruchs auf Erklärung wird jedoch weiterhin diskutiert .)

Wie wir besprochen haben, gibt es zwar einige Werkzeuge, um das Verhalten von Modellen zu erklären, aber komplexe Modelle (z. B. solche mit Computer Vision oder NLP) können nicht ohne weiteres erklärbar gemacht werden, ohne an Genauigkeit zu verlieren. Die Debatte darüber, wie eine Erklärung aussehen könnte, geht weiter. Als bewährte Mindestpraxis sollten für Modelle, die voraussichtlich bis 2020 verwendet werden, LIME oder andere Interpretationsmethoden entwickelt und für die Produktion getestet werden.

Ethik und KI: Eine würdige und notwendige Herausforderung

In diesem Beitrag haben wir die Probleme unerwünschter Verzerrungen in unseren Modellen überprüft, einige historische Beispiele diskutiert, einige Richtlinien für Unternehmen und Tools für Technologen bereitgestellt und wichtige Vorschriften in Bezug auf unerwünschte Verzerrungen diskutiert.

Da die Intelligenz von maschinellen Lernmodellen die menschliche Intelligenz übertrifft, übertreffen sie auch das menschliche Verständnis. Aber solange Modelle von Menschen entworfen und mit von Menschen gesammelten Daten trainiert werden, werden sie menschliche Vorurteile erben.

Der Umgang mit diesen menschlichen Vorurteilen erfordert eine sorgfältige Beachtung der Daten, den Einsatz von KI zur Erkennung und Bekämpfung unerwünschter Vorurteile bei Bedarf, den Aufbau ausreichend diverser Teams und ein gemeinsames Gefühl der Empathie für die Benutzer und Ziele eines bestimmten Problembereichs. Sicherzustellen, dass KI fair ist, ist eine grundlegende Herausforderung der Automatisierung. Als Menschen und Ingenieure hinter dieser Automatisierung ist es unsere ethische und rechtliche Verpflichtung, sicherzustellen, dass KI als Kraft für Fairness fungiert.

Weiterführende Literatur zu KI-Ethik und Voreingenommenheit beim maschinellen Lernen

Bücher über AI Bias

• Von Menschen gemacht: Der KI-Zustand
• Ungleichheit automatisieren: Wie High-Tech-Tools die Armen profilieren, überwachen und bestrafen
• Digitale Sackgasse: Kampf für soziale Gerechtigkeit im Informationszeitalter

Ressourcen für maschinelles Lernen

• Interpretierbares maschinelles Lernen: Ein Leitfaden, um Black-Box-Modelle erklärbar zu machen
• AI Fairness 360-Demo von IBM

KI-Bias-Organisationen

• Algorithmische Gerechtigkeitsliga
• AINow Institute und ihr Paper Discriminating Systems – Gender, Race, and Power in AI

Debiasing Conference Papers und Journal Articles

• Der Mann ist für den Computerprogrammierer wie die Frau für die Hausfrau? Abwertende Worteinbettungen
• AI Fairness 360: Ein erweiterbares Toolkit zum Erkennen, Verstehen und Mindern unerwünschter algorithmischer Verzerrungen
• Machine Bias (langer Zeitschriftenartikel)

Definitionen von KI-Bias-Metriken

Unterschiedliche Auswirkungen

Unterschiedliche Auswirkungen sind definiert als „das Verhältnis der Wahrscheinlichkeit günstiger Ergebnisse zwischen den nicht privilegierten und den privilegierten Gruppen“. Wenn beispielsweise Frauen mit 70 % höherer Wahrscheinlichkeit eine perfekte Bonität erhalten als Männer, stellt dies eine unterschiedliche Auswirkung dar. Unterschiedliche Auswirkungen können sowohl in den Trainingsdaten als auch in den Vorhersagen des Modells vorhanden sein: In diesen Fällen ist es wichtig, die zugrunde liegenden Trainingsdaten genauer zu untersuchen und zu entscheiden, ob unterschiedliche Auswirkungen akzeptabel sind oder abgeschwächt werden sollten.

Chancengleichheit Unterschied

Der Unterschied bei der Chancengleichheit wird (im oben stehenden Artikel von AI Fairness 360) als „der Unterschied in den True-Positive-Raten [Recall] zwischen unprivilegierten und privilegierten Gruppen“ definiert. Das berühmte Beispiel, das in dem Artikel über hohe Chancengleichheitsunterschiede diskutiert wird, ist der COMPAS-Fall. Wie oben erörtert, wurden Afroamerikaner fälschlicherweise häufiger als risikoreiche Personen eingestuft als kaukasische Straftäter. Diese Diskrepanz stellt einen Chancengleichheitsunterschied dar.

Besonderer Dank geht an Jonas Schuett für einige nützliche Hinweise zum Abschnitt DSGVO.