Maszyny i zaufanie: jak złagodzić uprzedzenia AI

W 2016 roku Światowe Forum Ekonomiczne stwierdziło, że doświadczamy czwartej fali rewolucji przemysłowej: automatyzacji z wykorzystaniem systemów cyber-fizycznych. Kluczowe elementy tej fali obejmują inteligencję maszyn, zdecentralizowane zarządzanie oparte na blockchain i edycję genomu. Podobnie jak w przypadku poprzednich fal, technologie te zmniejszają zapotrzebowanie na pracę ludzką, ale stawiają nowe wyzwania etyczne, zwłaszcza dla firm zajmujących się rozwojem sztucznej inteligencji i ich klientów.

Celem tego artykułu jest przegląd najnowszych pomysłów na wykrywanie i łagodzenie niepożądanych uprzedzeń w modelach uczenia maszynowego. Omówimy niedawno opracowane wytyczne dotyczące godnej zaufania sztucznej inteligencji, przeanalizujemy przykłady stronniczości sztucznej inteligencji wynikającej zarówno z wyboru modelu, jak i leżących u jego podstaw uprzedzeń społecznych, zasugerujemy praktyki biznesowe i techniczne służące wykrywaniu i łagodzeniu stronniczej sztucznej inteligencji oraz omówimy obowiązki prawne, jakie istnieją obecnie w ramach RODO i gdzie mogą się rozwinąć w przyszłości.

Ludzie: ostateczne źródło uprzedzeń w uczeniu maszynowym

Wszystkie modele są wykonane przez ludzi i odzwierciedlają ludzkie uprzedzenia. Modele uczenia maszynowego mogą odzwierciedlać uprzedzenia zespołów organizacyjnych, projektantów w tych zespołach, analityków danych wdrażających modele oraz inżynierów danych zbierających dane. Oczywiście odzwierciedlają one również stronniczość nieodłączną od samych danych. Tak jak oczekujemy pewnego poziomu wiarygodności od ludzkich decydentów, tak samo powinniśmy oczekiwać i dostarczać takiego poziomu wiarygodności od naszych modeli.

Godny zaufania model nadal będzie zawierał wiele błędów, ponieważ błąd (w najszerszym tego słowa znaczeniu) jest podstawą uczenia maszynowego. Model przewidywania raka piersi prawidłowo przewiduje, że pacjentki z rakiem piersi w wywiadzie są skłaniane w kierunku pozytywnego wyniku. W zależności od projektu może się dowiedzieć, że kobiety są nastawione na pozytywny wynik. Ostateczny model może mieć różne poziomy dokładności dla kobiet i mężczyzn i być w ten sposób stronniczy. Kluczowym pytaniem, które należy zadać, nie jest Czy mój model jest stronniczy? , bo odpowiedź zawsze będzie tak .

Poszukując lepszych pytań, Grupa Ekspertów Wysokiego Szczebla Unii Europejskiej ds. Sztucznej Inteligencji opracowała wytyczne mające zastosowanie do budowania modeli. Ogólnie rzecz biorąc, modele uczenia maszynowego powinny być:

1. Zgodny z prawem — z poszanowaniem wszystkich obowiązujących praw i przepisów
2. Etyczne — szanowanie zasad i wartości etycznych
3. Solidne — zarówno z technicznego punktu widzenia, jak i z uwzględnieniem otoczenia społecznego

Te krótkie wymagania i ich dłuższa forma obejmują i wykraczają poza kwestie stronniczości, stanowiąc listę kontrolną dla inżynierów i zespołów. Możemy opracować bardziej godne zaufania systemy sztucznej inteligencji, badając te uprzedzenia w naszych modelach, które mogą być niezgodne z prawem, nieetyczne lub niesolidne w kontekście opisu problemu i dziedziny.

Historyczne przypadki stronniczości AI

Poniżej znajdują się trzy modele historyczne o wątpliwej wiarygodności ze względu na błąd AI, który jest niezgodny z prawem, nieetyczny lub niesolidny. Pierwszy i najbardziej znany przypadek, model COMPAS, pokazuje, że nawet najprostsze modele mogą nieetycznie rozróżniać rasę. Drugi przypadek ilustruje wadę większości modeli przetwarzania języka naturalnego (NLP): nie są one odporne na uprzedzenia rasowe, seksualne i inne. Ostatni przypadek, narzędzie Allegheny Family Screening Tool, pokazuje przykład modelu, który jest zasadniczo wadliwy ze względu na stronnicze dane, a także kilka najlepszych praktyk w łagodzeniu tych wad.

KOMPASY

Kanonicznym przykładem stronniczej, niewiarygodnej sztucznej inteligencji jest system COMPAS, używany na Florydzie i w innych stanach USA. System COMPAS wykorzystał model regresji, aby przewidzieć, czy sprawca może się powtórzyć. Chociaż zoptymalizowany pod kątem ogólnej dokładności, model przewidywał podwojenie liczby fałszywie dodatnich wyników dla recydywy w przypadku grup etnicznych Afroamerykanów niż w przypadku osób z rasy kaukaskiej.

Przykład COMPAS pokazuje, jak niechciane stronniczość może wkraść się do naszych modeli, niezależnie od tego, jak wygodna jest nasza metodologia. Z technicznego punktu widzenia podejście przyjęte do danych COMPAS było niezwykle zwyczajne, chociaż dane z ankiety bazowej zawierały pytania o wątpliwej trafności. Mały nadzorowany model został przeszkolony na zestawie danych z niewielką liczbą funkcji. (W swojej praktyce stosowałem podobną procedurę techniczną dziesiątki razy, jak to jest prawdopodobnie w przypadku każdego naukowca danych lub inżyniera ML.) Jednak zwykłe wybory projektowe wytworzyły model, który zawierał niechciane, dyskryminujące rasowo uprzedzenia.

Największym problemem w przypadku COMPAS nie był wybór prostego modelu, ani nawet to, że dane były błędne. Przeciwnie, zespół COMPAS nie wziął pod uwagę, że domena (wyrok), pytanie (wykrywanie recydywy) i odpowiedzi (wyniki recydywy) są znane z rozbieżności na osiach rasowych, seksualnych i innych, nawet gdy algorytmy nie są zaangażowane. Gdyby zespół szukał stronniczości, znaleźliby go. Mając tę ​​świadomość, zespół COMPAS mógł przetestować różne podejścia i odtworzyć model, jednocześnie dostosowując się do stronniczości. To zadziałałoby wówczas w celu zmniejszenia niesprawiedliwego uwięzienia Afroamerykanów, zamiast go zaostrzać.

Dowolny model NLP przeszkolony naiwnie w Common Crawl, Google News lub dowolnym innym korpusie, od Word2Vec

Duże, wstępnie wytrenowane modele stanowią podstawę większości zadań NLP. O ile te podstawowe modele nie są specjalnie zaprojektowane, aby uniknąć odchyleń wzdłuż określonej osi, z pewnością będą nasycone nieodłącznymi uprzedzeniami korpusów, z którymi są szkolone – z tego samego powodu, dla którego te modele w ogóle działają. Wyniki tego nastawienia, w zależności od rasy i płci, zostały pokazane w modelach Word2Vec i GloVe wytrenowanych odpowiednio w Common Crawl i Google News. Chociaż modele kontekstowe, takie jak BERT, są obecnie najnowocześniejszymi modelami (a nie Word2Vec i GloVe), nie ma dowodów na to, że korpusy, na których te modele są trenowane, są mniej dyskryminujące.

Chociaż najlepsze architektury modeli dla każdego problemu NLP są nasycone sentymentem dyskryminacyjnym, rozwiązaniem nie jest porzucenie wstępnie wytrenowanych modeli, ale raczej rozważenie konkretnej domeny, o której mowa, opisu problemu i danych w całości z zespołem. Jeśli aplikacja jest aplikacją, w której wiadomo, że dyskryminujące uprzedzenia ze strony ludzi odgrywają znaczącą rolę, programiści powinni być świadomi, że modele mogą utrwalać tę dyskryminację.

Allegheny Family Screening Tool: niesprawiedliwie stronniczy, ale dobrze zaprojektowany i złagodzony

W tym ostatnim przykładzie omawiamy model zbudowany na podstawie niesprawiedliwie dyskryminujących danych, ale niechciane nastawienie jest łagodzone na kilka sposobów. Narzędzie Allegheny Family Screening Tool to model zaprojektowany, aby pomóc ludziom w podejmowaniu decyzji, czy dziecko powinno zostać usunięte z rodziny z powodu nadużyć. Narzędzie zostało zaprojektowane w sposób otwarty i przejrzysty z publicznymi forami i możliwościami znalezienia wad i nierówności w oprogramowaniu.

Niepożądane nastawienie w modelu wywodzi się z publicznego zbioru danych, który odzwierciedla szersze uprzedzenia społeczne. Rodziny z klasy średniej i wyższej mają większą zdolność do „ukrywania” nadużyć poprzez korzystanie z prywatnych dostawców usług medycznych. Skierowania do hrabstwa Allegheny zdarzają się ponad trzy razy częściej w przypadku rodzin afroamerykańskich i birasowych niż rodzin białych. Komentatorzy, tacy jak Virginia Eubanks i Ellen Broad, twierdzili, że problemy z danymi, takie jak te, można naprawić tylko wtedy, gdy społeczeństwo jest naprawione, co jest zadaniem wykraczającym poza jednego inżyniera.

Na produkcji hrabstwo zwalcza nierówności w swoim modelu, używając go tylko jako narzędzia doradczego dla pracowników pierwszej linii i opracowuje programy szkoleniowe, aby pracownicy pierwszej linii byli świadomi wad modelu doradczego podczas podejmowania decyzji. Dzięki nowym osiągnięciom w algorytmach debiasingu hrabstwo Allegheny ma nowe możliwości łagodzenia ukrytych błędów w modelu.

Opracowanie narzędzia Allegheny może wiele nauczyć inżynierów o ograniczeniach algorytmów pozwalających przezwyciężyć utajoną dyskryminację danych oraz dyskryminację społeczną leżącą u podstaw tych danych. Dostarcza inżynierom i projektantom przykład konsultacyjnego budowania modelu, który może złagodzić rzeczywisty wpływ potencjalnego dyskryminującego błędu w modelu.

Unikanie i łagodzenie stronniczości AI: kluczowa świadomość biznesowa

Na szczęście istnieją pewne podejścia i metody obiektywizacji — wiele z nich wykorzystuje zestaw danych COMPAS jako punkt odniesienia.

Poprawa różnorodności, łagodzenie deficytów różnorodności

Utrzymanie zróżnicowanych zespołów, zarówno pod względem demografii, jak i umiejętności, jest ważne dla unikania i łagodzenia niepożądanego uprzedzenia AI. Pomimo nieustannych deklamacji wyrażanych przez dyrektorów ds. technologii na temat różnorodności, kobiety i osoby kolorowe pozostają niedostatecznie reprezentowane.

Różne modele ML działają gorzej w przypadku mniejszości statystycznych w samej branży AI, a osobami, które jako pierwsze zauważają te problemy, są kobiety i/lub osoby kolorowe. Dzięki większej różnorodności w zespołach AI problemy związane z niechcianymi uprzedzeniami można zauważyć i złagodzić przed wprowadzeniem do produkcji.

Uważaj na proxy: usuwanie etykiet klasy chronionej z modelu może nie działać!

Powszechnym, naiwnym podejściem do usuwania uprzedzeń związanych z chronionymi klasami (takimi jak płeć lub rasa) z danych jest usuwanie etykiet oznaczających rasę lub płeć z modeli. W wielu przypadkach to nie zadziała, ponieważ model może budować zrozumienie tych chronionych klas na podstawie innych etykiet, takich jak kody pocztowe. Zwykła praktyka polega na usuwaniu również tych etykiet, zarówno w celu poprawy wyników modeli w produkcji, ale także ze względu na wymogi prawne. Niedawny rozwój algorytmów debiasingu, który omówimy poniżej, stanowi sposób na złagodzenie stronniczości AI bez usuwania etykiet.

Bądź świadomy ograniczeń technicznych

Nawet najlepsze praktyki w projektowaniu produktów i budowaniu modeli nie wystarczą, aby usunąć ryzyko niepożądanej stronniczości, szczególnie w przypadku nieobiektywnych danych. Ważne jest, aby rozpoznać ograniczenia naszych danych, modeli i rozwiązań technicznych w zakresie stronniczości, zarówno ze względu na świadomość, jak i aby można było rozważyć ludzkie metody ograniczania stronniczości w uczeniu maszynowym, takie jak „człowiek w pętli”.

Unikanie i łagodzenie stronniczości AI: kluczowe narzędzia techniczne do zwiększania świadomości i obiektywizacji

Naukowcy zajmujący się danymi mają do dyspozycji rosnącą liczbę narzędzi świadomości technicznej i stronniczości, które uzupełniają zdolność zespołu do unikania i łagodzenia stronniczości sztucznej inteligencji. Obecnie narzędzia uświadamiające są bardziej wyrafinowane i obejmują szeroki zakres wyborów modeli i miar stronniczości, podczas gdy narzędzia debiasingu powstają i mogą łagodzić stronniczość modeli tylko w określonych przypadkach.

Narzędzia zwiększające świadomość i obiektywizujące dla nadzorowanych algorytmów uczenia się

W ramach projektu AI Fairness IBM wydał zestaw narzędzi zwiększających świadomość i obiektywizujących dla klasyfikatorów binarnych. Aby wykryć stronniczość AI i złagodzić ją, wszystkie metody wymagają etykiety klasy (np. rasa, orientacja seksualna). W odniesieniu do tej etykiety klasy można przeprowadzić szereg metryk (np. odmienny wpływ i różnica równych szans), które określają ilościowo stronniczość modelu w stosunku do poszczególnych członków klasy. Wyjaśnienie tych wskaźników zamieszczamy na dole artykułu.

Po wykryciu odchylenia biblioteka AI Fairness 360 (AIF360) ma 10 podejść do odchylania (i zliczania), które można zastosować do modeli, od prostych klasyfikatorów po głębokie sieci neuronowe. Niektóre z nich to algorytmy przetwarzania wstępnego, których celem jest zrównoważenie samych danych. Inne to algorytmy w trakcie przetwarzania, które karzą niepożądane uprzedzenia podczas budowania modelu. Jeszcze inni stosują kroki przetwarzania końcowego, aby zrównoważyć korzystne wyniki po prognozie. Najlepszy wybór będzie zależał od Twojego problemu.

AIF360 ma istotne praktyczne ograniczenie polegające na tym, że algorytmy wykrywania i łagodzenia odchyleń są przeznaczone do problemów z klasyfikacją binarną i muszą być rozszerzone na problemy z wieloma klasami i regresją. Inne biblioteki, takie jak Aequitas i LIME, mają dobre metryki dla niektórych bardziej skomplikowanych modeli — ale wykrywają tylko stronniczość. Nie są w stanie tego naprawić. Ale nawet sama wiedza, że ​​model jest stronniczy, zanim trafi do produkcji, jest nadal bardzo przydatna, ponieważ powinna prowadzić do testowania alternatywnych podejść przed wydaniem.

Ogólne narzędzie uświadamiające: LIME

Zestaw narzędzi LIME (ang. Local Interpretable Model-Agnostic Explanations) może być używany do mierzenia ważności cech i wyjaśniania lokalnego zachowania większości modeli — w tym klasyfikacji wieloklasowej, regresji i zastosowań głębokiego uczenia. Ogólną ideą jest dopasowanie wysoce interpretowalnego modelu liniowego lub opartego na drzewie do przewidywań modelu testowanego pod kątem błędu systematycznego.

Na przykład głębokie CNN do rozpoznawania obrazów są bardzo wydajne, ale niezbyt łatwe do zinterpretowania. Trenując model liniowy do emulacji zachowania sieci, możemy uzyskać pewien wgląd w to, jak to działa. Opcjonalnie decydenci mogą przejrzeć przyczyny decyzji modelu w konkretnych przypadkach za pomocą LIME i podjąć ostateczną decyzję. Ten proces w kontekście medycznym przedstawia poniższy obrazek.

Debiasing modeli NLP

Wcześniej omówiliśmy błędy ukryte w większości korpusów używanych do uczenia modeli NLP. Jeśli w przypadku danego problemu istnieje prawdopodobieństwo wystąpienia niepożądanej stronniczości, polecam łatwo dostępne, obiektywne osadzanie słów. Sądząc po zainteresowaniu społeczności akademickiej, jest prawdopodobne, że nowsze modele NLP, takie jak BERT, wkrótce będą miały negatywny wpływ na osadzanie słów.

Debiasing splotowych sieci neuronowych (CNN)

Chociaż LIME może wyjaśnić znaczenie poszczególnych funkcji i dostarczyć lokalnych wyjaśnień zachowania na poszczególnych wejściach obrazu, LIME nie wyjaśnia ogólnego zachowania CNN ani nie pozwala analitykom danych na wyszukiwanie niepożądanych uprzedzeń.

W słynnych przypadkach, w których znaleziono niechcianą stronniczość CNN, członkowie społeczeństwa (tacy jak Joy Buolamwini) zauważyli przypadki stronniczości oparte na przynależności do nieuprzywilejowanej grupy. Dlatego najlepsze podejścia do łagodzenia skutków łączą podejścia techniczne i biznesowe: często testuj i buduj zróżnicowane zespoły, które mogą znaleźć niepożądane uprzedzenia sztucznej inteligencji poprzez testowanie przed produkcją.

Zobowiązania prawne i przyszłe kierunki dotyczące etyki AI

W tej sekcji koncentrujemy się na Ogólnym Rozporządzeniu o Ochronie Danych (RODO) Unii Europejskiej. RODO jest na całym świecie de facto standardem w przepisach dotyczących ochrony danych. (Ale nie jest to jedyne prawodawstwo — jest też na przykład chińska specyfikacja bezpieczeństwa danych osobowych). Zakres i znaczenie RODO są bardzo dyskusyjne, więc w tym artykule w żaden sposób nie oferujemy porad prawnych. Niemniej jednak mówi się, że zgodność z przepisami leży w interesie organizacji na całym świecie, ponieważ RODO ma zastosowanie nie tylko do organizacji europejskich, ale także do wszelkich organizacji zajmujących się danymi należącymi do obywateli lub mieszkańców Europy.

RODO dzieli się na wiążące artykuły i niewiążące motywy . Chociaż artykuły nakładają pewne obciążenia na inżynierów i organizacje wykorzystujące dane osobowe, najbardziej rygorystyczne przepisy dotyczące łagodzenia uprzedzeń znajdują się w motywie 71 i nie są wiążące. Motyw 71 należy do najbardziej prawdopodobnych przyszłych regulacji, ponieważ był już rozważany przez ustawodawców. Komentarze szczegółowo omawiają obowiązki RODO.

Przyjrzymy się dwóm kluczowym wymaganiom i ich znaczeniu dla modelarzy.

1. Zapobieganie skutkom dyskryminacyjnym

RODO nakłada wymagania na techniczne podejście do dowolnego modelowania danych osobowych. Analitycy danych pracujący z wrażliwymi danymi osobowymi będą chcieli przeczytać tekst Artykułu 9, który zabrania wielu zastosowań szczególnie wrażliwych danych osobowych (takich jak identyfikatory rasowe). Bardziej ogólne wymagania można znaleźć w motywie 71:

[. . .] stosować odpowiednie procedury matematyczne lub statystyczne , [. . .] upewnić się, że ryzyko błędów jest zminimalizowane [. . .] oraz zapobiegać skutkom dyskryminacji ze względu na pochodzenie rasowe lub etniczne, poglądy polityczne, religię lub przekonania, przynależność do związków zawodowych, stan genetyczny lub zdrowotny lub orientację seksualną.

RODO (podkreślenie moje)

Duża część tego motywu jest uznawana za podstawę dobrego budowania modeli: Zmniejszenie ryzyka błędów jest pierwszą zasadą. Jednak na mocy tego motywu naukowcy zajmujący się danymi są zobowiązani nie tylko do tworzenia dokładnych modeli, ale także modeli, które nie dyskryminują! Jak wspomniano powyżej, może to nie być możliwe we wszystkich przypadkach. Kluczem pozostaje bycie wrażliwym na dyskryminujące skutki, które mogą wyniknąć z omawianego pytania i jego dziedziny, wykorzystując zasoby biznesowe i techniczne do wykrywania i łagodzenia niepożądanych uprzedzeń w modelach sztucznej inteligencji.

2. Prawo do wyjaśnienia

Prawa do „istotnych informacji o logice zaangażowanej” w zautomatyzowane podejmowanie decyzji można znaleźć w artykułach 13-15 RODO. Motyw 71 wyraźnie wzywa do „prawa [. . .] uzyskać wyjaśnienie ” (podkreślenie moje) zautomatyzowanych decyzji. (Jednak toczy się debata co do zakresu wiążącego prawa do wyjaśnienia .)

Jak już wspomnieliśmy, istnieją pewne narzędzia do wyjaśniania zachowania modeli, ale złożone modele (takie jak te, które obejmują widzenie komputerowe lub NLP) nie mogą być łatwo wyjaśnione bez utraty dokładności. Trwa debata na temat tego, jak wyglądałoby wyjaśnienie. Jako minimum najlepszej praktyki, w przypadku modeli, które prawdopodobnie będą używane do 2020 r., należy opracować i przetestować pod kątem produkcji LIME lub inne metody interpretacji.

Etyka i sztuczna inteligencja: godne i konieczne wyzwanie

W tym poście dokonaliśmy przeglądu problemów związanych z niechcianą stronniczością w naszych modelach, omówiliśmy kilka historycznych przykładów, przedstawiliśmy wskazówki dla firm i narzędzia dla technologów oraz omówiliśmy kluczowe regulacje związane z niechcianą stronniczością.

Ponieważ inteligencja modeli uczenia maszynowego przewyższa ludzką inteligencję, przewyższają również ludzkie rozumienie. Ale dopóki modele są projektowane przez ludzi i szkolone na danych zebranych przez ludzi, będą dziedziczyć ludzkie uprzedzenia.

Radzenie sobie z tymi ludzkimi uprzedzeniami wymaga starannego zwracania uwagi na dane, wykorzystywania sztucznej inteligencji do wykrywania i zwalczania niechcianych uprzedzeń w razie potrzeby, budowania wystarczająco zróżnicowanych zespołów i wspólnego poczucia empatii dla użytkowników i celów danej przestrzeni problemowej. Zapewnienie, że sztuczna inteligencja jest uczciwa, jest podstawowym wyzwaniem automatyzacji. Jako ludzie i inżynierowie stojący za tą automatyzacją, naszym etycznym i prawnym obowiązkiem jest zapewnienie, że sztuczna inteligencja działa jako siła na rzecz sprawiedliwości.

Dalsze czytanie na temat etyki AI i stronniczości w uczeniu maszynowym

Książki o sztucznej inteligencji

• Stworzone przez ludzi: stan AI
• Automatyzacja nierówności: jak zaawansowane technologicznie narzędzia profilują, pilnują i karzą biednych
• Cyfrowy ślepy zaułek: walka o sprawiedliwość społeczną w erze informacji

Zasoby dotyczące uczenia maszynowego

• Interpretowalne uczenie maszynowe: przewodnik po wyjaśnianiu modeli czarnoskrzynkowych
• Prezentacja IBM AI Fairness 360

Organizacje stronniczości AI

• Algorytmiczna Liga Sprawiedliwości
• Instytut AINow i ich artykuł Systemy dyskryminujące – płeć, rasa i władza w sztucznej inteligencji

Debiasingowe artykuły konferencyjne i artykuły w czasopismach

• Mężczyzna ma się do programisty, jak kobieta do gospodyni domowej? Debiasing Osadzanie słów
• AI Fairness 360: rozszerzalny zestaw narzędzi do wykrywania, zrozumienia i łagodzenia niepożądanych błędów algorytmicznych
• Błąd maszyny (artykuł w długim czasopiśmie)

Definicje metryk stronniczości AI

Odmienny wpływ

Odmienny wpływ definiuje się jako „stosunek prawdopodobieństwa korzystnych wyników między grupami nieuprzywilejowanymi i uprzywilejowanymi”. Na przykład, jeśli prawdopodobieństwo uzyskania doskonałej zdolności kredytowej przez kobiety jest w 70% równie wysokie jak dla mężczyzn, ma to odmienny wpływ. Rozbieżny wpływ może być obecny zarówno w danych uczących, jak i w przewidywaniach modelu: w takich przypadkach ważne jest, aby przyjrzeć się bliżej podstawowym danym uczącym i zdecydować, czy rozbieżny wpływ jest akceptowalny, czy też powinien zostać złagodzony.

Różnica równych szans

Różnica równych szans jest zdefiniowana (w artykule AI Fairness 360 znalezionym powyżej) jako „różnica w prawdziwie pozytywnych wskaźnikach [przypomnijmy] między grupami nieuprzywilejowanymi i uprzywilejowanymi”. Znanym przykładem omawianym w artykule o wysokiej różnicy równych szans jest przypadek COMPAS. Jak wspomniano powyżej, Afroamerykanie byli błędnie oceniani jako osoby wysokiego ryzyka częściej niż kaukascy przestępcy. Ta rozbieżność stanowi różnicę równych szans.

Specjalne podziękowania dla Jonasa Schuetta za dostarczenie przydatnych wskazówek dotyczących sekcji RODO.