Badanie Stanforda: algorytmy rekrutacyjne AI systemowo odrzucają czarnych i azjatyckich kandydatów

Naukowcy ze Stanforda, Uniwersytetu Chapmana i Uniwersytetu Northeastern przeanalizowali 4 miliony aplikacji o pracę złożonych przez 3,4 miliona osób i wykazali, że powszechnie używane narzędzie AI do oceny kandydatów systemowo kierowało czarnych i azjatyckich aplikujących na stanowiska, w których byli odrzucani częściej niż inni. Badanie, opublikowane pod tytułem "Algorithmic Monocultures in Hiring" i zaprezentowane na konferencji ACM FAccT w Montrealu, to jak dotąd największa tego typu analiza rzeczywistych danych rekrutacyjnych.

Jak działał algorytm

Narzędzie pymetrics nie analizowało CV w tradycyjny sposób. Kandydaci przechodzili serię krótkich gier online, które mierzyły między innymi tolerancję ryzyka, szybkość przetwarzania informacji czy skłonność do altruizmu. Na tej podstawie algorytm generował profil, który pracodawca zestawiał z profilem uznanym za pożądany dla danego stanowiska. Wyniki takich testów przechowywano nawet przez 330 dni, co oznacza, że jedna niekorzystna ocena mogła rzutować na kolejne aplikacje tego samego kandydata przez blisko rok.

Zespół badawczy, w którego skład weszli Rishi Bommasani, Sarah H. Bana, Kathleen A. Creel, Dan Jurafsky i Percy Liang, sprawdzał, czy dana grupa kandydatów była rekomendowana na dane stanowisko rzadziej niż 80 procent tempa grupy najczęściej rekomendowanej. To standardowa "zasada czterech piątych" stosowana w amerykańskim prawie antydyskryminacyjnym przy ocenie, czy dana praktyka zatrudnieniowa ma nieproporcjonalny wpływ na określoną grupę.

Efekt czarnej listy

Najbardziej niepokojącym elementem badania jest zjawisko, które autorzy nazwali "algorithmic blackball", czyli systemowym wykluczeniem. Ponieważ wielu pracodawców korzysta z tego samego dostawcy technologii, kandydat oceniony nisko przez jeden algorytm miał zwiększone szanse na odrzucenie także u innych firm korzystających z tego samego narzędzia. Według badania około 4 procent kandydatów aplikujących na dziesięć stanowisk zostało odrzuconych przez wszystkie z nich, a żeby zejść z prawdopodobieństwem takiego systemowego odrzucenia poniżej 0,1 procent, trzeba by złożyć aż 25 różnych aplikacji.

Algorithmic monoculture, to me, is any circumstance in which similar outcomes occur because of algorithms - Sarah Bana, współautorka badania, Uniwersytet Chapmana

Zjawisko to różni się od klasycznej dyskryminacji pojedynczego rekrutera. Gdy dziesiątki albo setki firm polegają na identycznym lub bardzo podobnym algorytmie tego samego dostawcy, błąd lub uprzedzenie zaszyte w jednym systemie rozlewa się na cały sektor rynku pracy naraz. Badaczka Kathleen Creel określiła to zjawisko jako sytuację, w której "ten sam algorytm dominuje w danym sektorze", co sprawia, że pojedyncza wada projektowa narzędzia przestaje być incydentem, a staje się strukturalną barierą dla całych grup kandydatów.

Co mówią autorzy badania

Rishi Bommasani, jeden z badaczy z Uniwersytetu Stanforda, zastrzegł, że wnioski z badania nie powinny prowadzić do całkowitego odrzucenia sztucznej inteligencji w rekrutacji, lecz do większej ostrożności przy jej wdrażaniu.

I don't think we want to discourage the application of AI in this domain, but recognize the stakes are high and be judicious in the approach - Rishi Bommasani, Stanford University

Autorzy podkreślają, że problem nie leży wyłącznie w samym algorytmie, lecz w sposobie, w jaki firmy go wdrażają i audytują. Analizy skuteczności narzędzi rekrutacyjnych prowadzone są zazwyczaj na poziomie zagregowanym, dla całej firmy czy branży, co maskuje dysproporcje widoczne dopiero przy analizie pojedynczych stanowisk. Stanowisko może wyglądać neutralnie w statystykach ogólnych, a jednocześnie systemowo odrzucać konkretną grupę kandydatów.

Co to oznacza dla pracodawców

Prawnicy zajmujący się prawem pracy w USA, komentujący wyniki badania, zwracają uwagę, że odpowiedzialność za dyskryminujące decyzje algorytmu spoczywa na pracodawcy, nawet jeśli narzędzie dostarczył zewnętrzny podmiot. Wśród rekomendacji dla firm pojawiają się analizy wpływu prowadzone na poziomie poszczególnych stanowisk, wymóg przejrzystości i danych walidacyjnych od dostawców technologii, wprowadzenie ludzkiego nadzoru nad odrzuconymi kandydaturami oraz prowadzenie dokumentacji wyboru i monitorowania narzędzi AI.

Dla polskich firm, które coraz częściej korzystają z automatycznej selekcji CV i testów kompetencyjnych online, badanie jest sygnałem ostrzegawczym mimo że dotyczy amerykańskiego rynku pracy i lokalnych przepisów antydyskryminacyjnych. Coraz częściej pojawiają się w Polsce narzędzia rekrutacyjne oparte na podobnych mechanizmach oceny kandydatów, a unijny AI Act zalicza systemy wykorzystywane do rekrutacji do kategorii wysokiego ryzyka, co oznacza dodatkowe obowiązki w zakresie audytu i dokumentacji.

Badanie zostało oparte na danych pymetrics z lat 2018-2022, zanim firmę przejął Harver, więc nie odzwierciedla bezpośrednio obecnej wersji narzędzia. Autorzy zastrzegają jednak, że mechanizm homogenizacji ocen, czyli sytuacja, w której wielu pracodawców opiera się na tym samym dostawcy technologii, pozostaje aktualnym ryzykiem niezależnie od konkretnego produktu czy firmy.