Bias algorytmiczny to stronniczość lub systematyczne odchylenie pojawiające się w systemie AI albo w procesie jego wykorzystania. Może wpływać na wyniki, rekomendacje lub decyzje. Jego źródłem nie musi być sam algorytm. Problem może powstać również w danych, przyjętych założeniach, sposobie zaprojektowania systemu albo podczas wykorzystania wyniku przez człowieka.
W rekrutacji ma to szczególne znaczenie. Systemy AI mogą wspierać analizę aplikacji, ocenę kandydatów i porządkowanie wyników. Jeżeli w takim procesie pojawia się powtarzalna stronniczość, problem może dotyczyć kolejnych kandydatów.
Co oznacza bias algorytmiczny?
Angielskie słowo bias bywa tłumaczone jako stronniczość, obciążenie lub uprzedzenie. W odniesieniu do systemów AI ostatnie z tych określeń może być jednak mylące. System nie musi mieć własnych przekonań ani świadomie preferować jednej osoby lub grupy.
Bias może pojawić się bez świadomego uprzedzenia i bez zamiaru dyskryminowania. Problem dotyczy przede wszystkim powtarzalnej tendencji, która wpływa na działanie systemu lub generowane przez niego wyniki. W polskich materiałach można spotkać także określenia stronniczość algorytmiczna i uprzedzenia algorytmiczne. Odnoszą się do zbliżonego zjawiska.
Skąd bierze się bias w systemach AI?
Bias może pojawić się na różnych etapach działania systemu. Nie istnieje jedno źródło, które odpowiada za wszystkie przypadki.
W praktyce warto zwrócić uwagę na trzy obszary:
| Obszar | Na czym może polegać? | Przykład w rekrutacji |
|---|---|---|
| Dane | dane mogą być niepełne, niereprezentatywne albo odzwierciedlać wcześniejsze praktyki | dane historyczne pokazują sposób podejmowania decyzji, który nie powinien być automatycznie powielany |
| Model i przyjęte założenia | sposób wykorzystania danych i określenia celu systemu może wpływać na wyniki | system opiera ocenę na zależności, która nie odpowiada rzeczywistemu celowi rekrutacji |
| Wdrożenie i wykorzystanie wyniku | sposób zastosowania rekomendacji może zmienić jej znaczenie w procesie | wynik pomocniczy zaczyna być traktowany jak automatyczna decyzja |
Dane historyczne mogą utrwalać wcześniejsze wzorce
Dane opisują to, co wydarzyło się wcześniej. Nie oznacza to jednak, że każda zależność występująca w przeszłości powinna zostać odtworzona w przyszłości. Jeżeli wcześniejsze decyzje były podejmowane według określonego wzorca, może on pozostać widoczny w danych. System wykorzystujący takie informacje może następnie ten wzorzec powtarzać, nawet jeśli nikt świadomie nie zaprojektował go w taki sposób.
Czy każda różnica w wynikach oznacza bias?
Sama różnica między wynikami osób lub grup nie pozwala jeszcze określić jej przyczyny. Kandydaci mogą różnić się doświadczeniem, kwalifikacjami lub informacjami dostępnymi na ich temat. Różne wyniki mogą więc wynikać z czynników istotnych dla analizowanego zadania.
Mogą jednak również wskazywać na problem związany z danymi, sposobem pomiaru, działaniem modelu lub jego zastosowaniem. Dlatego ważne jest ustalenie nie tylko, czy wyniki się różnią, lecz także skąd bierze się ta różnica i czy tworzy powtarzalny wzorzec. Pojedynczy błędny wynik również nie wystarcza do stwierdzenia systematycznego biasu. Może być jednak sygnałem, który warto sprawdzić w szerszym kontekście.
Bias algorytmiczny, błąd modelu, automation bias i dyskryminacja – czym się różnią?
Pojęcia te są ze sobą powiązane, ale opisują inne zjawiska.
| Pojęcie | Co opisuje? |
|---|---|
| Bias algorytmiczny | stronniczość lub powtarzalne odchylenie związane z systemem albo procesem jego wykorzystania |
| Błąd modelu | nieprawidłowy wynik, który sam w sobie nie musi tworzyć szerszego wzorca |
| Automation bias | skłonność człowieka do automatycznego lub nadmiernego polegania na wyniku systemu |
| Bias poznawczy rekrutera | błąd poznawczy człowieka, który może wpływać na sposób oceny kandydata |
| Dyskryminacja | nierówne traktowanie, którego kwalifikacja zależy od konkretnej sytuacji i obowiązujących przepisów |
Bias algorytmiczny nie jest więc tym samym co nieświadome uprzedzenie rekrutera. Oba zjawiska mogą wpływać na ocenę kandydatów, ale powstają w inny sposób.
Szczególnie ważne jest również rozróżnienie biasu algorytmicznego od automation bias. W pierwszym przypadku problem dotyczy systemu lub procesu prowadzącego do wyniku. Automation bias dotyczy zachowania człowieka, który zbyt łatwo przyjmuje wynik systemu jako prawidłowy. AI Act zwraca uwagę na ryzyko automatycznego lub nadmiernego polegania na wynikach systemów AI wysokiego ryzyka. Osoba sprawująca nadzór powinna mieć możliwość właściwego zinterpretowania wyniku i jego zakwestionowania.
Czy bias algorytmiczny oznacza dyskryminację?
Nie są to pojęcia tożsame. Bias opisuje zjawisko związane z działaniem systemu lub procesu. Dyskryminacja jest pojęciem prawnym, a jej stwierdzenie wymaga oceny konkretnej sytuacji. Bias może zwiększać ryzyko nieuzasadnionych różnic w traktowaniu osób. Samo wykrycie określonego wzorca nie przesądza jednak o prawnej kwalifikacji przypadku.
Dlaczego usunięcie płci lub wieku z danych nie wystarcza?
Usunięcie określonego pola z danych nie oznacza, że znikają wszystkie zależności związane z daną cechą. Inne informacje mogą pozostawać z nią statystycznie powiązane i działać jako zmienne pośrednie, określane również jako zmienne proxy.
Przykładowo system może nie otrzymywać bezpośredniej informacji o wieku kandydata, a jednocześnie analizować inne dane, które są z nim powiązane. Samo występowanie takiej zależności nie oznacza jeszcze dyskryminacji. Pokazuje jednak, dlaczego ocena ryzyka biasu nie powinna ograniczać się do sprawdzenia, czy z danych usunięto kilka konkretnych pól. Znaczenie ma również to, jak poszczególne informacje wpływają na wynik i do czego ten wynik jest później wykorzystywany.
Dlaczego bias ma szczególne znaczenie w rekrutacji?
System stosowany w rekrutacji może analizować wiele aplikacji według tego samego mechanizmu. Jeżeli pojawia się w nim powtarzalny problem, jego skutki mogą obejmować kolejnych kandydatów. Dlatego w przypadku AI znaczenie ma nie tylko rodzaj problemu, ale również jego skala.
Nie oznacza to, że wykorzystanie AI samo w sobie prowadzi do bardziej stronniczej rekrutacji. System może również pomagać w konsekwentnym przetwarzaniu dużej liczby informacji. Kluczowe jest to, jaki proces wspiera, na jakich danych się opiera i jak wykorzystywane są jego wyniki.
Bias w rekrutacji a AI Act
Do systemów wysokiego ryzyka zaliczono określone zastosowania AI przeznaczone do rekrutacji lub selekcji osób. Dotyczy to między innymi systemów wykorzystywanych do analizowania i filtrowania aplikacji oraz oceny kandydatów. Nie każde narzędzie wykorzystujące AI w HR automatycznie należy jednak do tej kategorii. Znaczenie ma jego przeznaczenie i sposób wykorzystania.
Jak AI Power Recruiter wspiera kontrolę wyniku?
W procesie wykorzystującym AI ważna jest możliwość sprawdzenia, na jakiej podstawie powstał wynik. W AI Power Recruiter rekruter otrzymuje uzasadnienie oceny kandydata i może sprawdzić, jakie informacje wpłynęły na wynik. Przed rozpoczęciem oceny przygotowane wymagania można również przesłać w systemie do weryfikacji pod kątem potencjalnie problematycznych elementów związanych z AI Act. Takie mechanizmy zwiększają możliwość kontroli procesu przez rekrutera. Nie są jednak audytem biasu ani gwarancją jego braku.
Jak można ograniczać ryzyko biasu?
Nie istnieje jeden test, który pozwala w każdym przypadku potwierdzić, że system jest wolny od biasu.
Znaczenie ma kilka obszarów:
- pochodzenie i jakość danych wykorzystywanych przez system,
- dopasowanie danych do rzeczywistego zastosowania,
- założenia przyjęte przy projektowaniu i wdrażaniu rozwiązania,
- powtarzalne różnice pojawiające się w wynikach,
- sposób interpretowania i wykorzystywania wyników przez ludzi,
- ponowna ocena działania systemu, gdy zmieniają się dane, proces lub warunki jego stosowania.
Nie istnieje jedna uniwersalna metoda oceny odpowiednia dla każdego systemu AI. Sposób kontroli powinien uwzględniać cel rozwiązania, charakter danych oraz możliwe skutki jego wykorzystania.
Wyjaśnienie wyniku pomaga, ale nie eliminuje biasu
Możliwość sprawdzenia, dlaczego system wygenerował określony wynik, pomaga zauważyć problematyczne zależności i poddać rekomendację krytycznej ocenie. Na tym polega znaczenie Explainable AI w kontekście biasu.
Wyjaśnialność nie jest jednak dowodem na brak stronniczości. System może jasno przedstawiać podstawę wyniku, a jednocześnie opierać się na danych lub zależnościach prowadzących do powtarzalnych odchyleń. Explainable AI pomaga więc zrozumieć i kontrolować wynik, ale nie zastępuje oceny ryzyka biasu. Bias algorytmiczny nie sprowadza się do pytania, czy algorytm czasem się myli. Ważniejsze jest ustalenie, czy pojawia się powtarzalny wzorzec, skąd się bierze i w jaki sposób wpływa na cały proces.