Jak często klikasz “Zgadzam się” podczas przeglądania internetu? Z każdego rogu informuje się nas o tzw. ciasteczkach (ang. Cookies), które służą do wymiany informacji pomiędzy witryną i odwiedzającym, a precyzując część ich zadań – do profilowania użytkowników. Unijne rozporządzenie o ochronie danych osobowych z 27 kwietnia 2016r. miało być odpowiedzią na zastraszające tempo eksploatacji sposobów kategoryzowania ludzi na podstawie śladów, które zostawiają po sobie w sieci. Matematyka staje się bowiem coraz częściej narzędziem dyskretnej manipulacji na masową skalę. Banałem jest już stwierdzenie, że w XXIw. jesteśmy stale namierzani i oceniani, a proponowane reklamy są dosłownie szyte na naszą miarę. Sprawdziłeś cenę pierścionka zaręczynowego? Prawie pewne, że należysz do kohorty 19-29 lat, szukasz w okolicy miejsca na przyjęcie, a miłym dla ucha będzie „Thinking out Loud” Eda Sheerana.

Z perspektywy optymalizacji strategii marketingowej jest to zyskowne i niegroźne. Niestety dane zebrane o nas wykorzystywane są również do innych celów. Według Open Technology Institute stanowią one wygodną furtkę dla dyskryminacji, nawet jeśli bliskie jest to praktykom zakazanym przez prawo. Przykładowo, nasza sieć powiązań na portalach LinkedIn czy Facebook mogą być podstawą określenia czy stanowimy dobry komponent do tzw. kultury korporacyjnej (ergo:  czy nasze przekonania lub kręgi towarzyskie odpowiadają polityce firmy), przez co możemy zostać wyeliminowani z procesu podjęcia pracy już na samym początku. Podobnie automatyczne systemy decyzyjne zaczynają ingerować w możliwość uzyskania kredytu, ocenę efektywności zawodowej, czy plany dystrybucji środków publicznych. Algorytmy matematyczne z założenia powinny być bezstronne w wydawaniu werdyktów, sprawiedliwe w dysponowaniu dóbr wedle potrzeb i możliwości. Jednak tworzone są nadal przez ludzi, a ich własne uprzedzenia czy przekonania mogą być bezwiednie odzwierciedlane w przygotowanych rozwiązaniach wpływających na nasze życie.

W głośnej książce Cathy O’Neil „Broń Matematycznej Zagłady” autorka podaje przykłady instytucji w USA (szkolnictwo, więziennictwo), które, wykorzystując modele ewaluacyjne, doprowadzają częściowo do dyskryminacji algorytmicznej. Mowa tu o niesprawiedliwej ocenie osoby, powodowanej wyłącznie niedoskonałością narzędzia użytego w obiektywnie dobrym celu. Najczęściej dzieje się to w przypadku, gdy nie istnieją mierzalne dane wymagane do poprawnego działania modelu, więc twórcy wykorzystują wybrane przez siebie substytuty. Mieszkasz w szemranej okolicy? Istnieje większa szansa, że sam jesteś na bakier z prawem. Zalegasz z płatnością kredytu? Prawdopodobnie jesteś nierzetelny i lekkomyślny. Jednym z przykładów wymienionych przez O’Neil jest amerykański system IMPACT. Podstawą oceny nauczyciela są wyniki jego uczniów w testach końcowych. Zgodnie z intuicją, po zakończonym roku wymiana belfrów których podopieczni pozostają w ogonie punktacji ma sens. Ale przecież testy to nie wszystko! Jak matematycznie ująć empatię, rozbudzanie pasji, wyrozumiałość na indywidualne problemy? Co w przypadku, gdy świadomi mechanizmu nauczyciele zaczynają poprawiać oceny „na własną rękę”? Czy to chęć zdobycia premii za skuteczność, czy obawa przed zwolnieniem – Ci, którzy wbrew prawu dyskretnie poprawią wyniki, będą w lepszej sytuacji niż przyzwoite jednostki. Tu jeszcze zasady ewaluacji są przejrzyste i zrozumiałe – jednak już większość systemów badających zdolność kredytową, czy odsiewającą kandydatów do pracy jest tajemnicą korporacyjną. Nawet jeśli ktoś pokrzywdzony mógłby poznać szczegóły, zetknie się z murem zawiłości i skomplikowania samego modelu, zwykle zrozumiałego tylko dla jego twórców i specjalistów branży.

Niekorygowana dyskryminacja algorytmiczna działa również jako własne koło napędowe. Dobrze ukazuje to przykład funkcjonującego w Polsce prestiżowego rankingu „Perspektyw”, gdzie szkoły i uczelnie rywalizują w wielu aspektach związanych z efektywnością szkolnictwa, jak wyniki egzaminów maturalnych, czy liczba absolwentów na rynku pracy. Każdy rodzic, który nie licząc kosztów dba o edukację swojego dziecka (poprzez indywidualne korepetycje, zajęcia pozaszkolne) prędzej wyśle je do placówek usytuowanych wysoko na liście rankingowej. Podobnie zdolni dydaktycy szukający pracy rozpoczną starania od aplikowania w miejsca, które pozwolą im się bardziej realizować. Tym sposobem szkoły „gorsze” naturalnie spychane są na dalsze pozycje, a „lepsze” rozwijają skrzydła. Przywołany uprzednio przykład figurowania na liście dłużników również ma swoją dalszą konsekwencję – jeśli pracodawcy bez dokładnego poznania sytuacji odbierają takim osobom możliwość podjęcia zawodu, ich sytuacja materialna dalej się pogarsza, w rezultacie skutkując pętlą zadłużenia i bezrobocia.

Obecnie wpływ Big Data na nasze życie staje się coraz bardziej odczuwalny, a do głosu coraz częściej dochodzą obiekcje związane z szerokim i niekontrolowanym wykorzystaniem modeli matematycznych. Profesorowie prawa R. Brauneis z George Washington University oraz E.P.Goodman z Rutgers Law School postulują uchwalenie prawa dotyczącego przejrzystości algorytmów wykorzystywanych w instytucjach publicznych. Jednocześnie wyznaczają szereg kryteriów które muszą zostać spełnione, by uznać konkretne rozwiązania za rzetelne i niedyskryminujące. Równolegle B.W. Goodman z Oxford Internet Institute proponuje doprecyzowanie artykułów unijnej ustawy GDPR (RODO) i przedstawia koncepcję instytucji „audytu algorytmów”, która zajęłaby się kontrolą czarnych skrzynek, jakimi obecnie są modele wykorzystywane przez korporacje. Mimo ich wszelkich zalet, brak nadzoru nad modelami predykcyjnymi może okazać się niebezpieczne dla społeczeństwa. Niezależnie, czy świadomi narastającego problemu czy też nie – dla matematyki jesteśmy jedynie zbiorem zer i jedynek.