Co skrywa ocena?
Niemal każdego dnia, prawie na każdym kroku spotykamy się z różnego rodzaju ocenami. Jak wybieramy restaurację? Zaglądamy do naszej ulubionej przeglądarki i widzimy ocenę. Gdy chcemy wybrać film na wieczór, najpierw sprawdzamy, jak został oceniony przez cenionych krytyków. A co gdy chcemy zatrudnić pracownika? Cóż, na niektórych platformach internetowych również możemy znaleźć oceny.
Wyobraźmy sobie teraz, że rzeczywiście szukamy złotej rączki do sprawdzenia grzejników przed pierwszymi atakami zimy. Kogo wybierzemy? Prawdopodobnie intuicyjnie osobą na czele listy. A co gdyby było dwóch pracowników z tą samą oceną? Kogo byś wybrał? A jeśli te dwie osoby różniłyby się płcią? Czy równe oceny oznaczają tę samą jakość usług?
Jak zwykle odpowiedź brzmi... to zależy. Jeśli pracownicy nie mają wcześniejszych ocen, można zastosować heurystyki – np. wybieramy mężczyznę bo mężczyźni lepiej radzą sobie z pracami fizycznymi. Jeśli nie ma żadnej dostępnej heurystyki, powinno nam być wszystko jedno.
Z drugiej strony, ktoś dokonywał oceny ich umiejętności. Pojawiają się dwie możliwości. Pierwsza, że oceny pochodzą od bezstronnych użytkowników i wówczas należałoby się spodziewać, że pracownicy ocenieni tak samo mają porównywalne umiejętności. No i druga, że użytkownicy byli stronniczy, nieobiektywni, co otwiera nam kolejne dwie opcje. Po pierwsze, oceny zawierają informacje na temat umiejętności pracowników. Po drugie, zawierają one informację o stopniu preferencji dla pracowników z danej grupy. Jeśli pracownik należy do grupy nielubianej przez potencjalnych pracodawców, wówczas ocena zaniża jakość pracy. Innymi słowami, jeśli oceny są równe i uważa się, że oceniający byli stronniczy, to należy zatrudnić pracownika z grupy dyskryminowanej.
Chociaż przypuszczenie to wydaje się racjonalne, można postawić pytanie, czy ludzie rzeczywiście tak się zachowują. Czy istnieją konkretne sytuacje, w których obserwujemy odwrócenie tej formy dyskryminacji? Czyli gdy przy niższych ocenach członkowie danej grupy są dyskryminowani, podczas gdy przy wyższych ocenach członki tej samej grupy są preferowani.
Okazuję się, że tak. Pokazują to prace J. Aislinna Bohrena (Pensylwania), Alexa Imasa (Carnegie Mellon) i Michaela Rosenberga (CarGurus). Przyjrzeli się oni forum internetowemu, na którym ludzie zamieszczają pytania i odpowiedzi. Forum koncentruje się na problematyce z dziedzin STEM (nauka, technologia, inżynieria oraz matematyka), w których stereotypowo faworyzowani są mężczyźni. Oprócz zadawania pytań użytkownicy forum mogą oceniać zarówno pytania, jak i odpowiedzi. Te oceny z kolei wpływają na reputację osób, które zamieściły pytania i odpowiedzi. Wyższa reputacja przekłada się na większe możliwości na platformie np. moderowanie dyskusji. Co ważne, oceny odzwierciedlają elementy obiektywne (np. czy odpowiedź była prawidłowa), jak i subiektywne (w jaki sposób formułowane są pytania, czy są one istotne dla społeczności itp.).
Aislinn, Alex i Michael przeanalizowali, jak oceny różnią się w zależności od płci i od doświadczenia użytkownika zadającego pytanie. W obliczu obaw dotyczących niedającej się zaobserwować jakości treści publikowanych przez użytkowników, utworzyli prawie trzysta fikcyjnych kont, którym losowo przypisali płeć. Co więcej, aby zasymulować prawdziwe doświadczenie użytkowników, opracowali własne pytania i odpowiedzi, zatrudniając zespół asystentów badawczych do współpracy przy rozwiązywaniu problemów zgłaszanych na forum.
Ich praca się opłaciła. Odkryli, że w przypadku nowych użytkowników, każda interakcja – pytanie lub odpowiedź – skutkowała większym wzrostem oceny mężczyzn niż kobiet. Jednak wśród doświadczonych użytkowników efekt był odwrotny. Każda interakcja wyżej oceniała kobietę niż mężczyznę. Różnica była bardziej zauważalna w przypadku pytań niż odpowiedzi, ponieważ ocena pytań opiera się na bardziej subiektywnych miarach.
Badanie, poza tym, że stanowi wskazówkę przy wyborze hydraulika, sugeruje także, że zwalczanie stereotypowych przekonań zwiększa wydajność i równość. Platformy internetowe mogłyby pokazywać poziom satysfakcji z usługi na podstawie cech pracowników, zwłaszcza gdy dostępne są ich obiektywne miary.
Ale to nie wszystko. Badanie rzuca także światło na ryzyko związane z tzw. pozytywną dyskryminacją taką jak kwoty uniwersyteckie. Okazuje się, że czasami wysiłki mające na celu wyrównywanie szans, mogą prowadzić do paradoksalnych skutków. Przykładowo, przywileje przyznawane pewnym grupom studentów mogą tworzyć fałszywe przekonanie o jakości ich pracy, co wzmaga tylko dyskryminację, której miały zapobiegać. Rozwiązaniem nie jest rezygnacja z polityk antydyskryminacyjnych na uczelniach, lecz rozpoczęcie kampanii informacyjnych, które skupią się na zwalczaniu uprzedzeń.