Hubert Drążkowski

Konferencje naukowe stanowią ważny element kultury akademickiej. Ułatwiają proces dzielenia się wynikami swoich badań z szerszą grupą badaczy. Nieodzowną częścią organizacji konferencji jest nadesłanie puli artykułów - kandydatów, z których potem powstają dwie grupy, zaakceptowanych do prezentacji i tych odrzuconych. Grupa badaczy w tymże procesie ewaluuje jakość otrzymanych prac, jednak kto ocenia ich pracę? Ile w ich ocenie jest subiektywnej, indywidualnej opinii? Jak dobrze oceniający przewidują dalszy sukces prac mierzony w liczbie cytowań? Corinna Cortes (Google Research) i Neil Lawrance (Univeristy of Cambridge) dostarczają otrzeźwiających wniosków.

Dobry artykuł powinien być klarowny, napisany w logiczny, ustrukturyzowany i transparentny sposób. Powinna go cechować oryginalność przeprowadzonych analiz. Ocenie poddaje się także jakość rozumianą jako poparcie i osadzenie stwierdzeń wnioskami eksperymentalnymi lub teorią. Pod uwagę należy także wziąć istotność wyników w kontekście poszerzania horyzontów nauki. Organizatorzy konferencji poświęconej uczeniu maszynowym NeurIPS, wykonali w 2014 roku eksperyment na 166 artykułach, ocenianych wg tych właśnie kryteriów na skali od 1 do 10. Podzielili oceniających artykuły na dwie rozłączne grupy, które opiniowały czy dana praca powinna zostać zaakceptowana. Wniosek: w przypadku ok. 70% artykułów ocena była zgodna (100 odrzuceń i 22 akceptacje). Komisje miały jednak rozbieżne opinie w sprawie 43 artykułów, to jest obecność połowy artykułów na konferencji zależałaby jedynie od wyboru grupy.

Kolejnym krokiem analizy wyników była budowa modelu oceny eksperta dla wybranych prac. Indywidualna ocena była dekomponowana na część obiektywną, wspólną dla wszystkich oceniających dany artykuł, część subiektywną danego eksperta związaną z interpretacją skali i część odpowiadającą idiosynkratycznej opinii danego eksperta względem danego artykułu. Wniosek płynący z analizy jest zaskakujący, bo aż za 50% konkretnej oceny dla danego badacza odpowiada indywidualna, subiektywna opinia, której nie podzielają inni badacze. Symulacje pokazują, że dla tak skalibrowanego modelu zgodność akceptacji dla komisji trzech oceniających powinna wynosić średnio około 62%, co stanowi większy optymizm względem zaobserwowanego wyniku z pierwszej części badania.

Badacze byli także zainteresowani jak wydawane oceny i opinie na temat artykułów będą prognozowały ich dalsze losy mierzone w postaci liczby cytowań. Kilka w miarę niezależnych wymiarów opinii zostało zestawionych z liczbą cytowań, a jakość mocy przewidywania wyznaczała korelacja (siła zależności od 0 do 1). Dany artykuł może być napisany mniej lub bardziej klarownie i tym samym w różnym stopniu rozumiany przez eksperta. Pewne artykuły dotyczą bardzo specyficznych zagadnień odnoszących się do szczegółowych problemów, inne odpowiadają na ogólne, wszechobecne problemy. Kolejny aspekt stanowi innowacyjność lub heterodoksyjność pracy w sensie wpisywania się w nowe odłamy nauki lub uzupełnianie luk w ramach modeli głównego nurtu i niepewność z tym związana.

Dla zaakceptowanych prac ocena ekspertów okazała się praktycznie w ogóle nie mieć związku z późniejszą liczbą cytowań (wcześniej wspomniana siła zależności wynosiła 0.05). Za to odrzucenie tekstu w znacznie bardziej wiarygodny sposób prognozowało cytowania w przyszłości. Eksperci deklarowali na ile są pewni swojej oceny tekstu i ta miara w dużym stopniu korelowała z przyszłymi cytowaniami (0.25).

Jak podsumować to badanie? Jako naukowcy, jesteśmy dobrzy w izolowaniu gorszych badań, ale nie ma konsensusu w ocenie prac dobrych. Ponadto, dobór prac prezentowanych na konferencjach cechuje w dużym stopniu przypadek, a ocena eksperta jest w znaczącym stopniu subiektywna. Alternatywy? Wiadomo, że nie ma łatwych rozwiązań. Można zwiększyć liczność komisji, by uśredniać subiektywność ekspertów. Można też po prostu akceptować wszystko, ale udostępniać jednocześnie informacje o ocenie eksperckiej. Zapewne wtedy uczestnicy i tak zagłosują nogami. 

GRAPE | Tłoczone z danych dla Dziennika Gazety Prawnej, 8 lipca 2022 r.