Jaki ojciec, taki syn
Zbiór technologii statystycznych pod nazwą sztuczna inteligencja zapewne odmieni oblicze świata. Wielu ten fakt napawa optymizmem, inni mają przed oczami apokaliptyczne wizje. Czy możemy zagrożenia AI kontrolować?
Przy użyciu sieci neuronowych rozpoznajemy obrazy, klasyfikujemy teksty, próbujemy przewidywać pogodę, analizować giełdę i formować plazmę. Jak to się dzieje, że metoda wytrych, pozwala nam tak wszechstronnie pogłębiać wiedzę na tak odległe dziedziny? Musimy sobie uzmysłowić, że sztuczna inteligencja w pewnym sensie nie różni się od kalkulatorów. W jakim sensie sztuczna inteligencja jest sztuczna? Aby zastosować sieci neuronowe każdy obraz, każdy obiekt, musimy ujarzmić do postaci sekwencji liczb, które podamy na wejściu algorytmu. Następnie wykonujemy na tych liczbach operacje, np. mnożenie, a na końcu dostajemy podane na tacy liczby. W pewnym sensie liczby nie mają żadnej interpretacji w oderwaniu od kontekstu. Znaczenia liczbom nadaje dopiero funkcja celu i kryterium tego, jak dobrze maszyna wypełnia cel. Dla przykładu każdą obecność kotka na zdjęciach nagradzamy liczbą 1, a każdego pieska liczbą -1. Będziemy liczyli na to, że ucząc się jak kolory pikseli zależą od 1 i -1 maszyna zwróci nam liczbę najbliższą 1, gdy podamy jej następny obraz z kotem.
Co może pójść nie tak podczas wybierania funkcji celu? Po pierwsze może nam zabraknąć wyobraźni. Opiszemy kilka prostych przypadków pożądanego zachowania, lecz nie zdołamy opisać ich wszystkich, nowych sytuacji ze skomplikowanego świata rzeczywistego. Król Midas miał dobry pomysł, ale nie przemyślał wszystkich jego konsekwencji. Przykładem jest karykaturalnego spełniania funkcji celu jest robot sprzątający, który wyrzuca kurz, by potem go zetrzeć, bo to za ścieranie kurzu jest nagradzany.
Inteligentne systemy za każdym razem gdy przychodzą na świat, rodzą się w obwodach przewodników w strumieniu zer i jedynek sygnałów elektrycznych. Dziecko, które przychodzi na świat, też ma tylko kod DNA. Dziecku definiujemy funkcję celu nagradzając za postępowanie zgodnie z zasadami, które cenimy, za szczerość, ciekawość, dobroć, kooperację, przestrzeganie praw człowieka itp. Naukowcy zagadnienie wychowania maszyny, nadanie jej odpowiedniej funkcji celu nazywają problemem dopasowania (ang. alignment problem).
Jak przekazać maszynie ludzkie wartości? Jak czytamy w artykule z 2022 roku autorstwa Long Ouyang i in. (OpenAI), ChatGPT dopracowywany był, wrzucając do procesu treningu ludzi, którzy oceniali alternatywne odpowiedzi chata, a on potem uczył się jak lepiej zadowalać czytelników. Ludzie oceniali alternatywne propozycje maszyny. W ten sposób, uczenie z człowiekiem przekazuje maszynom implicite ludzką funkcję celu.
Czy można maszynę przygotować na czyhające nowości? Dylan Hadfield-Menell, Smitha Milli, Pieter Abbeel, Stuart Russel, Anca D. Dragan (MIT) w artykule z 2017 zaproponowali metodę, która ma na celu dobrze identyfikować sytuacje niepewne względem otrzymanych podczas treningu instrukcji, i pozwala ich unikać. Robot stara się formułować alternatywne funkcje celu, które równie dobrze opisują otrzymane instrukcje. Następnie nowe zdarzenia rozpatruje pod kątem wielu alternatywnych funkcji celu unikając niepewnych wyników.
Jak mierzyć czy maszyna podziela ludzkie wartości? Gati Aher, Rosa Arriaga, Adam Kalai (Olin College, Georgia Tech, Microsoft) w artykule z 2023 postanowili badać wartości zakodowane w dużych modelach językowych. Grail w gry ekonomiczno-psychologiczne z użyciem modeli językowych. Niektóre z modeli odtwarzały zachowanie ludzi w podziale na płcie w grze w ultimatum, a także mniej raziły prądem niż ludzie w eksperymencie Milgrama.
Podsumowując, sztuczna inteligencja jest jak kalkulator, ale przede wszystkim możemy w niej ujrzeć dziecko, które musimy wychować.