Dlaczego fizyk dostał Nobla za sieci neuronowe?

Kogo i dlaczego mógł zaskoczyć werdykt Komitetu Noblowskiego

Wiele osób mogło z zaskoczeniem przyjąć dzisiejszy werdykt Komietu Noblowskiego, przyznający nagrodę z fizyki Johnowi Hopfieldowi oraz Geoffrey’owi Hintonowi za „fundamentalne odkrycia i wynalazki, które umożliwiają uczenie maszynowe za pomocą sztucznych sieci neuronowych” – komentują fizycy z Wydziału Fizyki Politechniki Warszawskiej dr hab. inż. Julian Sienkiewicz, dr inż. Tomasz Gradowski.

Jak wskazują w swoim artykule polscy naukowcy, „o ile wybór Hintona — który uzyskał doktorat z informatyki i dzięki pracom na temat propagacji wstecznej w wielowarstwowych sieciach neuronowych jest powszechnie uważany za ojca chrzestnego AI — nie dziwi, o tyle nagroda dla Hopfielda, który jest fizykiem, może już wzbudzać zdumienie”.

Zauważają przy tym, że to jednak to właśnie John Hopfield, publikując w 1982 w prestiżowym czasopiśmie PNAS pracę „Neural networks and physical systems with emergent collective computational abilities”, pokazał, że opis jednowarstwowej sieci neuronowej jest identyczny z tym, który zaproponowano dla tzw. szkła spinowego.

Szkło spinowe, opisane w 1975 roku przez Davida Sherringotna oraz Scotta Kirkpatricka, a następnie badane m.in. przez Giorgio Parisi’ego (Noblistę z fizyki z 2021 r.), to układ, charakteryzujący się brakiem wypadkowego momentu magnetycznego, ale wykazujący lokalne uporządkowanie spinów. Jego korzenie sięgają słynnego modelu Isinga, a opis teoretyczny to klasyczny przykład zastosowania fizyki statystycznej – skomentowali.

Napisali też, że Hopfield pokazał, iż zaproponowana przez niego sieć neuronowa, symulująca pamięć asocjacyjną, mimo swojej prostej struktury, jest w stanie zapamiętywać i przechowywać wzorce, wykorzystując kolektywne oddziaływanie pomiędzy neuronami. Praca ta to jeden z kamieni milowych rozwoju koncepcji rekurencyjnych sieci neuronowych, których zastosowanie znajdziemy m.in. w rozpoznawaniu pisma czy mowy, a także w przetwarzaniu języka naturalnego.

Historia zatacza koło: dziś sieci neuronowe są jednym z wielu narzędzi uczenia maszynowego standardowo wykorzystywanych w fizyce,w tym również na Wydziale Fizyki PW – począwszy od identyfikacji cząstek elementarnych, poprzez projektowanie dyfrakcyjnych elementów optycznych, badanie przestrzeni międzyziarnowej w elektrolitach stałych, a na przewidywaniu możliwych połączeń w sieciach społecznościowych skończywszy – podsumowali.

Dodali także, że mimo ponad 40 lat, które minęły od momentu opublikowania pracy Hopfielda, sprzężenie zwrotne pomiędzy fizyką a informatyką trwa dalej. „Okazuje się, że bezpośrednie zastosowanie sieci neuronowych do opisu problemów fizycznych może przynosić błędne wyniki w przypadku niewystarczających danych treningowych. Jednak ostatnie lata pokazują, że dzięki koncepcji PINN (Physics-Informed Neural Networks), opierającej się na uwzględnieniu podstawowych zasad fizycznych w funkcji kosztu sieci neuronowych, możliwe jest obecnie wykorzystanie tych algorytmów do otrzymania poprawnych rozwiązań problemów fizycznych – wskazali.

Źródło: Wydział Fizyki Politechniki Warszawskiej (autorzy: dr hab. inż. Julian Sienkiewicz, dr inż. Tomasz Gradowski z Politechniki Warszawskaiej), zdjęcie zajawka: Freepik