Krótka pamięć algorytmu

Inżynierowie z Uniwersytetu Stanowego Ohio przeanalizowali, w jakim stopniu proces zwany „ciągłym uczeniem się” wpływa na ogólną wydajność sieci neuronowych.

Ciągłe uczenie się polega na tym, że komputer jest szkolony w zakresie sekwencji zadań z wykorzystaniem wiedzy, nabytej w poprzednich zadaniach do lepszego uczenia się nowych zadań.

Jednak jedną z głównych przeszkód, które naukowcy wciąż muszą pokonać, aby osiągnąć takie postępy, jest nauczenie się, jak obejść ekwiwalent uczenia maszynowego utraty pamięci – proces, który u agentów AI jest znany jako „katastroficzne zapominanie”. 

– Ponieważ sztuczne sieci neuronowe są szkolone w wykonywaniu jednego nowego zadania po drugim, mają tendencję do utraty informacji uzyskanych z poprzednich zadań, co może stać się problematyczne, ponieważ społeczeństwo coraz bardziej polega na systemach sztucznej inteligencji – powiedział Ness Shroff, wybitny uczony z i profesor informatyki i inżynierii na Uniwersytecie Stanowym Ohio.

– Ponieważ aplikacje uczą się nowych rzeczy, ważne jest, aby nie zapomniały lekcji, których już się nauczyły dla naszego i ich bezpieczeństwa – powiedział Shroff. – Nasze badania zagłębiają się w złożoność ciągłego uczenia się sztucznych sieci neuronowych, a to, co znaleźliśmy, to wgląd, który zaczyna wypełniać lukę między tym, jak uczy się maszyna, a tym, jak uczy się człowiek.

Shroff powiedział, że w ten sam sposób, w jaki ludzie mogą mieć trudności z przypomnieniem kontrastujących faktów dotyczących podobnych scenariuszy, ale z łatwością zapamiętują z natury różne sytuacje, sztuczne sieci neuronowe mogą lepiej przypominać sobie informacje, gdy mają do czynienia z różnymi zadaniami po kolei, zamiast tych, które mają podobne cechy.

Zespół, w skład którego wchodzą badacze z tytułem doktora Sen Lin i Peizhong Ju z Ohio oraz profesorowie Yingbin Liang i Shroff, zaprezentuje swoje badania na 40. dorocznej międzynarodowej konferencji.

Chociaż nauczenie autonomicznych systemów wykazania tego rodzaju dynamicznego uczenia się przez całe życie może być trudne, posiadanie takich możliwości pozwoliłoby naukowcom na szybsze skalowanie algorytmów uczenia maszynowego, a także łatwe dostosowywanie ich do zmieniających się środowisk i nieoczekiwanych sytuacji. Zasadniczo celem tych systemów byłoby pewnego dnia naśladowanie zdolności uczenia się ludzi.

Tradycyjne algorytmy uczenia maszynowego są trenowane na wszystkich danych jednocześnie, ale odkrycia tego zespołu pokazały, że czynniki takie jak podobieństwo zadań, ujemne i dodatnie korelacje, a nawet kolejność, w jakiej algorytm jest nauczany, mają znaczenie dla czasu, przez jaki sztuczna sieć zachowuje pewną wiedzę.

Na przykład, aby zoptymalizować pamięć algorytmu, odmiennych zadań należy uczyć na wczesnym etapie procesu ciągłego uczenia się. Ta metoda zwiększa pojemność sieci w zakresie nowych informacji i poprawia jej zdolność do późniejszego uczenia się podobnych zadań w przyszłości.

-Zrozumienie podobieństw między maszynami a ludzkim mózgiem może utorować drogę do głębszego zrozumienia sztucznej inteligencji – powiedział Shroff.

Tekst: materiały prasowe Ohio State University, zdjęcie zajawka: Gerd Altmana/Pixabay