Cztery lata temu Jason Eshraghian z Uniwersytetu Kalifornijskiego w Santa Cruz opracował bibliotekę w języku Python, która łączy neuronaukę ze sztuczną inteligencją w celu tworzenia sieci neuronowych o dużej mocy — metody uczenia maszynowego czerpiącej inspirację ze zdolności mózgu do wydajnego przetwarzania danych.
Obecnie jego biblioteka kodu open source o nazwie „snnTorch” przekroczyła 100 000 pobrań i jest wykorzystywana w wielu różnych projektach, od śledzenia satelitów NASA po firmy produkujące półprzewodniki optymalizujące chipy pod kątem sztucznej inteligencji.
Nowy artykuł opublikowany w czasopiśmie Proceedings of the IEEE dokumentuje bibliotekę kodowania, ale ma także stanowić źródło edukacyjne dla studentów i innych programistów zainteresowanych nauką o sztucznej inteligencji inspirowanej mózgiem.
„To ekscytujące, ponieważ pokazuje, że ludzie interesują się mózgiem i że odkryli, że sieci neuronowe są naprawdę nieefektywne w porównaniu z mózgiem” – powiedział Eshraghian, adiunkt w dziedzinie inżynierii elektrycznej i komputerowej. „Ludzie są zaniepokojeni wpływem na środowisko [kosztownego zapotrzebowania na energię] sieci neuronowych i dużych modeli językowych, dlatego jest to bardzo prawdopodobny kierunek rozwoju”.
Spikink Neural Networks (SNN), „impulsowene” sieci neuronowe emulują (naśladują) mózg i systemy biologiczne, aby efektywniej przetwarzać informacje. Neurony mózgu pozostają w spoczynku, dopóki nie otrzymają informacji do przetworzenia, co powoduje gwałtowny wzrost ich aktywności. Podobnie sieć neuronowa o impulsowym działaniu rozpoczyna przetwarzanie danych dopiero wtedy, gdy do systemu wpłynie sygnał wejściowy, zamiast stale przetwarzać dane, jak w przypadku tradycyjnych sieci neuronowych.
„Chcemy wykorzystać wszystkie zalety mózgu i jego efektywności energetycznej i połączyć je z funkcjonalnością sztucznej inteligencji, wykorzystując w ten sposób to, co najlepsze z obu światów” – powiedział Eshraghian.
Eshraghian zaczął tworzyć kod dla sieci neuronowej w języku Python w ramach swojego pasji podczas pandemii, a także poniekąd jako metodę nauczenia się języka programowania Python. Jako projektant chipów z wykształcenia zainteresował się nauką kodowania, uznając, że chipy komputerowe można zoptymalizować pod kątem wydajności energetycznej poprzez wspólne projektowanie oprogramowania i sprzętu, aby zapewnić, że najlepiej się uzupełniają.
Obecnie snnTorch jest używany przez tysiące programistów na całym świecie w różnych projektach, wspierając wszystko, od projektów śledzenia satelitarnego NASA po głównych projektantów chipów, takich jak Graphcore.
Budując bibliotekę Pythona, Eshraghian stworzył dokumentację kodu i materiały edukacyjne, które przyszły mu naturalnie w procesie uczenia się języka kodowania. Dokumenty, samouczki i interaktywne notesy z kodowaniem, które później stworzył, eksplodowały w społeczności i stały się pierwszym punktem dostępu dla wielu osób dowiadujących się o inżynierii neuromorficznej i sieciach neuronowych typu spike, co według niego jest jednym z głównych powodów, dla których jego biblioteka stał się tak popularny.
Wiedząc, że te materiały edukacyjne mogą być bardzo cenne dla rosnącej społeczności informatyków i nie tylko zainteresowanych tą dziedziną, Eshraghian zaczął kompilować swoją obszerną dokumentację w formie artykułu, który został opublikowany w Proceedings of the IEEE.
Artykuł stanowi uzupełnienie biblioteki kodów snnTorch i ma strukturę samouczka, w dodatku zawierającą opinie, omawiającą niepewność wśród badaczy głębokiego uczenia się inspirowanego mózgiem i oferującą perspektywę tej dziedziny. Eshraghian powiedział, że w artykule celowo otwarcie mówi czytelnikom, że dziedzina informatyki neuromorficznej ewoluuje i jest niestabilna.
„W ramach głębokiego uczenia się robimy wiele rzeczy, ale po prostu nie wiemy, dlaczego to działa. Wiele razy chcemy twierdzić, że zrobiliśmy coś celowo i opublikowaliśmy to, ponieważ przeszliśmy przez serię rygorystycznych eksperymentów, ale tutaj mówimy po prostu: to działa najlepiej i nie mamy pojęcia dlaczego – powiedział Eshraghian.
Artykuł zawiera bloki kodu o formacie nietypowym dla typowych prac naukowych. Tym blokom kodu czasami towarzyszą wyjaśnienia, że niektóre obszary mogą być w dużym stopniu nierozwiązane, ale dają wgląd w to, dlaczego badacze uważają, że określone podejścia mogą być skuteczne. Eshraghian powiedział, że spotkał się z pozytywnym przyjęciem tego podejścia w społeczności, a nawet powiedziano mu, że artykuł ten jest wykorzystywany w materiałach wprowadzających w start-upach zajmujących się sprzętem neuromorficznym.
Artykuł przedstawia perspektywę tego, jak badacze w tej dziedzinie mogą pokonać niektóre ograniczenia głębokiego uczenia się inspirowanego mózgiem, które wynikają z faktu, że ogólnie rzecz biorąc, nasza wiedza na temat funkcjonowania mózgu i przetwarzania informacji jest dość ograniczona.
Aby badacze sztucznej inteligencji mogli w swoich modelach głębokiego uczenia się przejść w kierunku bardziej przypominających mózg mechanizmów uczenia się, muszą zidentyfikować korelacje i rozbieżności między głębokim uczeniem się a biologią, powiedział Eshraghian. Jedna z tych kluczowych różnic polega na tym, że mózgi nie są w stanie przeglądać wszystkich danych, jakie kiedykolwiek wprowadziły w taki sposób, w jaki robią to modele sztucznej inteligencji, i zamiast tego skupiają się na danych w czasie rzeczywistym, które do nich trafiają, co może zapewnić możliwości zwiększenia energii efektywność.
„Mózgi to nie wehikuły czasu, nie mogą cofnąć się – wszystkie wspomnienia są popychane do przodu w miarę doświadczania świata, więc trening i przetwarzanie są ze sobą powiązane” – powiedział Eshraghian. „Jedną z rzeczy, na którą zwracam szczególną uwagę w tym artykule, jest to, jak możemy zastosować naukę w czasie rzeczywistym”.
Eshraghian jest także podekscytowany pracą z organoidami mózgowymi, które są modelami tkanki mózgowej wyhodowanej z komórek macierzystych, aby dowiedzieć się więcej o tym, jak mózg przetwarza informacje. Obecnie współpracuje z badaczami inżynierii biomolekularnej w grupie Braingeneers przy Instytucie Genomiki Uniwersytetu Kalifornijskiego w Uniwersytecie Kalifornijskim, aby zbadać te kwestie za pomocą modeli organoidów. Jest to wyjątkowa szansa dla inżynierów z Uniwersytetu Kalifornijskiego w Santa Cruz na włączenie „wetware” – terminu odnoszącego się do modeli biologicznych dla badań komputerowych – do dominującego w tej dziedzinie paradygmatu wspólnego projektowania oprogramowania i sprzętu. Kod snnTorch mógłby nawet zapewnić platformę do symulacji organoidów, co może być trudne do utrzymania w laboratorium.
„[Braingeneers] budują instrumenty i narzędzia biologiczne, których możemy użyć, aby lepiej zrozumieć, w jaki sposób może zachodzić uczenie się i jak może to się przełożyć na zwiększenie efektywności uczenia głębokiego” – powiedział Eshraghian.
Źródło: materiały Uniwersytetu Kalifornijskiego – Santa Cruz, zdjęcie zajawka: Wolfgang Eckert/Pixabay
Zostaw komentarz
You must be logged in to post a comment.