Trwałość pamięci, czyli sen na jawie

Przeciętny człowiek miewa do sześciu snów w ciągu nocy, ale zapomina je w kilka minut po przebudzeniu. Naukowcy wytrenowali algorytmy, by odtwarzały je jako film. 

Naukowcy z National University of Singapore i Chinese University of Hong Kong opracowali proces zdolny do generowania wideo ze skanów mózgu.

Korzystając z procesu zwanego funkcjonalnym rezonansem magnetycznym (fMRI) badacze Jiaxin Qing, Zijiao Chen i Juan Helen Zhou połączyli dane uzyskane za pomocą obrazowania z modelem głębokiego uczenia się o nazwie „Stable Diffusion”, aby stworzyć płynne filmy o wysokiej jakości. Obrazują to, co nam się śni.

W ostatnich miesiącach odnotowano udane odtworzenia nieruchomych obrazów zebranych z aktywności mózgu za pomocą wspieranej przez sztuczną inteligencję „Stable Diffusion”. Ta ostatnia jest dosyć powszechnie stosowana do generowania obrazów. Jak donosi Qing i jego zespół, pobieranie ciągłych obrazów wizualnych stanowi szczególne wyzwanie.

Proces fMRI generalnie wykorzystuje sygnały zależne od poziomu natlenienia krwi i rejestruje obrazy aktywności mózgu co kilka sekund. Spowodowałoby to uzyskanie obrazu wideo o niskiej jakości. Standardowa szybkość przechwytywania wideo to 30 klatek na sekundę.

– Zrozumienie informacji ukrytych w naszych złożonych czynnościach mózgowych jest wielką zagadką w neuronauce kognitywnej – powiedział Qing. – Zadanie odtworzenia snu z obrazów mózgu, zwłaszcza przy użyciu nieinwazyjnych narzędzi, takich jak fMRI, jest ekscytującym, ale trudnym zadaniem.

Jego zespół osiągnął wysokiej jakości wideo dzięki modelowi o nazwie Mind-Video. Dekoder fMRI, opisywany jako „dwumodułowy potok zaprojektowany w celu wypełnienia luki między dekodowaniem obrazu i wideo z mózgu”, stopniowo uczy się na podstawie nabytych sygnałów mózgowych, szkolenia z bazami danych obrazów i dostrajania. W efekcie powstają wysokiej jakości filmy, uzupełnione o dynamikę ruchu i sceny z dokładnością na poziomie 85 proc.

Qing mówi, że ich praca jest obiecująca dla przyszłych zastosowań dużych modeli „od neuronauki po interfejsy mózg-komputer”.

Po co nam to? Powiedzmy: albo po nic, albo w snach ukryte są genialne pomysły. Przykład? Pewien student obawiający się, że jego przyjęcie na Uniwersytet Stanforda było pomyłką, miał bardzo niespokojny sen. Ściągnął w nim całą sieć internetu na swój komputer. Niedługo po tym rozpoczął projekt, który pewnego dnia przyciągnie 89 miliardów widzów miesięcznie i odpowie na 99 000 zapytań na sekundę. Nazwisko śpiocha? Larry Page. Jego dzieło: Google

Zdjęcie zajawka: John Hain/Pixabay