Finowie uczą tańca z AI

Dzięki wirtualnemu lustru system nauczył się, jak uczyć ludzi pląsów

Nowa technika wirtualnej rzeczywistości ułatwia dołączenie do tańca bez konieczności wcześniejszej nauki choreografii.

Naukowcy z Uniwersytetu Aalto szukali lepszych sposobów nauczania choreografii tanecznej w wirtualnej rzeczywistości. Opracowana przez nich nowa technika WAVE zostanie zaprezentowana w maju na konferencji CHI, będącej głównym miejscem badań interakcji człowiek-komputer. 

Poprzednie techniki w dużej mierze opierały się na próbach wstępnych i upraszczaniu. 

W wirtualnej rzeczywistości trudno jest zwizualizować i przekazać, jak tancerz powinien się poruszać. Ciało ludzkie jest tak wielowymiarowe, że trudno jest zebrać bogate dane w czasie rzeczywistym – mówi profesor Perttu Hämäläinen.

Badacze rozpoczęli od eksperymentowania z technikami wizualizacji znanymi z poprzednich gier tanecznych. Jednak po kilku prototypach i scenach postanowili wypróbować falę publiczności znaną z wydarzeń sportowych, aby poprowadzić taniec.

Falowe ruchy modelek pozwalają z góry przewidzieć, jaki ruch będzie następny. I nie trzeba wcześniej ćwiczyć ruchu – mówi doktorant Markus Laattala.

Ogólnie rzecz biorąc, nie można śledzić nowej choreografii w czasie rzeczywistym ze względu na opóźnienie w ludzkiej percepcyjnej kontroli motorycznej. Z kolei opracowana przez naukowców technika WAVE opiera się na przewidywaniu przyszłego ruchu, np. zakrętu.

Źródło. You Tube

Nikt nie wpadł na pomysł, jak poprowadzić ciągły, płynny ruch jak taniec współczesny. W choreografii, którą wdrożyliśmy, zrobienie fali to komunikacja, rodzaj mikrokanonu, w którym tancerze-modelki wykonują tę samą choreografię z ułamkowym opóźnieniem – mówi Hämäläinen.

Od tai chi po przesadne ruchy

W jednominutowym teście tanecznym wzięło udział łącznie 36 osób, porównując nową wizualizację WAVE z tradycyjną wersją wirtualną, w której do naśladowania był tylko jeden model tancerza. Różnice pomiędzy technikami były wyraźne.

Ta implementacja jest odpowiednia przynajmniej dla stylów tańca o powolnym tempie. Tancerz może po prostu wskoczyć i zacząć tańczyć, bez konieczności wcześniejszej nauki. Jednak w przypadku szybszych ruchów efekty wizualne mogą być mylące i potrzebne są dalsze badania i rozwój, aby dostosować i przetestować to podejście w przypadku większej liczby stylów tanecznych – mówi Hämäläinen.

Oprócz wirtualnych gier tanecznych nowa technika może mieć zastosowanie w teledyskach, karaoke i tai chi

Optymalne byłoby dla użytkownika, gdyby mógł decydować o ustawieniu modelek w sposób, który im odpowiada. A gdyby pomysł poszedł dalej, kilku tancerzy mogłoby przesyłać sobie ruchy w wirtualnej rzeczywistości społecznościowej. Może to stać się zupełnie nowym sposobem wspólnego tańca – przyznaje Laattala.

Obecne popularne urządzenia VR śledzą jedynie ruch gogli i kontrolerów ręcznych. Z drugiej strony dane pochodzące z uczenia maszynowego można czasami wykorzystać do wywnioskowania, w jaki sposób poruszają się nogi – mówi Hämäläinen. – Ale w tańcu wnioskowanie jest trudniejsze, ponieważ ruchy są dziwniejsze niż na przykład chodzenie” – dodaje Laattala.

Jeśli masz lustro w prawdziwej przestrzeni tanecznej, możesz śledzić ruch swoich stóp za pomocą widzenia maszynowego. Widok tancerza można było modyfikować za pomocą wirtualnego lustra. 

Wirtualny występ tancerza można poprawić poprzez przesadę, na przykład poprzez zwiększenie elastyczności, wysokości skoków lub ruchu bioder. Może to sprawić, że poczują się bardziej wykwalifikowani niż w rzeczywistości, co jak pokazują badania, ma pozytywny wpływ na motywację do aktywności fizycznej – mówi Hämäläinen.

Wirtualna gra taneczna została opracowana przy użyciu zestawu do przechwytywania ruchu infrastruktury Magics, w którym modelka-tancerka ubrana jest w kostium wyposażony w czujniki. Wykorzystano je do nagrania animacji tańca.

Grę taneczną WAVE można pobrać na urządzenia Meta Quest 2 i 3 VR tutaj. Repozytorium Github zawiera również kod open source, którego każdy może użyć do dalszego rozwijania gry.

PDF z badaniem dostępny tutaj

Źródło: materiały Uniwersytetu w Aalto, zdjęcie zajawka: materiały Uniwersytetu w Aalto

Udostępnij:

Powiązane posty

Zostaw komentarz