Naukowcy z Cornell opracowali zrobotyzowany system karmienia, który wykorzystuje wizję komputerową, uczenie maszynowe i wykrywanie multimodalne, aby bezpiecznie karmić osoby z poważnymi ograniczeniami ruchowymi, w tym osoby z urazami rdzenia kręgowego, porażeniem mózgowym i stwardnieniem rozsianym.
Karmienie za pomocą robota osób z poważnymi ograniczeniami ruchowymi jest trudne, ponieważ wiele z nich nie może pochylać się do przodu i wymaga wkładania jedzenia bezpośrednio do ust – powiedział Tapomayukh „Tapo” Bhattacharjee adiunkt informatyki w Cornell Ann S. Bowers College informatyki i nauk informatycznych oraz starszy programista odpowiedzialny za system. „Wyzwanie nasila się, gdy żywienie osób cierpi na dodatkowe złożone schorzenia”.
Artykuł na temat systemu został zaprezentowany na konferencji Human Robot Interaction, która odbyła się w dniach 11–14 marca w Boulder w stanie Kolorado. Otrzymał wyróżnienie w kategorii Najlepszy artykuł, a demonstracja szerszego zrobotyzowanego systemu karmienia opracowanego przez zespół badawczy otrzymała nagrodę za najlepsze demo.
Bhattacharjee, lider robotyki wspomagającej, i jego laboratorium EmPRISE spędzili lata na uczeniu maszyn złożonego procesu, dzięki któremu my ludzie, żywimy się. Nauczenie maszyny wszystkiego, począwszy od identyfikowania produktów spożywczych na talerzu, podnoszenia ich, a następnie przenoszenia do ust podopiecznego, jest skomplikowanym wyzwaniem.
Te ostatnie 5 centymetrów, od naczynia do wnętrza jamy ustnej, jest niezwykle trudne – powiedział Bhattacharjee.
Bhattacharjee twierdzi, że niektórzy podopieczni mogą mieć bardzo ograniczone rozwarcie ust, mierzące mniej niż 2 centymetry, podczas gdy u innych mogą wystąpić mimowolne skurcze mięśni, które mogą wystąpić nieoczekiwanie, nawet gdy naczynie znajduje się w ustach. Co więcej, niektórzy mogą gryźć jedzenie tylko w określonych miejscach w jamie ustnej, na co wskazują, popychając naczynie językiem – dodał.
Obecna technologia patrzy na twarz danej osoby tylko raz i zakłada, że pozostanie ona nieruchoma, co często nie ma miejsca i może być bardzo ograniczające dla osób objętych opieką – powiedział Rajat Kumar Jenamani, główny autor artykułu i doktorant w dziedzinie Informatyka.
Aby sprostać tym wyzwaniom, badacze opracowali i wyposażyli swojego robota w dwie podstawowe funkcje: śledzenie ruchu jamy ustnej w czasie rzeczywistym, które dopasowuje się do ruchów użytkownika, oraz mechanizm dynamicznej reakcji, który umożliwia robotowi wykrywanie charakteru interakcji fizycznych w momencie ich wystąpienia i reagowanie odpowiednio. Umożliwia to systemowi rozróżnienie nagłych skurczów, celowych ukąszeń i prób manipulacji przez użytkownika naczyniem w ustach – twierdzą naukowcy.
W badaniu przeprowadzonym z udziałem użytkowników, obejmującym trzy lokalizacje, robotyczny system z powodzeniem nakarmił 13 osób z różnymi schorzeniami. Naukowcy twierdzą, że użytkownicy robota uznali go za bezpieczny i wygodny.
To jedna z najobszerniejszych, prowadzonych w świecie rzeczywistym ocen dowolnego autonomicznego systemu karmienia wspomaganego robotem, przeprowadzona wśród użytkowników końcowych – powiedział Bhattacharjee.
Robot zespołu to wieloprzegubowe ramię, na końcu którego znajduje się specjalnie zbudowane narzędzie, które wyczuwa działające na nie siły. Metoda śledzenia ust – wyćwiczona na tysiącach zdjęć przedstawiających różne pozycje głów i wyraz twarzy uczestników – łączy dane z dwóch kamer umieszczonych nad i pod naczyniem. Pozwala to na precyzyjne wykrycie ust i przezwyciężenie wszelkich przeszkód wizualnych spowodowanych przez samo naczynie – twierdzą naukowcy. Ten mechanizm reakcji, uwzględniający interakcję fizyczną, wykorzystuje zarówno zmysł wizualny, jak i siłę, aby dostrzec, w jaki sposób użytkownicy wchodzą w interakcję z robotem, powiedział Jenamani.
Umożliwiamy poszczególnym osobom kontrolowanie 10-kilogramowego robota za pomocą samego języka – powiedział.
Jako najbardziej satysfakcjonujący aspekt projektu wymienił badania użytkowników, zwracając uwagę na znaczący wpływ emocjonalny robota na podopiecznych i ich opiekunów. Podczas jednej z sesji rodzice córki chorej na schizencefalię czterokończynową – rzadką wadę wrodzoną – byli świadkami, jak skutecznie karmiła się przy użyciu tego systemu.
„To był moment prawdziwych emocji; jej ojciec podniósł czapkę, aby to uczcić, a matka prawie się rozpłakała” – powiedziała Jenamani.
Choć potrzebne są dalsze prace, aby zbadać długoterminową użyteczność systemu, jego obiecujące wyniki podkreślają potencjał poprawy poziomu niezależności i jakości życia osób objętych opieką – twierdzą naukowcy.
To niesamowite – powiedział Bhattacharjee – i bardzo, bardzo satysfakcjonujące.
Współautorami artykułu są: Daniel Stabile, MS ’23; Ziang Liu, doktorant w dziedzinie informatyki; Abrar Anwar z Uniwersytetu Południowej Kalifornii i Katherine Dimitropoulou z Uniwersytetu Columbia.
Badania te były finansowane głównie przez National Science Foundation.
Źródło: materiały Cornell University, grafika: storyset/Freepik
Zostaw komentarz
You must be logged in to post a comment.