Mowa jest złotem SI. W książkach dla dzieci

Zespół stworzył innowacyjny system edukacyjny, uczący słownictwa, dostosowany do unikalnego środowiska każdego dziecka

Profesor Inseok Hwang z Wydziału Informatyki i Inżynierii, wraz ze studentami Jungeun Lee, Suwon Yoon i Kyoosik Lee z Wydziału Informatyki i Inżynierii w POSTECH we współpracy z profesorem Dongsun Yim z Wydziału Zaburzeń Komunikacyjnych Uniwersytetu Ewha Womans stworzyli innowacyjny system do generowania spersonalizowanych książek z opowiadaniami. System ten wykorzystuje generatywną sztuczną inteligencję i technologię domowego Internetu Rzeczy, aby pomóc dzieciom w nauce języków. Ich badania zostały zaprezentowane na „ACM CHI (ACM SIGCHI Conference on Human Factors in Computing Systems)”, wiodącej konferencji poświęconej interakcji człowiek-komputer, gdzie otrzymało „Honorable Mention Award”, uznając je za jedno z 5% najlepszych zgłoszeń.

Rozwój języka u dzieci jest kluczowy, ponieważ wpływa na ich rozwój poznawczy i akademicki, interakcje z rówieśnikami i ogólny rozwój społeczny. Regularna ocena postępów językowych i terminowe interwencje językowe  są niezbędne aby wspierać nabywanie języka. Problem polega na tym, że dzieci dorastają w zróżnicowanym środowisku, co prowadzi do różnic w ich ekspozycji na słownictwo. Jednak tradycyjne podejścia często polegają na standaryzowanych listach słownictwa i gotowych książkach z opowiadaniami lub zabawkach do oceny umiejętności językowych i interwencji, bez wsparcia różnorodności.

Rozpoznając niedociągnięcia konwencjonalnych, uniwersalnych podejść, które nie uwzględniają zróżnicowanego pochodzenia dzieci, zespół stworzył innowacyjny system edukacyjny dostosowany do unikalnego środowiska każdego dziecka. Rozpoczęli od wykorzystania domowych urządzeń IoT do rejestrowania i monitorowania języka, który dzieci słyszą i mówią w swoim codziennym życiu. Poprzez separację mówców ²⁾ i techniki analizy morfologicznej ³⁾ naukowcy zbadali słownictwo, z którym dzieci miały styczność, słowa, które wypowiadały, i te, które słyszały, ale nie wypowiadały. Następnie ocenili każde słowo, obliczając punkty dla każdego słowa na podstawie kluczowych czynników istotnych dla patologii mowy.

Aby stworzyć spersonalizowane materiały edukacyjne, zespół wykorzystał zaawansowane technologie generatywnej sztucznej inteligencji, w tym GPT-4 i Stable Diffusion. Umożliwiło im to produkcję niestandardowych książek dla dzieci, które płynnie integrują docelowe słownictwo dla każdego dziecka. Łącząc teorię patologii mowy z praktyczną wiedzą, badacze opracowali skuteczny i spersonalizowany system nauki języka.

Naukowcy zaprojektowali system tak, aby uwzględniał różnice w rozwoju językowym dzieci, umożliwiając indywidualne ważenie czynników i elastyczne kryteria wyboru słownictwa. System może zautomatyzować zarówno ekstrakcję docelowego słownictwa dla każdego dziecka, jak i tworzenie spersonalizowanych książek z opowiadaniami, zapewniając, że zarówno słownictwo, jak i książki z opowiadaniami mogą być stale aktualizowane w odpowiedzi na zmiany w rozwoju językowym dziecka i jego środowisku. Po przetestowaniu systemu w 9 rodzinach w okresie czterech tygodni, wyniki wykazały, że dzieci skutecznie nauczyły się docelowego słownictwa, co dowodzi przydatności systemu w codziennych warunkach poza gabinetem terapeutycznym.

Jungeun Lee z POSTECH, główna autorka artykułu, wyraziła swoje aspiracje, komentując:

Skutecznie zajęliśmy się ograniczeniami tradycyjnych, uniwersalnych podejść do oceny języka dzieci i interwencji, wykorzystując generatywną sztuczną inteligencję. Dodała: Naszym celem jest wykorzystanie sztucznej inteligencji do tworzenia spersonalizowanych przewodników dostosowanych do różnych poziomów i potrzeb osób.

Profesor Inseok Hwang z POSTECH, autor korespondencyjny, zauważył:

Dzięki interdyscyplinarnym badaniom udało nam się opracować spersonalizowany system stymulacji i rozwoju języka, który integruje technologię generatywnej sztucznej inteligencji z teorią patologii mowy. Kontynuował: Mamy nadzieję, że nasze odkrycia zachęcą nauczycieli do poszanowania i uwzględnienia różnorodnych środowisk i celów edukacyjnych dzieci.

Współautorka, profesor Dongsun Yim z Ewha Womans University, również wyraziła swoje oczekiwania, mówiąc:

Nasza praca pokazuje potencjał niekonwencjonalnych, spersonalizowanych usług wsparcia językowego. Dodała: System pokazuje zdolność dostosowywania ekstrakcji docelowego słownictwa i dostarczania bodźców językowych dla dzieci narażonych na różne środowiska i języki.

Badania przeprowadzono przy wsparciu Programu dla Badaczy Średniego Stopnia Kariery Narodowej Fundacji Badań Naukowych Korei, SSK, ITRC IITP oraz Programu Bonów na Innowacje Badawczo-Rozwojowe w ICT.

Źródło: materiały Pohang University of Science and Technology (POSTECH), zdjęcie zajawka: Tumisu/Pixabay