Wypracowania sprawdzi system. Nauczyciele do lamusa?

Informatycy z Penn State sprawdzili skuteczność AI opartej na przetwarzaniu języka naturalnego w ocenie i dostarczaniu informacji zwrotnych na temat esejów uczniów. Chodzi o opisowe prace na temat wiedzy zdobytej na lekcjach przedmiotów ścisłych (STEM). Odkryli, że takie oprogramowanie może skutecznie wspierać nauczycieli

Przetwarzanie języka naturalnego (NLP) to dziedzina informatyki, w której naukowcy przekształcają słowo pisane lub mówione w dane obliczeniowe. Naukowcy pracujący pod kierunkiem głównego badacza – Rebecci Passonneau, profesor informatyki i inżynierii w Penn State, rozszerzyli możliwości istniejącego narzędzia przetwarzania języka naturalnego o nazwie PyrEval. Passoneau pracowała nad nim od kilku lat.

Prof. Rebecca Passoneau zajmuje się przetwarzaniem języka naturalnego, ze szczególnym uwzględnieniem semantyki i pragmatyki. Bada, jak to się dzieje, że te same kombinacje słów mają różne znaczenia w różnych kontekstach, w języku mówionym lub pisanym. Tematy badawcze, którymi obecnie się zajmuje, to semantyczna analizę streszczeń i esejów, edukacyjne zastosowania NLP, agenci uczący się poprzez komunikację, automatyczne podsumowania i oceny podsumowań, strategie systemu dialogowego oraz struktura dyskursu. 

– To trudny obszar, ponieważ słowa, których używamy, rzeczy, które zamierzamy zrobić ze słowami, struktury składniowe, których używamy do łączenia słów w zdania, wreszcie swoboda wymyślania nowych słów – to ważne aspekty języka, które mogą się znacznie zmienić w zależności od kontekstu – zauważa prof. Passonneau.

Udoskonalone oprogramowanie PyrEval-CR generuje raport podsumowujący eseje uczniów, dzięki czemu nauczyciele dowiadują się, czy zrozumieli oni lekcję.

System został wytrenowany na istniejących już esejach. By podsumować prace, dzieli je na poszczególne zdania, które zamienia na ciągi liczb o tej samej długości, będące wektorami. Przy tej konwersji stosuje algorytm zwany ważoną faktoryzacją macierzy tekstu. Badacze dostosowali też inny algorytm, znany jako ważony maksymalny niezależny zestaw, by zagwarantować, że PyrEval-CR wybierze najlepszą analizę danego zdania.

Funkcjonalność programu została przetestowana na setkach uczniowskich prac w Wisconsin. Okazał się bardzo pomocny.

Docelowo naukowcy mają nadzieję wdrożyć oprogramowanie oceniające w klasach, aby przypisywanie i ocenianie esejów naukowych stało się bardziej praktyczne dla nauczycieli.

– Dzięki tym badaniom mamy nadzieję, że utworzymy szkielet uczenia się uczniów na lekcjach przedmiotów ścisłych, zapewnimy im wystarczające wsparcie i informacje zwrotne, a następnie wycofamy się, by mogli uczyć się i osiągać na własną rękę – oświadczyła Passonneau w komunikacie prasowym Penn State. – Celem jest umożliwienie nauczycielom STEM łatwego wdrażania zadań pisemnych do ich programów nauczania.

Zdjęcie zajawka: Lookstudio/Freepik