SMILE II: Newsletter 06/2022

Das im Januar 2021 begonnene SMILE-II-Projekt ist ein vierjähriges SNF-Sinergia-Projekt und besteht aus einem Konsortium von vier Institutionen: dem Idiap Research Institute in Martigny (Projektleitung), der Interkantonalen Hochschule für Heilpädagogik HfH, dem Institut für Computerlinguistik der Universität Zürich und der University of Surrey (GB). Der Name SMILE steht für Scalable Multilingual Sign Language Technology for Sign Language Learning and Assessment.

Das Ziel des Projekts ist die Erforschung und Entwicklung von fortschrittlichen Technologien zum Erlernen von Gebärdensprachen. Das Projekt baut auf den Grundlagen des Projekts SMILE I auf. SMILE I befasste sich mit der Bewertung der manuellen Aktivität der Deutschschweizerischen Gebärdensprache (DSGS) in isolierten Gebärden, die von L2-Lernenden produziert wurden. SMILE II erweitert diese Technologie hin zu einer Bewertung kontinuierlichen Gebärdens, die sowohl manuelle als auch nicht-manuelle Komponenten von Gebärden einschliesst. Lernende können auf Gebärden- und Satzebene Tests durchführen und automatisch Feedback zur Korrektheit ihrer Produktion bekommen. Die Grundlage des automatischen Bewertungssystems bilden Deep-Learning-Modelle, die grosse Datenmengen benötigen. Ein weiteres Ziel des Projekts ist daher die Erstellung einer Datensammlung mit Produktionen von erwachsenen Lernenden und Muttersprachler:innen der DSGS, die auch einen Einblick in den Erwerb einer Gebärdensprache als Zweit- bzw. Fremdsprache ermöglicht.

Die SMILE-Demo ist eine Webanwendung, die zur Unterstützung des Gebärdensprachlernens entwickelt wird. Mit der Anwendung lernen Benutzer:innen die Ausführung einzelner Gebärden der DSGS, indem sie die Gebärden vor einer Webkamera ausführen und dabei in Echtzeit automatisches Feedback bekommen.

In bestehenden Lernplattformen für Gebärdensprachproduktion (z.B. signwise.ch) beurteilen Benutzer:innen ihre Gebärdenproduktionsfehler selber, indem sie ihr individuelles Produktionsvideo mit einem Referenzvideo vergleichen. D.h. es liegt in der Verantwortung der Lernenden, die spezifischen Fehler in der Produktion zu erkennen.

Die SMILE-Demo ist so konzipiert, dass sie Lernenden auf mehreren Ebenen automatisches Feedback gibt. Die Demo liefert im Moment Rückmeldung auf Gebärdenebene, d.h. wie sehr eine Gebärde als Gesamtes vom Ideal abweicht, und sie gibt zudem gezieltes Feedback über die Korrektheit von Handform, Handposition und Handbewegung beider Hände. Ausserdem generiert die Anwendung zur Unterstützung der Selbstkorrektur detailliertes Videofeedback, das die Abweichung der Handform(en) und Handbewegung(en) von der Zielgebärde durch Farbcodes für die gesamte Gebärdenproduktion darstellt. Dieses Videofeedback zeigt auch die Flüssigkeit des Gebärdens sowie die Ausrichtung von Armen und Händen im Skelettschema in Bezug auf ein Referenzvideo der Gebärdenproduktion.

Die SMILE-Demo wird zurzeit durch drei verschiedene Studien evaluiert, um das Feedback noch aussagekräftiger und benutzerfreundlicher zu gestalten.

Ja/Nein-Vokabeltests sind eine sehr gängige Methode zur Überprüfung des rezeptiven Vokabelwissens. Bei diesen Tests sehen Teilnehmende einzelne Wörter und müssen angeben, ob sie das Wort bzw. die Gebärde kennen (Ja) oder nicht kennen (Nein). Studien zu Lautsprachen haben mehrfach gezeigt, dass Resultate von Ja/Nein-Vokabeltests sehr gut mit Resultaten von anderen Testformaten, wie z.B. Multiple-Choice-Vokabeltests, übereinstimmen. Ja/Nein-Tests haben allerdings den Vorteil, dass sie im Vergleich zu anderen Formaten einfacher zu entwickeln sind und ohne grossen Aufwand mit vielen Teilnehmenden durchgeführt werden können.

Eine offene Forschungsfrage von Ja/Nein-Tests ist jedoch die Art der Beurteilung von Pseudowörtern bzw. -gebärden. Diese Gebärden, die keine Bedeutung haben, werden im Test zwischen echten Gebärden versteckt. Falls Teilnehmende öfters angeben, Pseudogebärden zu kennen, ist das ein Zeichen dafür, dass sie sich nicht sicher sind bzw. raten.

Im Zuge der Datensammlung für das SMILE-II-Projekt absolvieren Studienteilnehmende auch einen Ja/Nein-Vokabeltest. Die Teilnehmenden sehen dabei Videos von einzelnen DSGS-Gebärden auf A1-Niveau. Einige Gebärden sind Pseudogebärden, d.h. Gebärden, die es in DSGS nicht gibt. Wie bei klassischen Ja/Nein-Testformaten müssen die Teilnehmenden für jede Gebärde angeben, ob sie sie kennen (Ja) oder nicht kennen (Nein). Neu ist in unserer Untersuchung jedoch, dass die Teilnehmenden auch die Möglichkeit haben, anzugeben, dass es sich um eine Pseudogebärde handelt. Dadurch können wir genauer untersuchen, wie sich die Pseudogebärden von echten Gebärden in der Testauswertung statistisch unterscheiden, um somit in weiterer Folge ein besseres Beurteilungssystem für Ja/Nein-Tests zu entwickeln.

 

Eine zusätzliche Neuheit unseres Ja/Nein-Tests ist es, dass die Teilnehmenden nach jeweils fünf Gebärden die Lösungen präsentiert bekommen und somit direktes Feedback zu ihren Antworten erhalten. Wir untersuchen deshalb auch, wie hilfreich diese Art von Feedback für Teilnehmende ist.

 

Die erste Datensammlung für den Ja/Nein-Test ist bereits abgeschlossen und wir werden die Daten in den nächsten Wochen auswerten.