Kategorie Tech & Society

2012/13

Gestures-Interpreter-Platform (GIP)

BHAK Weiz

Gehört gesehen

Beim Besuch des Tages der offenen Tür an der FH Joanneum in Graz lernte eine Gruppe von Schülern das dort entwickelte „Wörterbuch für Gebärdensprache“ kennen, das Deutsch in die Gebärdensprache übersetzt. Faszinierend.

Und die logische Folgefrage liegt auf der Hand: Wie könnte es umgekehrt funktionieren? Schon war „GIP – Gestures-Interpreter-Platform“ geboren.

„GIP“ schafft barrierefreie Kommunikation von Mensch zu Mensch oder, genauer gesagt, von Mensch zu Gerät und dann von Gerät zu Mensch. Georg Adelmann, Markus Taus, Christoph Teni und Simon Wünscher von der BHAK Weiz entwarfen für ihr Projekt eine Anwendung mit dem Namen „SLIP – Sign-Language-Interpreter-Platform“, um eine Schnittstelle zwischen gehörlosen und hörenden Menschen auf Basis der Gebärdensprache zu schaffen. Ziel war es, einen Datenhandschuh zu entwickeln, der die Gesten der deutschen Gebärdensprache mittels Motion Tracking an einen Computer weiterleitet, damit dieser die verstandenen Bewegungen in die deutsche Sprache übersetzt.

Ein sogenannter P5 Gaming Glove wurde aus Kanada importiert, programmiert und für Dolmetsch-Zwecke präpariert. Der größte Aufwand bestand vor allem darin, die Idealwerte – also „ideale Gesten“ – herauszufiltern um brauchbare Ergebnisse für den Computer erzielen zu können. Bei den Buchstaben A, E und S wird beispielsweise je eine Art Faust gebildet. Der einzige Unterschied liegt darin, wie man den Daumen hält. Dafür musste dem Handschuh das nötige Fingerspitzengefühl verabreicht werdem, was nach vielen Testläufen, Analysen, Auswertungen und insgesamt 400 Stunden Arbeit auch gelang. Der Datenhandschuh kann wunderbar als Dolmetscher zur Hand gehen – etwa für eine gehörlose Person, die vor einem Auditorium spricht oder bei Behördenwegen Verständigungshilfe benötigt.

Dieses Projekt ist „Social Media“ im ursprünglichsten Sinn, denn es bietet ein praktisches System, das sich über starke Barrieren verbindend gebärdet. Eine derart technisch komplexe Entwicklung zur Verbesserung der Verständigung zwischen Gehörlosen und Hörenden ist wahrlich eine innovative Geste. Und das, obwohl das Projektteam vor „GIP“ keinerlei Ahnung von Gebärdensprache hatte.