Die Kommunikation zwischen hörenden und gehörlosen Menschen verbessern will eine App, die derzeit im Rahmen eines internationalen Forschungsprojekts entwickelt wird. Sie soll in Echtzeit Gebärdensprache in Schrift und Schrift in Gebärdensprache umwandeln und dadurch spontane Kommunikation ohne Dolmetscher vereinfachen.
Die App soll im Rahmen eines EU-Projekts entwickelt werden. Die Wissenschaftler aus sechs Ländern arbeiten in diesem Projekt daran, Gebärden zu digitalisieren. Eine aufwändige Aufgabe, da Gebärdensprachen von Land zu Land unterschiedlich sind. Allein in Europa gibt es etwa 50 verschiedene, die anerkannt sind. An dem Projekt beteiligt ist auch die Uni Siegen, die für die deutsche Gebärdensprache verantwortlich ist. Die Forscher nutzen zur Digitalisierung Handschuhe voller Sensoren. Wenn die Forscher im Labor diese Handschuhe tragen und Gebärden mit den Händen formen, erkennen eine spezielle Kamera und eine Software die Bewegungen, die Stellungen der Hände und den Abstand der Hände zum Körper. Eine virtuelle Figur, ein sogenannter Avatar, auf einem Computer registriert die Bewegungen und stellt die Gebärden auf dem Bildschirm dar.
500 Wörter mit dem Avatar
Im ersten Schritt werden die Gebärdenzeichen mit dem Avatar digitalisiert und in einer Datenbank gespeichert, zunächst 500 Wörter in der deutschen Gebärdensprache. Der Übersetzer soll als Hilfsmittel die Kommunikation für gehörlose Menschen im Alltag und im Studium erleichtern. Im Oktober 2018 soll ein interaktiver Service-Bildschirm in einer zentralen U-Bahn-Station in Porto an den Start gehen. In sechs verschiedenen Sprachen, darunter auch in Deutsch, sollen sich Gehörlose dann dort zum Beispiel darüber informieren können, welche Linie fährt in die Innenstadt fährt oder wieviel ein Tagesticket kostet. Gehörlose Touristen und Einheimische können dort ihre Fragen in ein Terminal eingeben und ein Avatar antwortet ihnen in Gebärdensprache. Die Wörter setzt der Avatar je nach Frage individuell zusammen. Benötigt er für seine Antwort Wörter, die nicht zu den 500 Vorprogrammierten gehören, buchstabiert er sie in Echtzeit im Fingeralphabet.
„Schriftsprache ist für Gehörlose wie eine Fremdsprache“
In anderen Ländern sind Avatare bereits recht weit verbreitet, zum Beispiel in Geldautomaten in Brasilien. Allerdings können die Avatare dort nur vorprogrammierte Phrasen anzeigen und nicht spontan auf Fragen reagieren. Für Gehörlose hat der Avatar in der U-Bahn-Station entscheidende Vorteile: Sie sind weder mit gesprochener Sprache noch mit geschriebener Sprache konfrontiert. „Schriftsprache ist für Gehörlose wie eine Fremdsprache und deshalb sehr kompliziert. Die Grammatik und die Wort-Reihenfolge unterscheiden sich grundlegend von der Gebärdensprache. Der Avatar erleichtert das Verständnis also ganz ungemein“, sagt Prof. Dr.-Ing. Hubert Roth. Er leitet das Projekt für die deutsche Gebärdensprache an der Universität Siegen als Geschäftsführender Direktor des Zentrums für Entwicklungsländerforschung und Wissenstransfer (ZEW). Der Avatar in der U-Bahn-Station soll nur der Anfang sein. Der Plan ist, die Datenbank mit digitalisierten Gebärden und den Avatar um Mimik zu erweitern, die in der Gebärdensprache sehr wichtig ist. Außerdem wollen die Forscher langfristig neue Anwendungsgebiete testen.
Mehr Unterstützung bei Arztbesuchen
Um zu erfahren, in welchen Alltagssituationen sich Gehörlose Unterstützung wünschen, finden in jedem der sechs Projekt-Länder Diskussionsrunden mit Betroffenen statt. Die Diskussionsrunde an der Universität Siegen zeigte, dass sich Gehörlose mehr Unterstützung im Alltag, wie bei Arztbesuchen, ärztlichen Untersuchungen und Krankenhausaufenthalten wünschen. So können sie zum Beispiel die akustischen Ansagen bei Röntgen- oder Computer-Tomographien (CT) nicht hören. Auch bei Behördengängen, an Bahnhöfen und an Flughäfen wäre der Avatar zur Kommunikation nützlich.
Fließende Diskussionen kann allerdings kein Avatar der Welt in Echtzeit darstellen, so die Forscher. Dafür ist die Gebärdensprache zu komplex. „Wir wollen und können Gebärdensprachdolmetscher nicht durch einen Avatar ersetzen“, erklärt Prof. Hubert Roth. „Allerdings sind solche Inhalte mit dem Avatar leicht abzubilden, in denen Text schon vorhanden ist.“ Schon jetzt ist es möglich, zum Beispiel Mails oder Powerpoint-Präsentationen durch Avatare zu ergänzen, um Gehörlosen das Verständnis zu erleichtern, indem sie nicht die Schriftsprache lesen müssen. „Viele Gehörlose sind im Bildungsbereich eingeschränkt, weil eine umfassende Kommunikation fehlt. Das verringert die beruflichen Aufstiegschancen“, sagt Roth. Ein Avatar könnte gerade hier gut helfen.
Gefördert wird das Projekt „International Assisted Communication for Education“ (Internationales Projekt für unterstützende Kommunikation in der Bildung) durch die Europäische Union im Rahmen des Erasmus+ Programms. Internationale Partner sind neben der Universität Siegen (Deutschland), die Universität York (England), das Technological Educational Institute in Kreta (Griechenland), das Instituto Politecnico do Porto (Portugal), das Camara Municipal do Porto (Portugal), die Universität Maribor (Slowenien) und die European Association of Career Guidance (Zypern).