Alexa, Google Assistant, Cortana: Sprachassistenten verändern die Art und Weise, wie wir einkaufen, suchen, kommunizieren oder sogar leben. Zumindest für die meisten Menschen. Aber was ist mit den Menschen ohne Stimme? Was ist mit jenen, die nicht hören können? Weltweit leiden rund 466 Millionen Menschen an einer Beeinträchtigung des Hörvermögens. Mit dem SIGNS-Projekt stärken wir das Bewusstsein für digitale Barrierefreiheit und Inklusion.
Viele Menschen mit Hörbehinderung benutzen ihre Hände zum Sprechen. Mehr brauchen sie auch nicht, um mit SIGNS zu reden. Der Prototyp entwickelt sich beständig weiter und lernt immer mehr Gebärden. Er ist ein intelligentes Tool, das die deutsche Gebärdensprache in Echtzeit erkennt, sie digitale Informationen übersetzt und dann direkt mit einem ausgewählten Sprachassistenten (Alexa, Google Assistant oder Cortana) kommuniziert. Wie ist das Wetter morgen? Mach das Licht blau. Finde ein italienisches Restaurant. Einfach sprechen, SIGNS antwortet.
See it in Action
Sprachassistenten verwenden Natural Language Processing, um hörbare Befehle zu entschlüsseln und darauf zu reagieren. Kein Ton bedeutet keine Reaktion. Der Prototyp von SIGNS schließt die Lücke zwischen Menschen mit Hörbehinderung und Assistenten.
SIGNS basiert auf einem intelligenten Machine Learning Framework, das mit Hilfe einer integrierten Kamera die Erkennung von Körpergesten trainiert. Diese Gesten werden in ein Datenformat konvertiert, das der ausgewählte Sprachassistent versteht.
Der Sprachassistent verarbeitet die Daten in Echtzeit und antwortet entsprechend auf SIGNS. Die Antwort wird sofort angezeigt – entweder in Textform oder durch visuelles Feedback.
SIGNS ist ein intelligentes Tool, das auf jedem browserbasierten Betriebssystem mit integrierter Kamera (Laptops, Tablets, Smartphones) funktioniert. SIGNS kann problemlos mit Sprachassistenten wie Alexa, Google Assistant oder Cortana verbunden werden.
Learn how easy you can make use of signs. Just a few simple gestures to understand. Did you know that people know more words in a foreign language then in sign language?
SIGNS ist ein Kollaborationsprojekt, das zur Zeit von folgenden Partnern entwickelt wird:
