Ongeveer 500.000 Amerikanen gebruiken American Sign Language (ASL). Voor dove gebruikers van ASL kan communicatie met mensen die niet vloeiend zijn in de taal een uitdaging zijn. Hoewel de meeste doof geboren Amerikanen gesproken taal leren door middel van logopedie, hebben sommigen het nog steeds moeilijk om zichzelf verbaal verstaanbaar te maken, of vinden gebarentaal gewoon een meer vloeiende vorm om zichzelf uit te drukken.
Nu hebben onderzoekers van de Texas A&M University een draagbaar apparaat ontwikkeld dat gebarentaal in het Engels "vertaalt" door de bewegingen van de gebruiker te voelen. Het apparaat, dat zich nog in het prototype bevindt, kan ongeveer 40 ASL-signalen herkennen met een nauwkeurigheid van 96 procent.
Het systeem maakt gebruik van twee sensoren. Een daarvan is een bewegingssensor met een versnellingsmeter en een gyroscoop, die de snelheid en hoek van hand en arm van de gebruiker meet. Door te voelen waar de handen en armen van een gebruiker zijn, kan het beginnen te raden welk woord ze kunnen ondertekenen. Dan is er een elektromyografische sensor, die het elektrisch potentieel van spierbewegingen meet. Het kan precies vertellen welk deel van de handen en vingers bewegen, wat cruciaal is.
"Als je kijkt naar de woordenschat van de Amerikaanse gebarentaal, zijn er gevallen waarin de hand zelf beweegt en dan heb je een zeer fijne beweging van de vingers, " zegt Roozbeh Jafari, de ingenieur die het project leidde. "Als je die wilt detecteren, zul je niet alleen de beweging van de hand kunnen gebruiken."
Het woord "alsjeblieft" in ASL houdt bijvoorbeeld in dat je cirkels over je borst maakt met je open hand. Het woord "sorry" gebruikt een identieke beweging, maar de hand is gesloten in een vuist.
De sensoren worden gedragen om de rechterpols van de gebruiker. De verzamelde informatie wordt via Bluetooth naar een laptop verzonden. Deze laptop voert een algoritme uit om het teken te interpreteren en geeft het woord in het Engels op het scherm weer.
Uiteindelijk hoopt Jafari de behoefte aan de laptop te ontkennen door een kleine computer rechtstreeks in het apparaat op te nemen. De computer kan de Engelse woorden vervolgens naar de telefoon van een andere persoon sturen, zodat deze kan lezen wat hun gesprekspartner zegt.
Vanzelfsprekend zal de vertaler zich ook in veel meer tekens dan 40 moeten bekwamen om een levensvatbaar product te zijn. Hoewel er honderden ASL-tekens zijn, zijn de oorspronkelijke 40 tekens gekozen omdat ze gemeenschappelijk en nuttig zijn, zegt Jafari. Een persoon kan ze gebruiken om eenvoudige, cruciale zinnen te zeggen zoals "Ik heb water nodig." Het apparaat moet ook sneller worden - gebruikers moeten nu even pauzeren tussen woorden om het tijd te geven om te vertalen.
"In werkelijkheid praten mensen niet zo", zegt Jafari.
Maar dit geavanceerdere systeem, zegt hij, is een manier om verder te gaan en zal meer werk en financiering met zich meebrengen.
Eerdere ASL-vertaaltechnologieën hebben camera's gebruikt om de gebaren te lezen. Maar deze werken niet goed in omstandigheden met weinig licht, zegt Jafari. Plus, veel mensen houden niet van het idee dat een camera de hele tijd naar hen kijkt.
De afgelopen jaren is een aantal andere technologieën ontwikkeld om dove en horende mensen te helpen communiceren met elkaar. Een app genaamd Transcense, die vorig jaar werd uitgebracht, vertaalt spraak van meerdere mensen in geschreven woorden en presenteert ze op het scherm in kleurgecodeerde bubbels. Het is bedoeld om dove mensen te helpen tijdens vergaderingen of in sociale situaties, waar meerdere sprekers een uitdaging kunnen zijn voor zelfs de meest bedreven liplezers. Een ander bedrijf, MotionSavvy, heeft gewerkt aan een tablet die ASL-bewegingen interpreteert en de woorden hardop in het Engels voorleest. In China hebben onderzoekers de Kinect-bewegingsdetectieapparatuur van Microsoft gebruikt om Chinese gebarentaal te vertalen in gesproken en geschreven woorden.
Als iemand die lang heeft gewerkt met draagbare technologieën, zoals horloges die het hartritme volgen, begrijpt Jafari het belang van comfort en esthetiek. Als een apparaat ongemakkelijk en opdringerig is, zullen mensen het niet dragen. Het huidige prototype van het vertaalapparaat in gebarentaal ziet eruit als een medisch hulpmiddel, met elektroden en riemen en draden. Jafari wil dat de uiteindelijke versie klein en aantrekkelijk is.
"Ik wil het hele systeem in een horloge passen", zegt hij.
