Met de vooruitgang in elektronica en neurowetenschappen zijn onderzoekers in staat geweest opmerkelijke dingen te bereiken met apparaten voor hersenimplantaten, zoals het herstellen van een schijn van zicht voor blinden. Naast het herstellen van fysieke zintuigen, zijn wetenschappers ook op zoek naar innovatieve manieren om de communicatie te vergemakkelijken voor mensen die het spraakvermogen hebben verloren. Een nieuwe "decoder" die bijvoorbeeld gegevens ontvangt van elektroden die in de schedel zijn geïmplanteerd, kan verlamde patiënten helpen alleen met hun verstand te praten.
Onderzoekers van de Universiteit van Californië, San Francisco (UCSF) ontwikkelden een tweefasenmethode om hersensignalen om te zetten in computer-gesynthetiseerde spraak. Hun resultaten, die deze week zijn gepubliceerd in het wetenschappelijke tijdschrift Nature, bieden een mogelijk pad naar meer vloeiende communicatie voor mensen die het spraakvermogen hebben verloren.
Jarenlang hebben wetenschappers geprobeerd neurale input te benutten om een stem terug te geven aan mensen wier neurologische schade hen verhindert om te praten - zoals overlevenden van een beroerte of ALS-patiënten. Tot nu toe hebben veel van deze hersen-computer-interfaces een letter-voor-letter-aanpak gehad, waarbij patiënten hun ogen of gezichtsspieren bewegen om hun gedachten te spellen. (Stephen Hawking regisseerde zijn spraaksynthesizer beroemd door kleine bewegingen in zijn wang.)
Maar dit soort interfaces zijn traag - met de meeste max. 10 woorden per minuut, een fractie van de gemiddelde spreeksnelheid van mensen van 150 woorden per minuut. Voor snellere en meer vloeiende communicatie, gebruikten UCSF-onderzoekers diepe leeralgoritmen om neurale signalen om te zetten in gesproken zinnen.
“De hersenen zijn intact bij deze patiënten, maar de neuronen - de paden die naar je armen, of je mond of je benen leiden - worden afgebroken. Deze mensen hebben een hoog cognitief functioneren en vaardigheden, maar ze kunnen geen dagelijkse taken uitvoeren, zoals bewegen of iets zeggen, ”zegt Gopala Anumanchipalli, co-hoofdauteur van de nieuwe studie en een geassocieerd onderzoeker die gespecialiseerd is in neurologische chirurgie bij UCSF. "We omzeilen in wezen het pad dat is afgebroken."
De onderzoekers begonnen met hoge resolutie hersenactiviteitsgegevens verzameld van vijf vrijwilligers gedurende meerdere jaren. Deze deelnemers - die allemaal een normale spraakfunctie hadden - ondergingen al een monitoringproces voor epilepsiebehandeling waarbij elektroden rechtstreeks in hun hersenen werden geïmplanteerd. Het team van Chang gebruikte deze elektroden om activiteit in spraakgerelateerde gebieden van de hersenen te volgen terwijl de patiënten honderden zinnen lazen.
Van daaruit heeft het UCSF-team een tweetrapsproces uitgewerkt om de gesproken zinnen te recreëren. Ten eerste creëerden ze een decoder om de opgenomen hersenactiviteitspatronen te interpreteren als instructies voor bewegende delen van een virtueel vocaal kanaal (inclusief de lippen, tong, kaak en strottenhoofd). Ze ontwikkelden vervolgens een synthesizer die de virtuele bewegingen gebruikte om taal te produceren.
Ander onderzoek heeft geprobeerd woorden en geluiden rechtstreeks van neurale signalen te decoderen, waardoor de middelste stap van het decoderen van beweging wordt overgeslagen. Een studie die de UCSF-onderzoekers vorig jaar hebben gepubliceerd, suggereert echter dat het spraakcentrum van je hersenen zich richt op hoe het vocale kanaal moet worden verplaatst om geluiden te produceren, in plaats van wat de resulterende geluiden zullen zijn.
"De patronen van hersenactiviteit in de spraakcentra zijn specifiek gericht op het coördineren van de bewegingen van het vocale kanaal en zijn alleen indirect gekoppeld aan de spraakgeluiden zelf, " Edward Chang, een professor in neurologische chirurgie aan UCSF en coauteur van de nieuwe paper, zei deze week in een persconferentie. "We proberen expliciet bewegingen te decoderen om geluiden te creëren, in tegenstelling tot het direct decoderen van de geluiden."
Een voorbeeld van een reeks hersenimplantaten van intracraniële elektroden van het type dat wordt gebruikt om hersenactiviteit vast te leggen. (UCSF) Met behulp van deze methode hebben de onderzoekers met succes reverse-engineered woorden en zinnen van hersenactiviteit die ruwweg overeenkwam met de audio-opnamen van de spraak van de deelnemers. Toen ze vrijwilligers op een online crowdsourcingplatform vroegen om te proberen de woorden te identificeren en zinnen te transcriberen met behulp van een woordenbank, konden velen van hen de gesimuleerde spraak begrijpen, hoewel hun nauwkeurigheid verre van perfect was. Van de 101 gesynthetiseerde zinnen werd ongeveer 80 procent perfect getranscribeerd door ten minste één luisteraar die een bank van 25 woorden gebruikte (dat percentage daalde tot ongeveer 60 procent toen de woordbankgrootte verdubbelde).
Het is moeilijk te zeggen hoe deze resultaten zich verhouden tot andere gesynthetiseerde spraakproeven, zegt Marc Slutzky, een Noordwest-neuroloog die niet bij de nieuwe studie betrokken was, in een e-mail. Slutzky werkte onlangs aan een soortgelijk onderzoek dat gesynthetiseerde woorden rechtstreeks uit hersenschorsignalen produceerde, zonder de beweging van de stembanden te decoderen, en hij gelooft dat de resulterende spraakkwaliteit vergelijkbaar was - hoewel verschillen in prestatiestatistieken het moeilijk maken om direct te vergelijken.
Een opwindend aspect van het UCSF-onderzoek is echter dat de decoder sommige resultaten over de deelnemers kan generaliseren, zegt Slutzky. Een grote uitdaging voor dit soort onderzoek is dat het trainen van de decoderalgoritmen meestal vereist dat deelnemers spreken, maar de technologie is bedoeld voor patiënten die niet langer kunnen praten. In staat zijn om een deel van de training van het algoritme te generaliseren kan verder werken met verlamde patiënten mogelijk maken.
Om deze uitdaging aan te gaan, testten de onderzoekers het apparaat ook met een deelnemer die de zinnen in stilte imiteerde in plaats van ze hardop uit te spreken. Hoewel de resulterende zinnen niet zo nauwkeurig waren, zeggen de auteurs dat het feit dat synthese mogelijk was zelfs zonder vocalized spraak spannende implicaties heeft.
"Het was echt opmerkelijk om te ontdekken dat we nog steeds een audiosignaal konden genereren van een act die helemaal geen audio genereerde, " zei Josh Chartier, co-hoofdauteur van de afgestudeerde studente en bio-engineering aan UCSF, in de persconferentie .
Afbeelding van studie-auteur Gopala Anumanchipalli, PhD, met een voorbeeld van een reeks intracraniële elektroden van het type dat wordt gebruikt om hersenactiviteit in de huidige studie vast te leggen. (UCSF) Een ander doel voor toekomstig onderzoek is om real-time demonstraties van de decoder na te streven, zegt Anumanchipalli. De huidige studie was bedoeld als een proof of concept - de decoder werd apart van het gegevensverzamelingsproces ontwikkeld en het team testte niet de realtime snelheid van het vertalen van hersenactiviteit naar gesynthetiseerde spraak, hoewel dit het uiteindelijke doel van een klinisch hulpmiddel.
Die realtime synthese is iets dat moet worden verbeterd om een dergelijk apparaat in de toekomst bruikbaar te maken, zegt Jaimie Henderson, een neurochirurg van Stanford die niet bij het onderzoek was betrokken. Toch zegt hij dat de tweefasemethode van de auteur een opwindende nieuwe aanpak is en dat het gebruik van diepe leertechnologie nieuwe inzichten kan bieden in hoe spraak echt werkt.
"Voor mij is alleen al het idee om de onderliggende basis te onderzoeken van hoe spraak wordt geproduceerd bij mensen erg opwindend", zegt Henderson. "[Deze studie] begint een van onze meest menselijke capaciteiten op een fundamenteel niveau te verkennen."
