In de film Ready Player One van Steven Spielberg, gebaseerd op het boek van Ernest Cline uit 2011, betreden mensen een meeslepende wereld van virtual reality, de OASIS. Het meest boeiende aan de futuristische technologie in deze sciencefictionfilm waren niet de VR-bril, die niet zo ver weg lijkt van de headsets die momenteel worden verkocht door Oculus, HTC en anderen. Het was de betrokkenheid van een gevoel voorbij zicht en geluid: aanraking.
Personages droegen handschoenen met feedback waardoor ze de denkbeeldige objecten in hun handen konden voelen. Ze konden upgraden naar full body-pakken die de kracht van een stomp op de borst of het strelen van een streling reproduceerden. En toch zijn ook deze mogelijkheden misschien niet zo ver weg als we ons voorstellen.
We vertrouwen continu op (haptische) informatie, op manieren die we niet eens bewust herkennen. Zenuwen in onze huid, gewrichten, spieren en organen vertellen ons hoe onze lichamen zijn gepositioneerd, hoe strak we iets vasthouden, hoe het weer is, of dat een geliefde genegenheid toont door een knuffel. Over de hele wereld zijn technici nu bezig om realistische aanraaksensaties na te bootsen, voor videogames en meer. Betrokkenheid bij mens-computer-interacties zou robotcontrole, fysieke revalidatie, onderwijs, navigatie, communicatie en zelfs online winkelen verbeteren.
"In het verleden was haptics goed in het zichtbaar maken van dingen, met trillingen in je telefoon of de rumble packs in gaming controllers, " zegt Heather Culbertson, een computerwetenschapper aan de Universiteit van Zuid-Californië. "Maar nu is er een verschuiving geweest in de richting van dingen die natuurlijker aanvoelen, die het gevoel van natuurlijke materialen en natuurlijke interacties nabootsen."
De toekomst is niet alleen rooskleurig, maar ook gestructureerd.
* * *
Haptische apparaten kunnen in drie hoofdtypen worden gegroepeerd: grijpbaar, draagbaar en tastbaar. Denk aan joysticks voor grip. Een duidelijke toepassing is het bedienen van robots, zodat een operator kan voelen tegen welke weerstand de robot drijft.
Neem chirurgische robots, waarmee artsen vanuit de andere kant van de wereld kunnen opereren, of hulpmiddelen kunnen manipuleren die te klein zijn of in te kleine ruimtes voor hun handen. Talrijke onderzoeken hebben aangetoond dat het toevoegen van haptische feedback aan de besturing van deze robots de nauwkeurigheid verhoogt en weefselbeschadiging en operatietijd vermindert. Degenen met haptische feedback kunnen artsen ook trainen op patiënten die alleen in virtual reality bestaan, terwijl ze het gevoel krijgen dat ze daadwerkelijk snijden en hechten. Een van de studenten van Culbertson ontwikkelt momenteel tandheelkundige simulatoren zodat het eerste verkeerde boren van een tandartsstudent geen echte tand is.
Ingenieurs bouwen systemen om realistische aanraaksensaties over te brengen naar videogames, robotbesturing en meer, met een scala aan mogelijke toepassingen. (Met dank aan Knowable Magazine) Een idee krijgen van wat de robot onder jouw bevel doet, zou ook nuttig zijn voor het onschadelijk maken van bommen of het verwijderen van mensen uit ingestorte gebouwen. Of voor het repareren van een satelliet zonder geschikt te zijn voor een ruimtewandeling. Zelfs Disney heeft gekeken naar haptische telepresence-robots, voor veilige mens-robot-interacties. Ze ontwikkelden een systeem met pneumatische buizen die de robotarmen van een mensachtige verbinden met een spiegelset voor een mens om te begrijpen. De persoon kan de spiegelbot manipuleren zodat de eerste bot een ballon vasthoudt, een ei oppakt of een kind op de wangen klopt.
Op kleinere schaal heeft het laboratorium van robotica Jamie Paik van het Zwitserse Federale Instituut voor Technologie in Lausanne (EPFL) een draagbare haptische interface ontwikkeld met de naam Foldaway. Apparaten over de grootte en vorm van een vierkante onderzetter hebben drie scharnierende armen die opspringen en in het midden samenkomen. (Stefano Mintchev, een postdoc in het lab, noemt ze 'geminiaturiseerde origami-robots'.) Een klein plastic handvat kan bovenop de armen worden geplakt, waardoor een joystick ontstaat die in drie dimensies werkt - en de armen terugduwen om te geven de gebruiker een idee van de objecten waartegen ze duwen. In demo's heeft het team de apparaten gebruikt om een drone in de lucht te besturen, virtuele objecten samen te knijpen en de vorm van virtuele menselijke anatomie te voelen.
Er zijn bepaalde uitdagingen in het grijpen van haptiek die misschien onoverkomelijk lijken - bijvoorbeeld, hoe geeft u een gevoel van gewicht bij het grijpen en tillen van gewichtloze digitale objecten? Maar door neurowetenschappen te studeren, zijn ingenieurs erin geslaagd enkele oplossingen te vinden. Culbertson en collega's ontwikkelden een apparaat genaamd Grabity voor het zwaartekrachtprobleem. Het is een soort bankschroef die je vastgrijpt en knijpt om virtuele objecten op te pakken. Eenvoudig door op bepaalde manieren te vibreren, kan het de illusie van gewicht en traagheid veroorzaken.
Maar "het brein voor de gek houden gaat alleen zo ver", zegt Ed Colgate, een werktuigbouwkundig ingenieur aan de Northwestern University die werkt in haptiek. Het is soms gemakkelijk om haptische illusies te doorbreken. Naar zijn mening zullen ingenieurs op de lange termijn de natuurkunde van de echte wereld - gewicht en alles - zo getrouw mogelijk opnieuw moeten creëren. "Dat is een heel moeilijk probleem."
Het grijpbare haptische apparaat genaamd Grabity (onder) biedt de illusie van gewicht en traagheid bij het hanteren van virtuele objecten. Hier bootst het het gevoel van een blok na (boven). (Met dank aan het Stanford Shape Lab) Grijpapparatuur maakt vaak gebruik van kinesthetische sensaties: gevoelens van beweging, positie en kracht gemedieerd door zenuwen, niet alleen in onze huid maar ook in onze spieren, pezen en gewrichten. Draagbare apparaten daarentegen zijn meestal afhankelijk van tactiele sensaties - druk, wrijving of temperatuur - gemedieerd door zenuwen in de huid.
Een verscheidenheid aan experimentele apparaten wordt op de vinger gedragen en drukt met verschillende mate van kracht tegen het vingerkussen wanneer men objecten in virtual reality aanraakt. Maar een recent apparaat biedt dezelfde soort feedback zonder het vingerkussen te bedekken. In plaats daarvan wordt het gedragen waar men een ring zou kunnen dragen en bevat het motoren die de huid eronder uitrekken. Dat houdt de vingers vrij om te communiceren met objecten uit de echte wereld, terwijl ze nog steeds "virtuele" objecten detecteren - een handige functie voor zowel games als serieuze toepassingen.
In één test kon een persoon een echt stuk krijt vasthouden en druk voelen terwijl ze op een virtueel bord 'schreven' op grond van een haptische illusie: terwijl ze tegelijkertijd zagen dat het krijt contact maakte met het bord en hun huid voelde strekken, werden ze voor de gek gehouden om druk in hun vingertoppen te voelen.
Vaker communiceren draagbare haptische apparaten via trillingen. Het laboratorium van Culbertson werkt bijvoorbeeld aan een polsband die de drager begeleidt door te trillen in de richting waarin hij of zij moet draaien. En NeoSensory, een bedrijf opgericht door Stanford neurowetenschapper David Eagleman, ontwikkelt een vest met 32 trilmotoren dat werd tentoongesteld in een aflevering van HBO's sci-fi-serie Westworld, waar het ogenschijnlijk karakters hielp bij het identificeren van de richting van naderende vijanden.
Een van de eerste echte toepassingen van het vest is het vertalen van geluid in tactiele sensatie om gesproken taal begrijpelijker te maken voor mensen met ernstig of volledig gehoorverlies. Eagleman werkt ook aan het vertalen van aspecten van de visuele wereld in trillingen voor mensen die blind zijn. Andere inspanningen omvatten meer abstracte informatie zoals markt- en milieugegevens - in plaats van een raster dat aangeeft waar dingen ruimtelijk zijn, kan een complex patroon van trillingen de prijzen van een dozijn aandelen aangeven.
Deze afbeelding toont het ontwerp van een zacht, flexibel huidachtig materiaal dat zich aanpast aan het lichaam, voor draagbare haptische apparaten. Sensor- en actuatorlagen worden gescheiden door siliconenlagen. In de sensorlaag vertaalt loodzirkonaattitanaat (PZT) kracht naar elektrische lading voor feedback naar de computer. De actuatorlaag bevat kleine zakjes die zich vele malen per seconde met lucht kunnen vullen voor trillingsfeedback naar de drager. (Aangepast van HA Sonar et al / Frontiers in Robotics and AI 2016) Trilmotoren kunnen omvangrijk zijn, dus sommige laboratoria ontwikkelen meer comfortabele oplossingen. Het laboratorium van Paik bij EPFL werkt aan een zachte pneumatische actuator (SPA) huid - een vel flexibele siliconen van minder dan 2 millimeter dik dat bezaaid is met kleine luchtzakken. Ze kunnen tientallen keren per seconde onafhankelijk worden opgeblazen en leeggelaten en fungeren daardoor als pixels - of 'taxels' voor tactiele elementen - waardoor een raster van sensatie ontstaat. Ze kunnen gevoelens geven zoals de pakken in Ready Player One, of feedback geven over de positionering van robots of prothetische ledematen. SPA-skin is ook ingebed met sensoren gemaakt van een nieuwe, corrosiebestendige metaallegering waarmee dezelfde skin kan worden gebruikt voor computerinvoer wanneer de gebruiker erin knijpt.
Een nog dunnere haptische film - minder dan een halve millimeter dik - is ook in het verschiet, gemaakt door Novasentis en gemaakt van een nieuwe vorm van polyvinylideenfluoride-kunststof die sterkte, flexibiliteit en elektrische respons in balans brengt. Wanneer de film aan een zijde van een vel flexibel materiaal is gelaagd en een elektrische lading wordt aangebracht, trekt de film samen en buigt het vel en oefent druk uit op de huid. Novasentis levert het materiaal nu aan apparaatfabrikanten die het in handschoenen stoppen voor virtual reality en gaming.
"U kunt onderscheid maken tussen water en zand en steen", zegt Sri Peruvemba, vice-president marketing van het bedrijf. VR-ontwerpers kunnen ook abstractere representaties maken, zoals door sensatie geleverde berichten over de status van een game. "We kunnen een hele haptische taal creëren met onze technologie, " zegt Peruvemba.
Trillingen kunnen een ander soort haptische illusie produceren: het gevoel van trekken. Als een apparaat dat evenwijdig aan het huidoppervlak heen en weer vibreert, snel in de ene richting beweegt en langzaam, de andere kant op, vaak vele keren per seconde, voelt het alsof het de huid in de eerste richting trekt.
Terwijl de meeste wearables tactiele sensatie gebruiken, kunnen ze ook de spier-gewricht-peesinput van kinesthetische sensatie gebruiken. Ingenieurs hebben robotachtige exoskeletten ontwikkeld, een soort steigers die met sensoren en motoren aan het lichaam zijn bevestigd, die verlamde mensen kunnen helpen lopen, soldaten superkracht geven en mensen op afstand robots laten besturen. Een laboratorium bij EPFL heeft de FlyJacket ontwikkeld, die men draagt met armen recht naar de zijkanten, verbonden door zuigers in de taille. Het ziet er niet bijzonder vliegend uit, maar het stelt mensen in staat om de vlucht van drones vanuit de lucht te besturen door hun armen te bewegen en hun torso's te draaien. Als de drone een windvlaag voelt, doe jij dat ook.
De laatste categorie apparaten zijn aanraakbare interfaces, zoals smartphoneschermen die een kleine schok geven wanneer u op een app klikt. Het werk van Culbertson gaat verder dan eenvoudige stoten en zoemen. Ze simuleert textuur op oppervlakken met behulp van wat ze 'gegevensgestuurde haptiek' noemt. In plaats van gecompliceerde algoritmen of fysische modellen te schrijven om trillingen te genereren die echte simuleren, registreert ze wat er gebeurt wanneer iets over verschillende stoffen of andere materialen met verschillende snelheden wordt gesleept en druk. Vervolgens laat ze een oppervlak de trillingen afspelen wanneer een pen erover wordt gesleept. Toepassingen kunnen online winkelen en virtuele musea zijn.
Een aanraakbaar haptisch apparaat laat de gebruiker verschillende texturen "voelen", afhankelijk van welke trillingspatronen door de pen worden overgedragen. De trillingen veranderen afhankelijk van de snelheid waarmee de pen wordt bewogen of hoeveel druk de gebruiker uitoefent. Het doel is om ruwheid, hardheid en gladheid van oppervlakken realistisch te simuleren. (Met dank aan Heather Culbertson) Aanraakbare oppervlakken maken ook soorten illusies mogelijk. Bijvoorbeeld, zegt Culbertson, het spelen van het geluid van een knop die klikt terwijl je op een afbeelding van een knop tikt, geeft het gevoel dat de knop daadwerkelijk klikt. Of als het scherm onder iemands vinger lijkt te vervormen, kan het zachter aanvoelen. Mensen construeren perceptie door zicht, geluid, aanraking, smaak en geur samen te binden - en, zoals Culbertson zegt: "Het is heel gemakkelijk om je hersenen voor de gek te houden als je een zintuiglijke afwijking hebt tussen je zintuigen."
Realistische haptics voor VR kunnen voor altijd onhandig en duur zijn. Of technologie kan Ready Player One er uiteindelijk vreemd uit laten zien. In beide gevallen, zoals we kunnen zien met babystappen zoals het alomtegenwoordige gerommel van videogamecontrollers en eindeloos trillende telefoons en horloges, zijn haptische apparaten hier om te blijven en voegen ze een nieuwe dimensie aan ons digitale leven toe.
Knowable Magazine is een onafhankelijk journalistiek streven van Annual Reviews. 
