Een etherisch geluid, met een soepele, rangy melodie die door toetsen schuifelt, en een zachte tik voor een beat, vult een lab in Toronto's Holland Bloorview Kids Rehabilitation Hospital. Mogelijk gemaakt door draagbare sensoren op de vingertoppen en borst van een kind die pols, ademhaling, temperatuur en zweet volgen, en een algoritme dat die gegevens interpreteert als geluid, is de elektronische uitvoer niet echt dansbaar. Maar de veranderingen in tempo, melodie en andere muzikale elementen geven in plaats daarvan inzicht in de emoties van het kind.
Dit is biomusisch, een emotionele interface die fysiologische signalen van emotionele toestanden bijhoudt en vertaalt in muziek. Uitgevonden door een team van Holland Bloorview, geleid door biomedische ingenieurs Stefanie Blain-Moraes en Elaine Biddiss, de bedoeling is om een extra communicatiemiddel te bieden aan mensen die hun emotionele toestand misschien niet gemakkelijk uiten, inclusief maar niet beperkt tot kinderen met autismespectrum stoornis of met ernstige intellectuele en meervoudige handicaps. In een onderzoek uit 2016 in Frontiers in Neuroscience hebben Biddiss en haar coauteurs de biomusic van 15 kinderen rond de leeftijd van 10 jaar vastgelegd - zowel kinderen met autisme spectrum stoornis en meestal ontwikkelende kinderen - in angst opwekkende en niet-angst opwekkende situaties en speelden deze terug naar volwassenen om te zien of ze het verschil konden zien. Ze konden. (Onderaan het onderzoek kun je de biomusic downloaden en beluisteren.)
"Dit zijn kinderen die mogelijk niet in staat zijn om te communiceren via traditionele paden, wat het een beetje moeilijk maakt voor hun verzorgers", zegt Stephanie Cheung, een promovendus in het laboratorium van Biddiss en hoofdauteur van de studie. "Het idee is om dit te gebruiken als een manier voor zorgverleners om te luisteren naar hoe die signalen veranderen, en op die manier het gevoel van de persoon waarmee ze communiceren, te bepalen."
Terwijl de studies van Biddiss dat atmosferische geluid gebruikten, hoeft het geen bepaald soort muziek te zijn, wijst Blain-Moraes, een assistent-professor in fysiotherapie en ergotherapie die het Biosignal Interaction and Personhood Technology Lab aan de McGill University runt. Blain-Moraes is een voormalig afgestudeerde student bij Biddiss van Holland Bloorview en heeft geholpen bij het uitvinden van het oorspronkelijke systeem. Een van haar aanpassingen is de optie om verschillende 'sound skins' te gebruiken die ruis toepassen die de gebruiker prettig vindt. Het doel is niet om een technologie voor een enkele groep te ontwerpen.
"We zoeken veel naar wat we resonant design noemen", zegt ze. "We proberen niet te ontwerpen voor een aandoening, we willen ontwerpen voor een behoefte, en vaak resoneren die behoeften in verschillende omstandigheden." Dit kan een zorgverlener zijn die meer informatie van haar patiënt wil, of een moeder die een alternatieve manier om een baby in een andere kamer te controleren. Het kan van toepassing zijn op een persoon die zijn eigen emotionele toestand wil volgen, of iemand met een ouder wordende ouder die zich minder goed heeft kunnen uiten.
In de oorspronkelijke staat bevatte de technologie een vingertopsensor die de hartslag, huidtemperatuur en elektrodermale activiteit (transpiratie) volgde. Deze werden respectievelijk uitgedrukt in de beat, toonsoort en melodie van de muziek. Een extra borstband volgde borstuitbreiding, die in de muziek werd geïntegreerd als een soort grommend geluid. Elk van deze fysiologische kenmerken is aan verandering onderhevig wanneer een persoon zich angstig voelt: transpiratie, hartslag en ademhaling nemen allemaal toe, terwijl de bloedvaten samentrekken, waardoor de huidtemperatuur daalt.
Maar er zijn nog veel hindernissen te overwinnen, technologisch en anderszins. Idealiter is het systeem minder opdringerig. Blain-Moraes implementeerde een methode om de ademhaling te schatten op basis van de hoeveelheid bloed in de vinger, om de borstriem te vervangen, en plaatste andere sensoren in een FitBit-achtige polsband. Om het allemaal te integreren in een consumentenproduct zoals een Apple Watch, is het niet ondenkbaar, maar vereist kleinere, betere sensoren dan we nu beschikbaar hebben.
"Er is een belangrijk onderscheid dat u moet maken tussen veranderingen in uw lichaam die de homeostase handhaven en veranderingen in uw lichaam die specifiek zijn voor emotionele en mentale toestanden", zegt Blain-Moraes. "Je hebt sensoren nodig die gevoelig genoeg zijn om deze veranderingen te kunnen opvangen - en ze zijn meestal veel kleiner en sneller - die gerelateerd zijn aan fysiologische, mentale en emotionele toestanden."
Dan zijn er de wetenschappelijke uitdagingen. Het detecteren van angst leek te werken, vergeleken met een ontspannen toestand. Maar hoe zou de technologie het doen als angst en opwinding worden vergeleken, twee toestanden met veel van dezelfde fysiologische signalen, laat staan complexe en overlappende emoties? Gebruik van de context van de situatie kan helpen, maar het proces wordt verder gecompliceerd door de gebruikers - kinderen met autismespectrumstoornis vertonen niet altijd dezelfde fysiologische signalen, soms vertonen ze een verhoogde hartslag in niet-angsttoestanden, met een smaller bereik van electrodermale activiteit en verschillende huidtemperatuurreacties.
"Biomuziek en sonificatietechnologieën zijn een interessante benadering voor het communiceren van emotionele toestanden", zegt Miriam Lense, een klinisch psycholoog en onderzoeksinstructeur bij het Vanderbilt University Medical Center in het programma voor muziek, geest en samenleving. "Het valt nog te bezien hoe goed deze technologie toestanden kan onderscheiden die overlappende fysiologische output hebben - bijvoorbeeld, opwinding en angst impliceren verhoogde opwinding - evenals gemengde en fluctuerende toestanden. In verschillende populaties en voor verschillende individuen kunnen er verschillen zijn in hoe toestanden fysiologisch worden gemanifesteerd. "
Tot slot, en het meest problematisch, zijn er ethische dilemma's. Wat biomusic doet, is zeer persoonlijke informatie - iemands emotionele toestand - publiekelijk uitzenden. In veel van de gevallen hebben de mensen in kwestie niet de mogelijkheid om toestemming te communiceren. En wanneer een persoon niet in staat is om de juistheid van die informatie te verifiëren - zeg dat ze zich in feite angstig voelen - kan die persoon misschien een misverstand niet corrigeren.
"Het is zoals met veel ethische kwesties, er is geen recht of er is geen fout", zegt Biddiss. "Het kan ook als verkeerd worden beschouwd om een persoon een communicatiepad met zijn geliefden te weigeren."
In een worst-case scenario kan dit uitkomen in een terugkoppeling van gênante biomuziek. Ooit droeg Blain-Moraes tijdens een lezing een biomusisch systeem. Toen haar een moeilijke vraag werd gesteld, werd de biologie intenser, waardoor iedereen lachte, wat haar in verlegenheid bracht, dus het werd nog intenser en iedereen lachte meer - enzovoort.
Ondanks deze problemen vordert biomusic als een technologie. Het is eenvoudig te interpreteren en vereist geen onverdeelde visuele aandacht. Het team van Blain-Moraes bij McGill werkt toe naar een app met bijbehorende sensoren. Ze bevinden zich in de onderzoeks- en ontwerpfase, zegt ze, en delen prototypes met zorgverleners en patiënten met dementie of autisme om ervoor te zorgen dat het een participatief proces is. In een eerdere studie in Augmented and Alternative Communication van Blain-Moraes, Biddiss en verschillende anderen beschouwden ouders en verzorgers biomusic als een krachtig en positief hulpmiddel, dat het verfrissend en humanistisch noemde.
"Dit is echt bedoeld als een alomtegenwoordig hulpmiddel, dat kan worden gebruikt om mensen meer bewust te maken van hun emoties, " zegt Blain-Moraes.
