Het menselijke gezicht wordt, afhankelijk van hoe je ze telt, aangedreven door tussen de 23 en 43 spieren, waarvan vele aan de huid hechten en geen duidelijke functie hebben om te overleven. Een buitenaards wezen dat een menselijk exemplaar afzonderlijk onderzoekt, zou niet weten wat hij ervan moet denken. Door aan het voorhoofd, wenkbrauwen, lippen en wangen te trekken, zenden de spieren een schat aan informatie uit over onze emotionele toestand, interesse en alertheid. Het is een opmerkelijk efficiënt communicatiemiddel - bijna onmiddellijk, meestal nauwkeurig, en overstijgt de meeste taal- en culturele barrières. Maar soms zijn de gegevens verloren, genegeerd of verkeerd geïnterpreteerd. Als een houthakker in het bos glimlacht zonder dat er iemand in de buurt is om hem te zien, was hij dan echt gelukkig?
Van dit verhaal
[×] SLUITEN
Tot ziens emoticons. De wetenschapper ontwikkelt technologie die onze uitdrukkingen kan detecteren en lezen
Video: Smithsonian Ingenuity Awards 2015: Rana el Kaliouby
Gerelateerde lezingen
Emotionele intelligentie: waarom het meer kan uitmaken dan IQ
KopenRana el Kaliouby haat het om te zien dat die informatie verloren gaat. Ik ontmoet el Kaliouby in haar kleine kantoor in Waltham, Massachusetts, en zie haar haar samentrekkende hoofdspier zygomaticus samentrekken, haar mondhoeken opheffen en haar orbicularis oculi, die de buitenste ooghoeken kreuken. Ze glimlacht en ik leid af dat ze me verwelkomt, zelfs voordat ze het woord 'hallo' krijgt. Maar veel sociale uitwisselingen vinden vandaag plaats zonder real-time face-to-face interactie. Dat is waar El Kaliouby en haar bedrijf binnenkomen.
El Kaliouby, die 37 is, lacht vaak. Ze heeft een rond, aangenaam, expressief gezicht en een zorgzame manier, die haar positie als mede-oprichter van een snelgroeiende tech-start-up - een anti-Bezos, een niet-Zuckerberg, verloochent. Haar bedrijf, Affectiva, dat ze in 2009 oprichtte met een toenmalige collega bij het MIT Media Lab, Rosalind Picard, neemt een vooraanstaande positie in op de technologie om computers te gebruiken om menselijke gezichtsuitdrukkingen te detecteren en te interpreteren. Dit veld, bekend als 'affective computing', probeert de communicatiekloof tussen mensen en machines te dichten door een nieuwe manier van interactie toe te voegen, waaronder de non-verbale taal van glimlachen, grijns en opgetrokken wenkbrauwen. "Het uitgangspunt van wat we doen is dat emoties belangrijk zijn", zegt el Kaliouby. “Emoties verstoren ons rationele denken niet, maar sturen het aan en informeren het. Maar ze ontbreken in onze digitale ervaring. Uw smartphone weet wie u bent en waar u bent, maar hij weet niet hoe u zich voelt. We willen dat oplossen. "
Waarom moet je smartphone weten hoe je je voelt? El Kaliouby heeft een groot aantal antwoorden, allemaal gebaseerd op de schijnbaar grenzeloze integratie van computers in de routines van ons dagelijks leven. Ze stelt zich 'technologie voor om verlichting, temperatuur en muziek in onze huizen te regelen als reactie op onze gemoedstoestanden', of apps die de inhoud van een film kunnen aanpassen op basis van je onderbewuste reacties terwijl je kijkt. Ze stelt zich programma's voor die uw expressie kunnen volgen terwijl u rijdt en waarschuwt voor onoplettendheid, slaperigheid of woede. Ze glimlacht om de vermelding van haar favoriete idee - "een koelkast die kan voelen wanneer je gestrest bent en het ijs opsluit."
In het bijzonder denkt ze dat Affectiva, en de technologie die het helpt de mainstream in te luiden, een zegen zal zijn voor de gezondheidszorg. Een onderzoeker die een nieuw medicijn test, of een therapeut die een patiënt behandelt, krijgt alleen met tussenpozen feedback, afhankelijk van alle problemen van zelfrapportage - bijvoorbeeld de onbewuste wens om de arts te plezieren of selectieve herinnering die de voorkeur geeft aan de meest recente herinneringen . El Kaliouby stelt zich een programma voor dat op de achtergrond van de laptop of telefoon van het onderwerp wordt uitgevoerd en dat een momentopname van zijn of haar gemoedstoestand in de loop van een bepaalde periode (een dag, een maand) kan samenstellen en dit kan correleren met de tijd of iets anders dat uw apparaat kan meten of volgen. "Het zou zelfs geen onderdeel van een behandelingsprogramma hoeven te zijn", mijmert ze. "Je zou het gewoon op je telefoon kunnen hebben en het vertelt je, elke keer dat 'X' roept, heb je een negatieve uitdrukking, en dat vertelt je iets dat je misschien nog niet wist."
Abonneer je nu op het Smithsonian magazine voor slechts $ 12
Dit verhaal is een selectie uit het decembernummer van Smithsonian magazine.
KopenEl Kaliouby promoot affectieve informatica als de logische volgende stap in de overgang van toetsenbord naar muis naar touchscreen naar spraakherkenning. In het voorjaar bracht Affectiva zijn eerste commerciële software-ontwikkelingskit uit, die ontwikkelaars, die geïnteresseerd zijn in de realtime emotionele toestanden van gebruikers, in hun eigen programma's kunnen opnemen - bijvoorbeeld muziekspelers of gaming- of dating-apps. En juist dit najaar lanceerde Affectiva Emotion As a Service, een cloud-gebaseerd programma waarnaar klanten video's kunnen uploaden voor analyse. Wie zou dit kunnen gebruiken? Een kandidaat die binnenkort wordt geïnterviewd voor een baan, die zich zorgen maakt over angstig of verveeld lijken of zelfs te veel glimlachen. Of een luchtvaartmaatschappij die stewardessen inhuurt, met honderden videotoepassingen om door te speuren op zoek naar degenen die een overtuigende glimlach kunnen beheren terwijl ze passagiers afscheid nemen. (Een echte glimlach, waarbij de spieren in de hoeken van de ogen worden samengetrokken, wordt een 'Duchenne'-glimlach genoemd, genoemd naar de 19e-eeuwse anatomist; het tegenovergestelde, een gedwongen glimlach die alleen de mond gebruikt, is eigenlijk soms een 'Pan Am'-glimlach genoemd.)
En natuurlijk zijn de apparaten waarop deze software draait allemaal verbonden met internet, zodat de informatie die ze verzamelen onmiddellijk wordt verzameld, gezeefd en in een netwerk wordt geplaatst op de manier waarop sociale media-apps populaire onderwerpen of persoonlijkheden identificeren. Misschien gecompileerd in zoiets als een Affectiva Mood Index, een numerieke beschrijving van het grove nationale geluk, of onderverdeeld in regio's waar glimlachen of frons momenteel populair zijn.
Affectiva's basisprogramma analyseert het gezicht 20 keer per seconde voor 46 gelokaliseerde uitingen van geluk, verdriet, verrassing, angst, woede, walging en minachting, plus interesse en verwarring. (Naomi Shavin / Smithsonian) Tot nu toe waren de belangrijkste klanten van Affectiva advertentie-, marketing- en mediabedrijven. De software automatiseert het proces van het runnen van een focusgroep, het omslachtige ritueel van het samenbrengen van een dozijn mensen in een kamer om hun mening te geven over een nieuw product, tv-serie of advertentiecampagne; het registreert reacties direct, zonder dat een deelnemer een wijzerplaat hoeft te draaien of een vragenlijst moet beantwoorden als reactie op een presentatie. Bovendien breidt de software de potentiële focusgroep uit naar de hele wereld, of op zijn minst de substantiële fractie daarvan met een computer of mobiel apparaat met webcam.
Feedback van Affectiva's meedogenloze, alziende blik heeft geholpen bij het vormgeven van een netwerk-tv-sitcom, waarbij twee personages in de vergetelheid raakten voor de zonde van het niet glimlachen van kijkers. (El Kaliouby identificeert de show of de personages niet.) De software werd gebruikt om een 'smile sampler' te bouwen, een machine die snoepjes uitdeelde aan klanten die in de camera glimlachten. Met meer onderzoek zou het waarschijnlijk nuttig kunnen zijn voor crowd surveillance op luchthavens, of om potentiële winkeldieven te identificeren, of als leugendetector.
Maar el Kaliouby heeft zich tegen deze sluiktoepassingen verzet, hoe lucratief ze ook mogen zijn. Ze denkt dat affective computing de wereld zal veranderen, inclusief, maar geenszins beperkt tot, de verkoop van candybars. "Het ethos van ons bedrijf, " zegt ze, "is om deze technologie te gebruiken om het leven van mensen te verbeteren en hen te helpen beter te communiceren, niet alleen om adverteerders te helpen meer producten te verkopen."
**********
In tegenstelling tot veel tech-ondernemers stond rijk worden niet op de oorspronkelijke agenda van el Kaliouby. Geboren in Caïro door Egyptische ouders die beiden in technologie werken, studeerde ze informatica aan de American University in Caïro, waar ze in 1998 afstudeerde, rond de tijd dat computers krachtig genoeg werden voor onderzoekers om na te denken over wat ze in menselijke termen is emotionele intelligentie genoemd.
Ze bleef informatica studeren aan de Universiteit van Cambridge en arriveerde vlak na de aanslagen op Amerika van 11 september 2001. Haar ouders dachten dat ze vanwege haar afkomst het risico liep gearresteerd, lastiggevallen of erger te worden. Maar hoewel ze tot een paar jaar geleden een moslimhoofddeksel droeg, noch in Cambridge, Engeland, noch in Cambridge, Massachusetts, waar ze in 2006 verhuisde om lid te worden van het MIT Media Lab, had ze ooit last van haar religie of uiterlijk . "Ik denk dat het komt omdat ik veel lach", zegt ze glimlachend.
De Franse anatoom Duchenne publiceerde historische studies van menselijke gezichtsuitdrukkingen. (Bridgeman afbeeldingen) Toen ze in Cambridge was, was ze geïnteresseerd geraakt in het probleem van autisme, met name de moeilijkheid die autistische kinderen hebben bij het lezen van gezichtsuitdrukkingen. Ze stelde voor om een 'emotioneel gehoorapparaat' te bouwen dat zou kunnen worden gedragen om gezichten te lezen en de drager passend gedrag te geven. Aanvankelijk afgewezen voor een subsidie van de National Science Foundation op grond van het feit dat het project te moeilijk was, bouwden zij en haar collega's een prototype, bestaande uit een bril uitgerust met een kleine camera, knipperende lichten en een hoofdtelefoon, niet anders dan een vroege versie van Google Glass. Een tweede subsidieaanvraag was succesvol en nadat ze naar MIT was verhuisd, werkten zij en haar team de komende drie jaar om het te perfectioneren en te testen op een school in Rhode Island. El Kaliouby beschrijft het als "een onderzoeksproject en een succesvol project" - de autistische kinderen die het gebruikten, hadden overweldigend positieve ervaringen - maar in 2008, toen de subsidie eindigde, kreeg ze een moment van afrekening te wachten. De commerciële belangstelling voor affectief computergebruik groeide en ze wilde het zien groeien en bloeien; haar inspanningen om de bril te ontwikkelen zou beperken tot een klein deel van het potentiële gebruik. Dus samen met Picard spinde ze Affectiva af, terwijl ze hoopte dat een ander bedrijf het emotionele gehoorapparaat zou oppakken en op de markt zou brengen.
Toen Affectiva werd gevormd, koos het handjevol 'teamleden' waaruit het bedrijf bestond, elk een waarde die ze wilden belichamen, zoals 'leren' of 'sociale verantwoordelijkheid' of 'plezier'. Van haar, als strategie- en wetenschapsofficier, was "passie". Het 20-koppige bedrijf wordt gerund als een quasi-democratie, met halfjaarlijkse vergaderingen waarop werknemers stemmen over de prioriteiten die ze de komende zes maanden na te streven. Haar kantoor heeft een whiteboard bedekt met tekeningen van de jonge dochter van een van haar collega's; ze heeft een 6-jarige zoon, Adam, en een 12-jarige dochter, Jana, die met haar in de buitenwijken van Boston woont (hun vader woont in Egypte). Haar manier van doen is mild en attent; een uur na een ochtendvergadering biedt ze aan om een broodje te bestellen voor een bezoeker, hoewel ze zelf de lunch overslaat. "Het is Ramadan voor mij, " zegt ze glimlachend, "maar het is geen Ramadan voor jou."
Ze zet bezoekers achter een bureau, tegenover een monitor en een webcam; de software lokaliseert het gezicht van de bezoeker en trekt er een doos omheen op het scherm. Het identificeert een reeks te volgen punten: de hoeken van de ogen en mond, het puntje van de neus, enzovoort. Twintig keer per seconde zoekt de software naar "actie-eenheden", het vaak vluchtige spel van spieren over het gezicht. Er zijn er 46, volgens het standaardclassificatiesysteem, het Facial Action Coding System (FACS). Ze omvatten binnenste en buitenste wenkbrauwen, dimplers, knipperingen, knipogen en lip tuiten, trechters, pressors en zuigt. In het standaardprogramma van Affectiva worden op elk gewenst moment ongeveer 15 monsters genomen en geanalyseerd op uitingen van zeven basisemoties: geluk, verdriet, verrassing, angst, woede, walging en minachting, plus interesse en verwarring. Glimlach en je ziet de mate van geluk omhoog schieten; krul je lip in een grijns en het programma merkt je walging op.
Of, beter gezegd, je uitdrukking van walging. Het hele uitgangspunt van affectief computergebruik berust op wat neerkomt op een sprong van vertrouwen, dat een glimlach een gevoel van geluk, plezier of plezier overbrengt. Natuurlijk bevinden mensen zich in dezelfde positie: we kunnen voor de gek gehouden worden door een valse glimlach of schijnwoede, dus we kunnen niet echt meer verwachten van een computerprogramma, althans nog niet.
In de loop van de tijd heeft Affectiva een archief gebouwd van meer dan drie miljoen video's met gezichten, geüpload door internetgebruikers die zijn gerekruteerd uit ongeveer 75 landen over de hele wereld. Honderdduizenden hiervan zijn geanalyseerd door getrainde waarnemers en gecodeerd voor FACS-actie-eenheden - een monumentale onderneming, aangezien de video's gemiddeld ongeveer 45 seconden duren en elk ongeveer vijf keer zo lang duurt om te verwerken. De resultaten van de menselijke codeurs werden op hun beurt gebruikt om de algoritmen van het bedrijf te 'trainen', die de rest in realtime verwerkten. De hele database bevat nu ongeveer 40 miljard "emotiegegevenspunten", een bron die el Kaliouby heeft, die Affectiva onderscheidt van andere bedrijven in hetzelfde veld, zoals het in Californië gevestigde Emotient, waarschijnlijk de naaste concurrent.
(Grafiek: 5W Infographics; Bron: Daniel McDuff, MIT Media Lab, Affectiva) Daniel McDuff, die zich bij Affectiva van MIT Media Lab voegde en als onderzoeksdirecteur fungeert, bestudeert deze troef voortdurend voor extra inzichten in de uitdrukking van emoties. Hoe verschillen ze per leeftijd, geslacht en cultuur? (Misschien verrassend, heeft McDuff ontdekt dat ouderen expressiever zijn, vooral van positieve emoties, dan jongere.) Kunnen we betrouwbaar minachting, schaamte, verveling, angst meten? Wanneer duidt een voorhoofd op verwarring en wanneer duidt dit op concentratie? Hoe kunnen we onderscheid maken tussen een uitdrukking van angst en een uitdrukking die verrassing betekent? (Hint: actie-eenheid 1, de "binnenste wenkbrauwverhoger", is de marker voor angst; actie-eenheid 2, de "buitenste wenkbrauwverhoger", geeft verrassing aan.) Er is, zegt hij, alle reden om te geloven dat het programma zal doorgaan om beter te worden in het detecteren van uitdrukkingen (hoewel het misschien nooit het grootste obstakel van allemaal overwint: Botox).
Op mijn verzoek gaf McDuff het programma een van de grote klassieke problemen van emotiedetectie, de Mona Lisa, wiens enigmatische quasi-smile de kijkers 500 jaar lang heeft geïntrigeerd. Met het voorbehoud dat de software het beste werkt bij het verplaatsen van expressies, niet statische beelden, meldde hij dat het geen bewijs vond van een echte glimlach door La Gioconda, maar eerder een combinatie van actie-eenheid 28 (liprol) en 24 (lippen tegen elkaar gedrukt), wat mogelijk duidt op enig niveau van ongemak.
**********
'Ik praat nu tegen je', zegt el Kaliouby, 'en ik zie je je interesse meten in wat ik zeg. Moet ik vertragen en meer uitleggen? Moet ik naar een ander onderwerp gaan? Stel je nu voor dat ik een webinar geef aan een grote groep die ik niet kan zien of horen. Ik krijg geen feedback, er is geen manier om te zien of een grap werkte of plat viel, of mensen verloofd of verveeld zijn. Zou het niet geweldig zijn om die feedback in realtime, geaggregeerd, van moment tot moment te krijgen terwijl ik verder ga? '
Ze speelt een advertentie voor Jibo, een 'sociale robot' die kan worden gereserveerd op de crowd-funding website Indiegogo en ontwikkeld door een voormalige MIT-collega, Cynthia Breazeal. Jibo ziet eruit als een hightech lavalamp, zit op een tafel en scant zijn omgeving, identificeert individuen op basis van gezicht en communiceert met hen - berichten doorsturen, herinneringen versturen, routine-telefoongesprekken voeren, zelfs chatten. Dit is een andere potentiële toepassing voor de software van Affectiva - de bedrijven zijn in gesprek - en het is "een zeer opwindend vooruitzicht", zegt el Kaliouby.
Spannend voor sommigen, maar het vooruitzicht van emotieverwerkende robots is alarmerend voor anderen. Sherry Turkle, die lang heeft bestudeerd hoe mensen omgaan met computers, waarschuwt in haar nieuwe boek Reclaiming Conversation: The Power of Talk in a Digital Age, over het 'robotmoment', wanneer machines het menselijke gezelschap beginnen te vervangen. Turkle gelooft dat wetenschappers zoals el Kaliouby en haar team kunnen doen wat ze zeggen dat ze zullen doen. "Dit zijn allemaal briljante, begaafde mensen die briljant werk doen", zegt ze. En ze is het ermee eens dat in bepaalde contexten - gevaarlijke omgevingen, zoals in de ruimte of rond zware machines, waar je elke mogelijke communicatiemodus wilt inschakelen - affectief computergebruik een rol speelt. "Maar de volgende stap", zegt ze, "volgt helemaal niet. De volgende stap is, laten we een robotvriend maken. Ik heb ouders geïnterviewd die blij zijn dat hun kinderen met Siri praten, en ik denk dat dit ons niet de weg op voert waar we naartoe willen. We definiëren onszelf als menselijke wezens door met wie we omgaan, en het heeft geen zin om je gevoel van eigenwaarde te vormen met betrekking tot een machine. Waarom zou je willen dat een computer weet of je verdrietig bent? '
Zelfs El Kaliouby is geneigd in te stemmen dat "we meer tijd doorbrengen dan we zouden moeten met onze apparaten", uiteraard met het oog op haar preteen dochter, wiens blik op haar smartphonescherm wordt vergrendeld.
Maar ze beschouwt de trend naar steeds grotere connectiviteit als onomkeerbaar, en ze vindt dat, hoewel gebruikers zich altijd moeten aanmelden, we er net zo goed het beste van kunnen maken. Ze voorspelt dat onze apparaten "een emotiechip en een reeks apps zullen hebben die het gebruiken op een manier die voldoende waarde toevoegt aan ons leven dat opweegt tegen de zorgen van mensen bij het delen van deze gegevens." Ze trekt een analogie met GPS-apparaten: affectieve computergebruik kan help ons emotionele ruimte te navigeren op dezelfde manier als telefoon-apps ons helpen om in fysieke ruimte rond te komen. "Iedereen maakte zich zorgen over locatiedetectieapparatuur toen ze voor het eerst uitkwamen: ze tastten onze privacy aan, ze volgden ons de hele tijd, " zegt ze. “Alleen nu zouden we allemaal verdwaald zijn zonder Google Maps op onze telefoons. Ik denk dat dit hetzelfde zal zijn. '
**********
