Voor het opnemen van een scène in een film kunnen tientallen opnames nodig zijn, soms meer. In Gone Girl zouden regisseur David Fincher gemiddeld 50 opnames per scène hebben gemaakt. Voor The Social Network acteurs Rooney Mara en Jesse Eisenberg speelden de openingsscène 99 keer (opnieuw geregisseerd door Fincher; blijkbaar is hij hier berucht om). The Shining van Stanley Kubrick omvat 127 opnames van de beruchte scène waarbij Wendy de trap opzwaait met een honkbalknuppel naar Jack, algemeen beschouwd als de meeste opnames per scène van elke film in de geschiedenis.
Een nieuwe software, van Disney Research in samenwerking met de Universiteit van Surrey, kan helpen het aantal benodigde takes te verminderen, waardoor tijd en geld worden bespaard. FaceDirector combineert beelden van verschillende takes, waardoor het mogelijk wordt om precieze emoties op de gezichten van acteurs te bewerken.
"Het produceren van een film kan erg duur zijn, dus het doel van dit project was om het proces efficiënter te maken", zegt Derek Bradley, een computerwetenschapper bij Disney Research in Zürich, die de software heeft helpen ontwikkelen.
Disney Research is een internationale groep onderzoekslaboratoria gericht op het soort innovatie dat nuttig kan zijn voor Disney, met locaties in Los Angeles, Pittsburgh, Boston en Zürich. Recente projecten omvatten een muurklimrobot, een "augmented reality-kleurboek" waar kinderen een afbeelding kunnen kleuren die een bewegend 3D-personage wordt in een app, en een vest voor kinderen dat sensaties zoals trillingen of het gevoel van regendruppels geeft om overeen te komen met verhalenboek scènes. Het team achter FaceDirector heeft ongeveer een jaar aan het project gewerkt voordat het afgelopen december zijn onderzoek presenteerde op de Internationale Conferentie over Computer Vision in Santiago, Chili.
Uitzoeken hoe verschillende takes te synchroniseren was het hoofddoel en de grootste uitdaging van het project. Acteurs kunnen hun hoofd gebogen houden vanuit verschillende hoeken van nemen tot nemen, in verschillende tonen spreken of op verschillende tijdstippen pauzeren. Om dit op te lossen, heeft het team een programma ontwikkeld dat gezichtsuitdrukkingen en audiosignalen analyseert. Gezichtsuitdrukkingen worden gevolgd door gezichtspunten in kaart te brengen, zoals de hoeken van de ogen en mond. Het programma bepaalt vervolgens welke kaders in elkaar passen, zoals puzzelstukjes. Elk puzzelstuk heeft meerdere partners, zodat een regisseur of editor vervolgens de beste combinatie kan kiezen om de gewenste gezichtsuitdrukking te creëren.
Om materiaal te creëren om mee te experimenteren, bracht het team een groep studenten van de Universiteit van de Kunsten van Zürich binnen. De studenten speelden verschillende opnames van een verzonnen dialoog en deden telkens verschillende gezichtsuitdrukkingen - blij, boos, opgewonden enzovoort. Het team was toen in staat om de software te gebruiken om een willekeurig aantal combinaties van gezichtsuitdrukkingen te creëren die genuanceerder emoties overbrachten - verdrietig en een beetje boos, opgewonden maar angstig, enzovoort. Ze waren in staat om verschillende takes te combineren - laten we zeggen een bange en een neutrale - om stijgende en dalende emoties te creëren.
Het FaceDirector-team weet niet zeker hoe of wanneer de software commercieel beschikbaar kan worden. Het product werkt nog steeds het beste wanneer het wordt gebruikt met scènes die zijn gefilmd terwijl u voor een statische achtergrond zit. Bewegende acteurs en bewegend buitenlandschap (denk aan wuivende bomen, passerende auto's) vormen meer een uitdaging voor synchronisatie.
