Vorig jaar maakte een groep Duitse computerwetenschappers golven door een nieuw computeralgoritme te demonstreren dat elk digitaal stilstaand beeld kon transformeren in kunstwerken die de schilderstijlen van meesters zoals Vincent van Gogh, Pablo Picasso en Edvard Munch nabootsen. Hoewel het een indrukwekkende prestatie was, leek het toepassen van dezelfde techniek op bewegende beelden destijds schandalig. Maar nu heeft een andere groep onderzoekers het ontdekt en snel en naadloos bewegende digitale meesterwerken geproduceerd, schrijft Carl Engelking voor Discover .
gerelateerde inhoud
- Deze animatiefilm over Van Gogh is volledig gemaakt van olieverfschilderijen
- Dit kunstmatige neurale netwerk genereert absurde pickup-lijnen
In een videodemonstratie pronken de programmeurs met de artistieke mogelijkheden van hun algoritme door scènes uit films en tv-shows zoals Ice Age en Miss Marple om te zetten in schilderachtige animaties met een muisklik. Maar het ontwikkelen van het algoritme was geen sinecure.
Om zo'n gedetailleerde transformatie te creëren, ontwikkelden computerwetenschapper Leon Gatys en zijn collega's van de Universiteit van Tübingen een diepgaand leeralgoritme dat werkt op een kunstmatig neuraal netwerk. Door na te bootsen hoe neuronen in het menselijk brein verbindingen maken, kunnen deze machine learning-systemen veel gecompliceerder taken uitvoeren dan elke oude laptop.
Dit is hoe het werkt: wanneer u een foto van een schilderij bekijkt of een film op uw laptop bekijkt, ziet u hoe uw computer de informatie in een bestand decodeert en op de juiste manier presenteert. Maar wanneer deze beelden via een neuraal netwerk worden verwerkt, kan de computer de vele verschillende informatielagen uit deze bestanden halen en stuk voor stuk uit elkaar halen.
De ene laag kan bijvoorbeeld de informatie bevatten voor de basiskleuren in de Sterrennacht van Van Gogh, terwijl de volgende een beetje meer detail en textuur toevoegt, enzovoort, volgens de MIT Technology Review . Het systeem kan vervolgens elke afzonderlijke laag afzonderlijk wijzigen voordat ze weer worden samengevoegd om een geheel nieuwe afbeelding te maken.
"We kunnen beide representaties onafhankelijk manipuleren om nieuwe, perceptueel betekenisvolle afbeeldingen te produceren." Schreef Gatys in een onderzoek gepubliceerd op de prepress arXiv-server.
Door dit systeem van laaggebaseerd leren toe te passen op schilderijen van Picasso en van Gogh, om er maar een paar te noemen, konden de onderzoekers een algoritme ontwikkelen dat de computer "leerde" om al deze informatie te interpreteren op een manier die de inhoud van een schilderen vanuit zijn stijl. Toen het eenmaal begreep hoe van Gogh penseelstreken en kleuren gebruikte, kon het die stijl vervolgens als een Photoshop-filter op een afbeelding toepassen en het in zijn iconische stijl effectief reproduceren, schreef Matt McFarland voor de Washington Post . Maar het toepassen van deze techniek op video leverde een hele reeks nieuwe problemen op.
"Vroeger vereiste het handmatig opnieuw tekenen van een afbeelding in een bepaalde artistieke stijl een professionele kunstenaar en een lange tijd, " schrijven Manuel Ruder en zijn team van de Universiteit van Freiburg in hun nieuwe studie, ook gepubliceerd op arXiv. "Dit alleen doen voor een videosequentie was onvoorstelbaar."
Toen Ruder en zijn collega's het algoritme voor het eerst probeerden toe te passen op video's, keerde de computer gobbledygook uit. Uiteindelijk realiseerden ze zich dat het programma elk frame van de video behandelde als een afzonderlijk stilstaand beeld, waardoor de video onregelmatig flikkerde. Om dit probleem te omzeilen, stellen de onderzoekers beperkingen aan het algoritme dat ervoor zorgt dat de computer niet teveel tussen frames afwijkt, schrijft Engelking. Daardoor kon het programma tot rust komen en een consistente stijl toepassen op de hele video.
Het algoritme is niet perfect en heeft vaak moeite met het verwerken van grotere en snellere bewegingen. Dit is echter nog steeds een belangrijke stap voorwaarts in de manier waarop computers video kunnen weergeven en wijzigen. Hoewel het nog in de beginfase is, kunnen toekomstige algoritmen dit effect mogelijk toepassen op video's die zijn gemaakt via een smartphone-app of zelfs virtual reality-versies van uw favoriete schilderijen weergeven, meldt de MIT Technology Review .
Het idee om de stijl van een kunstenaar samen te vatten tot een reeks gegevenspunten kan sommige mensen bekoren, het opent ook de deuren naar alle nieuwe soorten kunst die nooit eerder mogelijk werden geacht.
