Computers domineren mensen al tientallen jaren in een-op-een-spellen zoals schaken, maar kunstmatige intelligentie (AI) krijgen om samen te werken met teamgenoten is een beetje lastiger. Nu hebben onderzoekers van het DeepMind-project van Google AI-spelers geleerd samen te werken in teams met zowel mensen als andere computers om deel te nemen aan de videogame Quake III Arena uit 1999.
Edd Gent at Science meldt dat wanneer AI slechts één tegenstander heeft, het meestal vrij goed doet, omdat het alleen anticipeert op de mogelijke bewegingen van een enkele geest. Maar teamwerk is iets heel anders, omdat het acties omvat waar computers niet traditioneel goed in zijn, zoals voorspellen hoe een groep teamgenoten zich zal gedragen. Om AI echt nuttig te maken, moet het leren samenwerken met andere intelligenties.
Het DeepMind-team van Google legt in een blogpost uit:
“Miljarden mensen bewonen de planeet, elk met hun eigen individuele doelen en acties, maar nog steeds in staat om samen te komen via teams, organisaties en samenlevingen in indrukwekkende vertoningen van collectieve intelligentie. Dit is een instelling die we multi-agent leren noemen: veel individuele agenten moeten onafhankelijk handelen, maar toch leren omgaan en samenwerken met andere agenten. Dit is een enorm moeilijk probleem - want met co-adapters verandert de wereld voortdurend. "
Multiplayer, first-person videogames, waarin teams van spelers rond virtuele werelden rennen, meestal schieten geweren of granaatwerpers op elkaar, is de perfecte locatie voor AI om de fijne kneepjes van teamwerk te leren. Elke speler moet individueel handelen en keuzes maken die het hele team ten goede komen.
Voor de studie heeft het team de AI getraind om de vlag op het Quake III Arena- platform te veroveren. De regels zijn vrij eenvoudig: twee teams staan tegenover elkaar op een doolhofachtig slagveld. Het doel is om zoveel mogelijk andere vlaggen van de andere teams te veroveren en tegelijkertijd hun eigen vlaggen te beschermen, en welk team de meeste vlaggen in vijf minuten verovert. In de praktijk kan het echter heel snel ingewikkeld worden.
Het DeepMind-team creëerde 30 neurale netwerkalgoritmen en liet ze tegen elkaar vechten op een reeks willekeurig gegenereerde gamekaarten. De bots scoorden punten door vlaggen te vangen en andere spelers te zappen en terug te sturen naar een respawngebied waar hun personage opnieuw wordt opgestart. Aanvankelijk leken de acties van de bots willekeurig. Hoe meer ze echter speelden, hoe beter ze werden. Alle neurale netwerken die consequent verloren, werden geëlimineerd en vervangen door gewijzigde versies van winnende AI. Aan het einde van 450.000 games bekroonde het team een neuraal netwerk - For the Win (FTW) genoemd - als de kampioen.
De DeepMind-groep speelde het FTW-algoritme tegen wat een mirror bots wordt genoemd, die AI-leervaardigheden missen, en vervolgens ook tegen menselijke teams. FTW heeft alle uitdagers verpletterd.
De groep hield vervolgens een toernooi waarin 40 menselijke spelers willekeurig werden gematcht, zowel als teamgenoten als tegenstanders van de bot. Volgens de blogpost ontdekten menselijke spelers dat de bots meer samenwerkten dan hun echte teamgenoten. Menselijke spelers gekoppeld aan FTW-agenten konden de cyberstrijders verslaan in ongeveer 5 procent van de wedstrijden.
Zoals ze leerden, ontdekten de bots enkele strategieën die al lang door menselijke spelers werden omarmd, zoals rondhangen bij het respawnpunt van een vlag om het te grijpen wanneer het weer verschijnt. FTW-teams vonden ook een bug die ze konden exploiteren: als ze hun eigen teamgenoot in de rug schoten, gaf het hen een snelheidsboost, iets dat ze in hun voordeel gebruikten.
"Wat geweldig was tijdens de ontwikkeling van dit project, was de opkomst van sommige van deze gedragingen op hoog niveau", vertelt DeepMind-onderzoeker en hoofdauteur Max Jaderberg aan Gent. "Dit zijn dingen waar we ons als menselijke spelers mee kunnen identificeren."
Een belangrijke reden dat de bots beter waren dan menselijke spelers, is dat ze snelle en nauwkeurige scherpschutters waren, waardoor ze sneller in de gelijkspel waren dan hun menselijke tegenstanders. Maar dat was niet de enige factor in hun succes. Volgens de blog, toen onderzoekers in een kwart seconde vertraagde reactietijd in de robo-shooters hadden ingebouwd, konden de beste mensen hen nog maar ongeveer 21 procent van de tijd verslaan.
Sinds deze eerste studie zijn FTW en zijn nakomelingen ontketend op het volledige Quake III Arena- slagveld en hebben ze aangetoond dat ze een nog complexere wereld beheersen met meer opties en nuances. Ze hebben ook een bot gemaakt die uitblinkt in de ultra-complexe strategische ruimtegame Starcraft II.
Maar het onderzoek gaat niet alleen over het maken van betere algoritmen voor videogames. Leren over teamwerk zou uiteindelijk kunnen helpen bij het werken in vloten van zelfrijdende auto's of misschien ooit robotassistenten worden die helpen anticiperen op de behoeften van chirurgen, meldt Science 's Gent.
Niet iedereen denkt echter dat de arcade-star bots echt teamwerk vertegenwoordigen. AI-onderzoeker Mark Riedl van Georgia Tech vertelt The New York Times dat de bots zo goed zijn in het spel, omdat iedereen de strategieën diepgaand begrijpt. Maar dat is niet noodzakelijkerwijs samenwerking, aangezien de AI-teams een cruciaal element van menselijk teamwerk missen: communicatie en opzettelijke samenwerking.
En natuurlijk missen ze ook het andere kenmerk van de coöperatieve videogame-ervaring: prullenbak praten met het andere team.
