Met een camera in elke zak en gezichtsherkenningssoftware ingebouwd in onze smartphones en sociale netwerken, is het soms gemakkelijk om te vergeten dat het nemen van foto's en het identificeren van gezichten niet altijd zo eenvoudig was. Of het nu verloren, beschadigd of gewoon zonder label is, het proces van het identificeren van de mensen in oude foto's kan vervelend zijn. Maar zoals Kurt Luther, universitair docent informatica aan Virginia Tech, ontdekte, kan de ervaring ook behoorlijk ontroerend zijn.
Luther was in 2013 in de tentoonstelling "Pennsylvania's Civil War" in het senator John Heinz History Center van Pittsburgh, toen hij een foto van zijn oud-over-oudoom, Oliver Croxton, tegenkwam. Hij beschreef het kijken naar de foto, die de oudste familiefoto was die hij had gezien, als reizen door de tijd.
Reeds een geschiedenisfanaat met interesse in de Amerikaanse burgeroorlog, het moment bleef bij Luther en hij begon zich af te vragen hoe hij dezelfde ervaring aan duizenden andere geschiedenisliefhebbers kon brengen.
"Ik begon meer te leren over burgeroorlogfotografie, " zegt Luther, "en over hoe [mensen] te identificeren met behulp van verschillende visuele aanwijzingen, zoals het uniform, insignes of de studio-informatie van de fotograaf. Ondertussen deed ik veel onderzoek op het gebied van crowdsourcing als professor informatica, en dacht dat er misschien een manier is om deze twee dingen samen te brengen. "
Luther ontdekte een foto van zijn oud-oud-oudoom, Oliver Croxton. (Met dank aan de Ken Turner-collectie) Het resultaat is een gratis, online software genaamd Civil War Photo Sleuth die crowdsourcing en gezichtsherkenning gebruikt om gebruikers te helpen onbekende onderwerpen te identificeren in foto's uit het Burgeroorlog-tijdperk. Vlak voor de officiële release in 2018 won de technologie zowel de hoofdprijs van $ 25.000 in de Cloud AI Research Challenge van Microsoft voor het gebruik van Microsoft's gezichtsherkenningssoftware als de Best Demo Award op de Human Computation en Crowdsourcing 2018-conferentie. Deze week presenteert Luther op de Intelligent User Interfaces-conferentie van de Association for Computing Machinery in Los Angeles.
Ontworpen met de hulp van doctorale en niet-gegradueerde studenten van Virginia Tech, inclusief projectleider Vikram Mohanty, en in samenwerking met de geschiedenisafdeling van Virginia Tech, gebruikt Photo Sleuth een veelzijdige aanpak om de meest nauwkeurige identificaties voor te stellen.
De eerste cruciale stap in het proces was het bouwen van een grote database met reeds geïdentificeerde foto's. Tot op heden heeft Photo Sleuth ongeveer 17.000 geïdentificeerde foto's, van nationale archieven zoals het US Military History Institute en privécollecties, die niet alleen soldaten uit de burgeroorlog omvatten, maar ook burgers en ander militair personeel van die tijd.
Luther zegt dat ze het geluk hadden de steun te hebben van een reeds enthousiaste gemeenschap van burgeroorloghistorici met toegang tot deze foto's, want zonder een solide basis van reeds geïdentificeerde foto's zou het voor de software bijna onmogelijk zijn geweest om nuttig te zijn.
"Het is niet zoals in Field of Dreams, " zegt Luther, "Als we de site zonder afbeeldingen hadden gelanceerd en alleen maar hoopten dat gebruikers ze allemaal zouden toevoegen, zouden we het probleem van koude start tegenkomen waar je gewoon geen inhoud hebt. ”
De database met geïdentificeerde foto's dient een essentiële rol om gebruikers te helpen bij het identificeren van foto's die ze zelf uploaden. Gebruikers taggen handmatig speciale visuele kenmerken, zoals vachtkleur, gezichtshaar of militaire rang insignes, en de foto passeert een gezichtsherkenningsalgoritme om unieke gezichtsverhoudingen te analyseren en vast te leggen, zoals afstand tussen gezichtspunten zoals de neus en ogen. Foto Sleuth vergelijkt de visuele gegevens van de onbekende foto met reeds geïdentificeerde foto's in de database en presenteert de gebruiker wat volgens hem de beste overeenkomsten zijn op basis van gelaatsvergelijking en informatie afgeleid van de andere metadata, zoals soldaten die in de dezelfde eenheid op basis van het insigne van hun uniformen. Terwijl de software opzettelijk stappen zet om de mogelijkheid van een valse identificatie te beperken, zegt Luther dat het uiteindelijk aan de gebruiker is om de definitieve identificatie te maken wanneer de beste inschattingen van de software worden gepresenteerd.
"We waren erg bezorgd over het voorkomen van valse identificatie, " zegt Luther, "omdat wanneer je over internet praat, het eenmaal heel moeilijk is om er vanaf te komen of het te veranderen als je eenmaal wat verkeerde informatie hebt verspreid."
Om er zeker van te zijn dat hun software gebruikers de best voorgestelde identificaties mogelijk maakte, voerde Luther een analyse uit van de eerste maand van voorgestelde identificaties van de software met behulp van methoden die in kolommen zijn beschreven, die hij heeft bijgedragen aan het tijdschrift Civil Images van de Civil War. Beoordeling van de identificaties van 'absoluut geen overeenkomst', 'waarschijnlijk geen overeenkomst', 'waarschijnlijk een overeenkomst' en 'absoluut een overeenkomst', bleek uit de analyse dat 85 procent van de voorgestelde identificaties waarschijnlijk of absoluut een overeenkomst waren. Op de conferentie deze week zegt Luther dat hij van plan is om de bevindingen van het meest recente onderzoek van het team naar Photo Sleuth te benadrukken, inclusief een ontdekking door Dave Morin, een verzamelaar van New Hampshire Civil War-afbeeldingen, over een portret van een niet-geïdentificeerde tweede luitenant in de Unie . Foto Sleuth suggereerde dat de man in het portret William H. Baldwin van de 1st New York Engineers was. Morin, die bevestigde dat Baldwin een inwoner van New Hampshire was, zegt dat hij nooit de betreffende Granite State-ingenieur zou hebben gevonden zonder de hulp van Photo Sleuth.
Kurt Luther is universitair docent informatica aan Virginia Tech. (Amy Loeffler) Het onderzoek benadrukt ook de complementaire sterke punten van menselijke historici en de software zelf. Ondanks hun beste inspanningen, zegt Luther dat de software alleen zo ver kan gaan bij het identificeren van juiste overeenkomsten en vertrouwt op gebruikers om aanwijzingen te identificeren die zich in de blinde vlekken van het gezichtsalgoritme bevinden.
"[Het algoritme] is getraind voor algemene gezichtsherkenning [op] meestal moderne afbeeldingen", zegt Luther. “De AI heeft het moeilijk wanneer een gezicht opzij wordt gedraaid [in profiel]. Het is een beetje een ongewoon portret naar hedendaagse maatstaven, maar in het midden van de 19e eeuw was het gebruikelijk. '
Het team ontdekte ook dat gebruikers veel succesvoller waren dan het algoritme alleen bij het identificeren van andere unieke makers zoals baarden en littekens.
Patrick Lewis, historicus van de burgeroorlog en hoofdredacteur van wetenschappelijke bronnen en publicaties bij de Kentucky Historical Society, die geen deel uitmaakte van de ontwikkeling van Photo Sleuth, zegt dat Civil War Photo Sleuth een geweldig hulpmiddel zal zijn om deze vergeten verhalen niet alleen te brengen leven maar om te blijven helpen een samenwerkingsnetwerk van burgeroorloghistorici in het hele land op te bouwen.
"Ik ga graag naar binnen en bekijk de nieuwe foto's met de tag Kentucky", zegt Lewis. “[En vraag] wie zijn de mensen die zich daar verzamelen? Zijn hun individuele verzamelaars waar ik op moet letten en moet ik contact met hen opnemen om te zien of ze nog andere materialen hebben die interessant kunnen zijn voor onderzoek? '
Hoewel hij nog contact moet maken met individuele verzamelaars via Photo Sleuth, zegt Lewis dat de Kentucky Historical Society zelf heeft gewerkt aan het bouwen van records van bekende online archieven en dat een software zoals Photo Sleuth hun vermogen om dat werk voort te zetten dramatisch zou verbeteren.
In de toekomst zegt Luther dat ze "de menselijke kracht" van de software willen verdubbelen, inclusief het toevoegen van een "Second Opinion" -optie waarmee meerdere gebruikers kunnen samenwerken aan de uiteindelijke identificatie van een foto, evenals werken over het uitbreiden van fysiek bereik en communitybeheer om de gebruikersbasis van Photo Sleuth te laten groeien. De software zal ook enkele face-liften zien, inclusief een nieuwe functie waarmee gebruikers mensen in een groepsfoto kunnen uploaden en identificeren.
"Ons uiteindelijke doel is om elke onbekende burgeroorlogfoto te identificeren, " zegt Luther, "en [Photo Sleuth] groter en beter te maken, omdat 25.000 afbeeldingen slechts een druppel in de emmer zijn."
