Toen functionele magnetische resonantie beeldvorming (fMRI) eind jaren negentig werd geïntroduceerd, trok het veel lof voor zijn vermogen om hersenactiviteit te tonen - en bezorgdheid dat het misschien het moderne equivalent van frenologie is. Nu zou dat debat weer tot leven kunnen komen met onthullingen dat de populaire beeldverwerkingstechnologie jarenlang gebreken had kunnen hebben. Zoals Kate Lunau schrijft voor Moederbord, suggereert nieuw onderzoek dat software die wordt gebruikt om fMRI-resultaten te analyseren tot 40.000 hersenactiviteitstudies kan ongeldig maken.
De wetenschap werkt nooit in een vacuüm - het steeds opnieuw reproduceren van resultaten staat centraal in onderzoek. Maar een nieuw artikel gepubliceerd in het tijdschrift PNAS stelt de reproduceerbaarheid van fMRI-onderzoeken ter discussie, schrijft Lunau. De analyse onderzocht fMRI-gegevens in rusttoestand van 499 gezonde mensen. Onderzoekers verdeelden de mensen in groepen en gebruikten drie statistische pakketten die gewoonlijk worden gebruikt om fMRI-gegevens te analyseren om drie miljoen vergelijkingen uit te voeren.
Omdat de gebruikte gegevens waren van mensen wier hersenen niet bijzonder actief waren, hadden ze dus geen significante trends van neurale activiteit moeten laten zien. Onderzoekers verwachtten ongeveer vijf procent van de tijd valse positieven te vinden - dat wil zeggen resultaten waaruit bleek dat de hersenen van mensen niet in rust waren. Maar dat is waar de verwachte resultaten uiteenvielen: in plaats van een kans van vijf procent te tonen om een vals positief te vinden, onthulde de analyse een kans van 70 procent.
Een bug in een van de softwareprogramma's die wordt gebruikt om fMRI's te analyseren, lijkt hier ten minste gedeeltelijk de schuld van te hebben. Toen de onderzoekers hun bevindingen rapporteerden aan softwarefabrikanten, schrijft Lunau, reageerden ze met hun eigen analyses en, in één geval, codewijzigingen. Maar de studie stelt tientallen jaren onderzoek in vraag dat afhankelijk is van fMRI-onderzoeken die de gebrekkige code gebruikten.
"Het is niet haalbaar om 40.000 fMRI-onderzoeken opnieuw uit te voeren, en betreurenswaardige archiverings- en gegevensuitwisselingspraktijken betekenen dat de meeste ook niet opnieuw konden worden geanalyseerd, " schrijft het team.
De studie heeft voor opschudding gezorgd onder wetenschappers die op fMRI vertrouwen. Maar hoe erg is het probleem? Niet zo erg als je zou denken, zegt Discover 's 'Neuroskeptic'. De commentator wijst erop dat het probleem alleen van toepassing is op één statistisch pakket en dat tot 70 procent van de onderzoeken met ten minste één vals positief niet betekent dat 70 procent van studies zijn in feite ongeldig of vals. Verder, schrijft Neuroskeptic, is het probleem slechts van invloed op een klein percentage hersenonderzoeken - die zich bezighouden met hersenactiviteit.
Hoe dan ook, het onderzoek zal waarschijnlijk een groter debat op het gebied van wetenschap en hersenen spelen: reproduceerbaarheid. Sinds vorig jaar een gigantische internationale inspanning, die het vermogen van psychologiestudies wordt genoemd om te reproduceren, heet, is het debat over het betrouwbaarder en reproduceerbaar maken van onderzoek op gang gekomen. (De studie in kwestie was controversieel en wordt nog steeds besproken, vooral onder de psychologiegemeenschap.) In mei publiceerde het tijdschrift Science de resultaten van een studie van 1500 onderzoekers naar reproduceerbaarheid. Meer dan 70 procent meldde dat ze hadden geprobeerd en faalden om het onderzoek van anderen te reproduceren, en meer dan 60 procent vermeldde selectieve rapportage en druk om te publiceren als redenen waarom niet reproduceerbare studies worden gepubliceerd. Meer dan de helft van de respondenten (52 procent) noemde reproduceerbaarheid 'een belangrijke crisis' in de wetenschap - niet verwonderlijk, aangezien wetenschappers moeite hebben met het eens te worden over wat het woord zelfs betekent.
Wanhoop echter niet: zoals Monya Baker schrijft voor Slate, recente reproduceerbaarheid is waarschijnlijk goed voor de wetenschap en stimuleert extra zichtbaarheid en financiering voor betrouwbaardere resultaten. "Bij elkaar genomen", schrijft Baker, probeert het werk reproduceerbaarder te maken "... zou kunnen voorkomen dat onderzoekers werk dat niet kan worden gereproduceerd, niet correct opvolgen of paden inslaan die anderen hebben aangegeven als doodlopende wegen." Studies zoals degene die fMRI noemt hersenactivatieresultaten in twijfel zijn ontnuchterend, maar zelfs als ze mogelijk jaren van onderzoek ontmantelen, kunnen ze de wetenschap naar een betrouwbaardere toekomst duwen.
