Het is moeilijk om te argumenteren tegen de kracht van de wetenschap. Van studies die de nieuwste voedingstrend evalueren tot experimenten die voorspellers van geluk belichten, mensen gaan wetenschappelijke resultaten steeds meer zien als concrete, betrouwbare feiten die kunnen bepalen hoe we denken en handelen.
gerelateerde inhoud
- Wetenschappers repliceerden 100 psychologiestudies en minder dan de helft kreeg dezelfde resultaten
Maar in de afgelopen jaren is een groeiend aantal wetenschappers begonnen de vraagtekens te zetten bij de geaccepteerde waarachtigheid van gepubliceerd onderzoek - zelfs nadat het de hindernissen van peer review heeft weggenomen en in alom gerespecteerde tijdschriften verschijnt. Het probleem is een alomtegenwoordig onvermogen om een groot deel van de resultaten in verschillende disciplines te repliceren.
In 2005, bijvoorbeeld, gebruikte John Ioannidis, een professor in de geneeskunde aan de Stanford University, verschillende simulaties om aan te tonen dat wetenschappelijke claims eerder vals dan waar zijn. En afgelopen zomer probeerde Brian Nosek, een professor in de psychologie aan de Universiteit van Virginia, de bevindingen van 100 psychologiestudies te repliceren en ontdekte dat slechts 39 procent van de resultaten stand hield onder rigoureus opnieuw testen.
"Er zijn meerdere bewijslijnen, zowel theoretisch als empirisch, die de reproduceerbaarheid van een aanzienlijk deel van de wetenschappelijke literatuur in twijfel hebben getrokken, " zegt Ioannidis. "We krijgen miljoenen papieren die nergens heen gaan."
Deze voorlopige bevindingen hebben geleid tot de creatie van een geheel nieuw veld genaamd meta-onderzoek - de wetenschappelijke studie van de wetenschap.
Deze week heeft de biologie-arm van de Public Library of Science (PLOS), een non-profit uitgever en belangenbehartiger, een nieuwe sectie gelanceerd die uitsluitend is gewijd aan meta-onderzoek. In deze paragraaf worden kwesties als transparantie in onderzoek, methodologische normen, biasbronnen, gegevensuitwisseling, financiering en stimuleringsstructuren onderzocht.
Om de aftrap te geven, evalueerden Ioannidis en zijn collega's een willekeurige steekproef van 441 biomedische artikelen die tussen 2000 en 2014 werden gepubliceerd. Ze controleerden of deze artikelen openbare toegang tot onbewerkte gegevens en experimentele protocollen boden, in latere studies werden gerepliceerd, hun resultaten werden geïntegreerd in systematische beoordelingen van een vakgebied en inclusief documentatie van financieringsbronnen en andere potentiële belangenconflicten.
Hun resultaten waren op zijn zachtst gezegd verontrustend. Bijvoorbeeld, slechts één studie leverde volledige experimentele protocollen op en nul studies leverden direct beschikbare onbewerkte gegevens op.
"Dit zijn twee fundamentele pijlers van reproduceerbaarheid", zegt Ioannidis. “Tenzij gegevens en het volledige protocol beschikbaar zijn, kan men eigenlijk niets reproduceren.” Hoe kan een ander team immers zonder die essentiële informatie precies weten wat het moet doen en hoe hun resultaten verschillen van die in het oorspronkelijke experiment?
Het team ontdekte ook dat de claims van slechts acht van de onderzochte artikelen later werden bevestigd door latere studies. En hoewel veel van de studies beweerden nieuwe bevindingen te hebben, werden de resultaten van slechts 16 artikelen opgenomen in latere overzichtsartikelen, die dienen als lakmoesproef voor de ware impact van een studie op een bepaald onderwerp.
"De cijfers die we krijgen zijn behoorlijk eng, " zegt Ioannidis. "Maar je kunt dat zien als een basislijn van waar we nu zijn, en er is veel ruimte voor verbetering."
Niet alle resultaten waren echter ontmoedigend. Het percentage artikelen zonder belangenconflicten daalde van 94, 4 procent in 2000 tot 34, 6 procent in 2014 - waarschijnlijk een gevolg van een groeiend bewustzijn van de schadelijke effecten van bias op onderzoeksresultaten.
In een tweede meta-onderzoek analyseerde een Duits team hoe het verlies van proefpersonen tijdens preklinische proeven zou kunnen bijdragen aan het wijdverbreide onvermogen om laboratoriumresultaten te vertalen in bruikbare klinische geneesmiddelen.
Onderzoeksdieren kunnen willekeurig verdwijnen uit een onderzoek - bijvoorbeeld omdat het dier stierf - of door subtiel bevooroordeelde acties, zoals het verwijderen van het onderzoek om gegevens te verwijderen die de verwachte resultaten ondermijnen. Het team toonde aan dat de bevooroordeelde verwijdering van proefpersonen resultaten scheef kan trekken en de kans op een vals positief aanzienlijk kan vergroten - wanneer wordt gedacht dat een nieuw medicijn werkt maar eigenlijk niet.
In een afzonderlijke analyse van preklinische onderzoeken naar beroerte en kanker, vonden dezelfde onderzoekers dat de meeste artikelen het verlies van proefpersonen niet voldoende meldden en dat de positieve effecten van veel geteste geneesmiddelen sterk kunnen worden overschat.
Dus waarom gebeurt deze crisis in transparantie en reproduceerbaarheid in de eerste plaats?
Hoewel sommige problemen kunnen liggen in bewuste of onbewuste onderzoeksbias, is het waarschijnlijk dat de meeste studies die publicatie bereiken uniek zijn vanwege de huidige stimuleringsstructuur in de wetenschap.
In de moordende wereld van de academische wereld is de primaire graadmeter voor succes het aantal studies dat een onderzoeker in prestigieuze tijdschriften krijgt. Als gevolg hiervan staan wetenschappers onder druk om het grootste deel van hun tijd te besteden aan het verkrijgen van de soort doorbraakresultaten die het meest waarschijnlijk worden gepubliceerd.
"Hoewel we reproduceerbaarheid in concept waarderen, waarderen we het in de praktijk niet echt, " zegt Nosek, die ook co-directeur is van het Center for Open Science, een non-profit technologie startup die transparantie en reproduceerbaarheid in wetenschappelijk onderzoek bevordert.
“De echte prikkels die mijn gedrag als wetenschapper sturen, zijn om te innoveren, nieuwe ontdekkingen te doen en een nieuwe weg te banen - niet om te herhalen wat anderen hebben gedaan. Dat is het saaie deel van de wetenschap. "
Wetenschappers zien ook weinig prikkels om de informatie te verstrekken die anderen nodig hebben om hun werk te repliceren, wat een van de belangrijkste redenen is waarom de beweringen van zoveel onderzoeken niet geverifieerd blijven.
"Ik word niet beloond voor het beschikbaar stellen van mijn gegevens of het nader beschrijven van mijn methodologie dan nodig is om in een publicatie te komen", zegt Nosek.
Veel tijdschriften vragen wetenschappers om een gedetailleerde uitleg van hun methoden en om gegevens te delen, maar dit beleid wordt zelden toegepast en er zijn geen universele publicatienormen.
“Als ik wist dat er nooit agenten op de weg zouden zijn, zou ik me dan altijd aan de snelheidslimiet houden? Nee, het is de menselijke natuur, zegt Ivan Oransky, mede-oprichter van Retraction Watch, een organisatie die verantwoording en transparantie bevordert door het volgen van intrekkingen in wetenschappelijke literatuur. "Als je weet dat niemand je gaat straffen, ga je geen gegevens delen."
Wetenschappers die replicatiewerk willen uitvoeren en experimentele details kunnen verkrijgen, zullen dan waarschijnlijk geen financiering vinden van openbare instanties zoals de NIH, die voornamelijk subsidieaanvragen beoordelen op basis van nieuwheid en innovatie.
"De kansen zijn duidelijk tegen replicatie", zegt Ioannidis.
Dat is waar het opkomende gebied van meta-onderzoek kan ingrijpen. Organisaties zoals het Centre for Open Science en het Meta-Research Innovation Center in Stanford (METRICS) werken eraan om het beloningssysteem te helpen bijstellen en strikte universele normen vast te stellen die een grotere verspreiding zullen aanmoedigen transparantie en reproduceerbaarheid.
“Als de financieringsniveaus of promotie afhangen van wat er met je eerdere onderzoek is gebeurd - als het repliceerbaar was, als mensen er iets van konden begrijpen, als mensen het konden vertalen naar iets nuttigs in plaats van hoeveel kranten je publiceerde - zou dat zijn een zeer sterke stimulans om onderzoek te veranderen om reproduceerbaarder te worden ”, zegt Ioannidis, co-directeur van METRICS.
"Ik hoop dat deze indicatoren zullen verbeteren", voegt hij eraan toe. "En voor sommigen van hen is er geen andere mogelijkheid dan omhoog te gaan, omdat we vanaf nul beginnen."
