Gallup's jaarlijkse peiling van welke beroepen het meest betrouwbaar zijn, vraagt niet naar wetenschappers, maar het is veilig om te zeggen dat ze op zijn minst veel hoger scoren dan de verkopers van tweedehands auto's en leden van het Congres onderaan.
Tegelijkertijd geeft, onder de duizenden mensen wereldwijd die wetenschap beoefenen en hun resultaten publiceren, een minderheid waarschijnlijk toe aan de verleiding om gegevens te masseren om opvallende (en financieringsvriendelijke) resultaten te bereiken. In de afgelopen jaren is het voor sommigen politiek nuttig geworden om van deze mogelijkheid gebruik te maken en opzettelijke wetenschappelijke fraude te beweren. (De beschuldigingen dat door de mens veroorzaakte klimaatverandering een wijdverbreide wetenschappelijke samenzwering is, zijn alleen algemener geworden sinds het zogenaamde Climategate-schandaal van 2009, ondanks verschillende onderzoeken die geen bewijs hebben gevonden van fraude of wetenschappelijk wangedrag.)
Maar hoe vaak liegen wetenschappers eigenlijk over hun gegevens? Met andere woorden, hoeveel moeten we erop vertrouwen?
Het antwoord, althans volgens een studie die vandaag is gepubliceerd in de Proceedings van de National Academy of Sciences, is dat wetenschappers over het algemeen een vrij eerlijke groep zijn. In de krant vonden medische onderzoekers van de Universiteit van Washington en elders dat van de meer dan 25 miljoen biomedische onderzoeksgerelateerde artikelen gepubliceerd in de National Institutes of Health PubMed-database die dateren uit de jaren 1940, 2.047 op een bepaald moment zijn ingetrokken sinds hun publicatie. Dat is minder dan 0, 01 procent van alle papieren in de database.
De onderzoekers hebben hun resultaten verder uitgesplitst in een poging elke intrekking toe te schrijven aan een soort oorzaak. Volgens hun boekhouding was 21, 3 procent te wijten aan eerlijke fouten, zoals onbedoelde verkeerde interpretatie van gegevens. Ondertussen kon 67, 4 procent van de intrekkingen worden toegeschreven aan een vorm van wangedrag, waaronder fraude of fabricage (43, 4 procent), plagiaat (9, 8 procent) en dubbele publicatie (14, 2 procent). In vergelijking met de artikelen die vóór 1975 waren ingetrokken, waren de artikelen die daarna werden ingetrokken tien keer meer kans frauduleus te zijn, in tegenstelling tot een eerlijke fout.
Het algehele bescheiden percentage fraude zou kunnen verklaren waarom de auteurs van de blog Retraction Watch, welke documenten de documenten hebben ingetrokken, op oppositie zijn gestuit. Sommigen zeggen dat het richten van aandacht op geïsoleerde gevallen van oneerlijkheid onevenredig het publieke wantrouwen in de wetenschap als geheel vergroot. "Het argument gaat ongeveer zo", schreven ze in mei in Lab Times . "Wetenschappelijke fraude is zeldzaam, dus focussen op wangedrag geeft een vertekend beeld van onderzoek dat alleen munitie oplevert voor critici, die twijfels willen stellen over onderwerpen als klimaatverandering en vaccinveiligheid."
Een reactie kan zijn dat we eigenlijk niet weten hoe zeldzaam fraude is, ondanks de 0, 01 procent terugtrekking uit deze nieuwe PNAS-studie. Zoals de auteurs van de studie opmerken, kan een artikel in veel gevallen verdacht zijn, maar heeft een tijdschrift onvoldoende bewijs om het daadwerkelijk in te trekken. In 2005 'uitte bijvoorbeeld The Lancet ' zijn bezorgdheid over de resultaten van een onderzoek dat een verband aantrof tussen een mediterraan dieet en een verminderd risico op hartaandoeningen, maar uiteindelijk hebben ze het artikel niet ingetrokken.
Bovendien weten we niet hoeveel verdachte gegevenssets zelfs nooit aan het licht komen. Een gefabriceerde gegevensset is misschien niet repliceerbaar door andere onderzoekers, maar in veel gevallen is het twijfelachtig dat dit hen ertoe zou brengen oneerlijkheid te beweren. Historisch gezien worden veel gevallen van wetenschappelijke fraude alleen door interne klokkenluiders aan het licht gebracht.
Recente gebeurtenissen geven echter aan dat we misschien een tijdperk ingaan waarin wetenschappelijke ontdekkingen ons daadwerkelijk helpen fraude op te sporen, of op zijn minst sommige soorten daarvan. Afgelopen juli verzamelde sociaalpsycholoog Uri Simonsohn van de Universiteit van Pennsylvania krantenkoppen door een innovatieve statistische analyse te gebruiken om gefabriceerde gegevens te detecteren in het werk van sociaal psycholoog Dirk Smeesters, die een artikel had geschreven waarin een positief effect op kleur op consumentengedrag werd vastgesteld.
De techniek van Simonsohn is complex, maar berust op het feit dat mensen notoir slecht zijn in het vervalsen van gegevenssets die worden gekenmerkt door dezelfde soort willekeur die zich in echte gebeurtenissen voordoet. Simonsohn vertelde Nature dat "het basisidee is om te kijken of de gegevens te dicht bij de theoretische voorspelling liggen, of dat meerdere schattingen te veel op elkaar lijken."
Kort na het aftreden van Smeesters maakte Simonsohn zijn algoritme openbaar, waardoor onderzoekers werden aangemoedigd hun onbewerkte gegevens te publiceren en voor anderen op de proef te stellen. Hij hoopt dat de echte mogelijkheid dat onderzoekers in de verleiding komen om hun gegevens te manipuleren, kan worden opgevangen als een krachtig afschrikmiddel. Dit zou in theorie niet alleen de hoeveelheid fraude verminderen, maar ook het vertrouwen vergroten dat we kunnen stellen in de producten van de wetenschap als geheel.
