Een van de grondslagen van de wetenschappelijke methode is de reproduceerbaarheid van resultaten. In een laboratorium overal ter wereld moet een onderzoeker hetzelfde onderwerp als een andere wetenschapper kunnen bestuderen en dezelfde gegevens reproduceren, of dezelfde gegevens analyseren en dezelfde patronen opmerken.
Dit is de reden waarom de bevindingen van een onderzoek dat vandaag in Current Biology is gepubliceerd zo verontrustend zijn. Toen een groep onderzoekers de auteurs van 516 biologische studies die tussen 1991 en 2011 waren gepubliceerd probeerden te e-mailen en om de onbewerkte gegevens vroegen, waren ze verbijsterd dat meer 90 procent van de oudste gegevens (uit artikelen die meer dan 20 jaar geleden werden geschreven) ontoegankelijk. In totaal, zelfs inclusief artikelen die pas in 2011 zijn gepubliceerd, konden ze de gegevens slechts voor 23 procent opsporen.
"Iedereen weet eigenlijk dat als je een onderzoeker om gegevens van oude studies vraagt, ze zullen hakken en hawnen, omdat ze niet weten waar het is", zegt Timothy Vines, een zoöloog aan de Universiteit van British Columbia, die leidde de moeite. "Maar er waren echt nooit systematische schattingen gemaakt van hoe snel de gegevens van auteurs verdwijnen."
Om hun schatting te maken, koos zijn groep een type gegevens dat relatief consistent was in de tijd (anatomische metingen van planten en dieren) en opgegraven tussen de 25 en 40 papieren voor elk oneven jaar tijdens de periode waarin dit soort gegevens werd gebruikt, om te zien als ze de ruwe cijfers konden opsporen.
Een verrassend aantal van hun vragen werd bij de allereerste stap stopgezet: voor 25 procent van de onderzoeken konden actieve e-mailadressen niet worden gevonden, met opgeheven adressen op het papier zelf en zoekopdrachten op het web die geen actuele opleverden. Voor nog eens 38 procent van de onderzoeken gaven hun vragen geen antwoord. Nog eens 7 procent van de datasets waren verloren of ontoegankelijk.
"Soms werd het bijvoorbeeld opgeslagen op diskettes van 3, 5 cm, zodat niemand er toegang toe had, omdat ze niet langer de juiste schijven hadden, " zegt Vines. Omdat het basisidee om gegevens te bewaren zo is dat ze door anderen in toekomstig onderzoek kunnen worden gebruikt, maakt dit soort veroudering de gegevens in wezen nutteloos.
Dit lijken misschien alledaagse obstakels, maar wetenschappers zijn net als de rest van ons - ze veranderen e-mailadressen, ze krijgen nieuwe computers met verschillende schijven, ze verliezen hun bestandsback-ups - dus deze trends weerspiegelen ernstige, systemische problemen in de wetenschap.
En het bewaren van gegevens is zo belangrijk, het is het waard om te onthouden, omdat het onmogelijk is te voorspellen in welke richting onderzoek in de toekomst zal gaan. Wijnstokken hebben bijvoorbeeld zijn eigen onderzoek gedaan naar een paar paddensoorten afkomstig uit Oost-Europa die zich lijken te hybridiseren. In de jaren tachtig, zegt hij, werkte een afzonderlijk team van onderzoekers aan hetzelfde onderwerp en stuitte op een oud papier dat de distributie van deze padden in de jaren dertig documenteerde. Wetende dat hun distributie in de tussenliggende decennia relatief weinig was veranderd, konden de wetenschappers allerlei berekeningen maken die anders niet mogelijk waren geweest. "Dat de originele gegevens beschikbaar waren, afkomstig van een zeer kleine oude studie geschreven in het Pools, was ongelooflijk nuttig voor onderzoekers die 70 jaar later kwamen", zegt hij.
Er is ook het feit dat zoveel van dit onderzoek wordt betaald met overheidsfinanciering, veel ervan komt via subsidies die bepalen dat de resulterende gegevens vrij beschikbaar moeten zijn voor het publiek. Bovendien worden veldgegevens beïnvloed door de omstandigheden van de omgeving waarin ze worden verzameld. Het is dus onmogelijk om later perfect te repliceren wanneer de omstandigheden zijn gewijzigd.
Wat is de oplossing Sommige tijdschriften, waaronder Molecular Ecology, waarvan Vines een hoofdredacteur is, hebben beleid aangenomen waarbij auteurs ruwe gegevens samen met hun papieren moeten indienen, waardoor het tijdschrift zelf de gegevens voor altijd kan archiveren. Hoewel tijdschriften, net als mensen, vatbaar zijn voor veranderende e-mailadressen en technologische veroudering, kunnen deze problemen veel gemakkelijker worden beheerd op institutionele schaal.
