Kan det gentages?

I Falsificeret udfordrer vi hver uge vedtagne sandheder, afliver forældet viden og ser på fusk og fejl i forskningens verden.

Det, vi troede, vi vidste

Omkring halvdelen af alle studier i samfundsvidenskaberne kan ikke gentages med samme resultat. Det er blevet kaldt en reproducerbarhedskrise i forskningen, og det er desværre ikke nogen nyhed. I mere end et årti har studier – først i psykologien og siden i andre fag – vist, at mange publicerede resultater ikke holder, når de testes igen.

I de senere år har håbet derfor været, at kunstig intelligens kan hjælpe med at sortere skidt fra kanel i forskningsartiklerne.

Det, vi ved nu

Et syvårigt internationalt projekt har nu forsøgt at teste dette. Under navnet SCORE (Systematizing Confidence in Open Research and Evidence) gennemgik 865 forskere næsten 4.000 artikler fra 62 tidsskrifter inden for økonomi, psykologi, sociologi, statskundskab og uddannelsesforskning.

Resultatet var nedslående, men ikke helt overraskende: Når forskerne forsøgte at gentage studierne fra bunden, kunne kun 49 procent reproduceres med samme statistiske resultat.

Projektet havde dog et mere ambitiøst mål, nemlig at undersøge, om man på forhånd kan afgøre, hvilke studier der vil holde. Desværre kunne forskerne ikke finde nogen enkel indikator, for hverken citationstal, metodiske detaljer eller ekspertvurderinger kunne pålideligt forudsige, om et resultat ville overleve en gentagelse. Selv kunstig intelligens klarede sig lige så dårligt som forskernes egne forudsigelser.

Den eneste faktor, der tydeligt hjalp, var banal, nemlig åben adgang til data og kode. Studier, hvor materialet var frit tilgængeligt, kunne langt oftere reproduceres.

Men ...

Det betyder ikke, at halvdelen af samfundsvidenskaben er forkert, for et mislykket forsøg på at gentage studiet kan skyldes mange faktorer som forskelle i data, metodevalg eller fortolkning. Men det betyder, at videnskabelige resultater sjældent er så entydige, som overskrifterne giver indtryk af.

På baggrund af undersøgelsen anbefaler økonomen Abel Brodeur fra University of Ottawa først at stole på et resultat, når mange andre studier finder det samme – også selvom det kan tage flere år.

Nature og Science, 1. april