RFKs fantomartikler

Det kan jo ske for selv den bedste. At man kommer til at bede et AI-værktøj om at lave referencelisten til sin ministerielle rapport og så lige glemmer at få en af sine 500 praktikanter til at tjekke den.

USAs sundhedsminister, Robert F. Kennedy Jr., vil make America healthy again, og søsætningen af missionen er en 73 sider lang rapport. Ifølge The Guardian har Kennedy Jr. præsenteret den som videnskab af den højeste standard med over 500 referencer til studier.

Imponerende. Bortset fra, at i hvert fald syv af referencerne er til fantomstudier. De er højst sandsynligt hallucinationer fra en digital sprogmodel.

The MAHA Report, som Sundhedsministeriet kalder flagskibsrapporten, handler om årsagerne til kroniske sygdomme blandt børn, og alt fra ultraforarbejdede fødevarer til pesticider og vacciner står for skud. Mange af årsagssammenhængene er blevet revet fra hinanden af forskere, mens det er nyhedsorganisationen NOTUS, som har afsløret de opdigtede studier.

To af dem skulle handle om reklamer for adhd-medicin og en anden om overmedicinering af astma.

NOTUS fandt også andet vrøvl i rapportens lange, lange referenceliste. Ét studie skulle vise, at samtaleterapi var lige så effektivt som psykofarmaka, selvom studiet slet ikke havde undersøgt samtaleterapi. Links virkede heller ikke, og forfatternavne var forkerte.

Om AI har været en ekstra medarbejder i RFK Jr.s stab, vides ikke, og en talsperson har blot udtalt, at der er tale om »mindre citerings- og formateringsfejl«, skriver Science.

FANTOMARTIKLER har været et problem, siden ChatGPT blev sluppet fri i 2022. Derfor er det pinligt, at et ministerium ikke vidste bedre.

Måske har embedsfolkene troet, at den nyeste version af ChatGPT er holdt op med at hallucinere, men en nylig »rigtig« videnskabelig artikel slukker håbet. Det var skidt før, og nu er det katastrofalt. Fra 42,9 procent fantomartikler i en referenceliste fra ChatGPT 3.5 til 51,8 procent i ChatGPT 4.0.

Oversvømmelsen af den videnskabelige litteratur med så mange falske artikler får New Scientist til at advare om, at vi aldrig slipper af med dem.

Oveni kan vi så lægge fantombegreber, som også sætter sig fast. For eksempel kan man nu finde begrebet »vegetativ elektronmikroskopi« i flere artikler, selvom det er ren AI-nonsens.

Måske RFK Jr. snart bør skrive en ny rapport: Make citations healthy again.