ChatGPT vs. Google

I Falsificeret udfordrer vi hver uge vedtagne sandheder, afliver forældet viden og ser på fusk og fejl i forskningens verden.

Det, vi troede, vi vidste

En chatbot kan svare på hvad som helst. Den er den klogeste ven lige ved hånden, som velvilligt udtaler sig om alt fra gryderetter til kærlighed. »Jeg spørger lige chatten,« siger mange af os, mens Google samler støv som fortidens yndlingsorakel.

Det, vi ved nu

Men måske bør vi alligevel skæve lidt til den gammeldags internetsøgning. Det mener i hvert fald de dataloger fra Københavns Universitet, som har testet 27 store sprogmodeller, de såkaldte AI-chatbots, på 155 forskellige emner, der spænder fra atomvåben og racisme til ægteskab og K-pop. Forskerne brugte 200 forskellige formuleringer til hvert emne, analyserede omkring 1,7 millioner svar og 70 millioner enkeltstående udsagn.

Resultaterne er indsendt til forskningskonferencen EMNLP 2026, der afholdes i oktober. De viste, at chatbots gav et markant smallere udvalg af information end de traditionelle internetsøgninger. Det kan skyldes, at sprogmodeller komprimerer store mængder tekst, finder de hyppigste mønstre og frasorterer det indhold, der afviger mest. Derfor kan der være perspektiver og vinkler på et emne, der bliver holdt ude af loopet.

Hvis modellerne bliver trænet med tekst, som andre AI-modeller har produceret, kan det over tid indsnævre den tilgængelige information mere og mere og til sidst ende i et videnskollaps, advarer forskerne.

Men …

Det betyder dog ikke, at vi bør lukke ned for vores chatbotven. De nyeste sprogmodeller giver lidt mere varierede svar end de ældre modeller, og studiet finder ingen tegn på, at et egentligt videnskollaps er gået i gang endnu. Men det bør minde os om at søge bredt, når vi leder efter svar, også selvom AI-botten kan give det indtryk, at den allerede har fortalt os alt, der er værd at vide. Mette Juul Rasmussen

Københavns Universitet, 26. september