Can AI debias the news? LLM interventions improve cross-partisan receptivity but LLMs overestimate their own effectiveness
Kan en språkmodell skrive om partiske nyheter slik at den andre siden vil lytte? I to preregistrerte eksperimenter med Faisal Feroz hadde det ingen virkning å bytte ut følelsesladde ord med mildere, mens en omformulering av overskriften fikk konservative til å vurdere liberale overskrifter som mer troverdige — uten å støte liberale bort. Men da KI-modeller trådte inn i lesernes sted, forutsa de effekter som mennesker ikke viste.
Artikkelen, kort fortalt
To måter å skrive om en overskrift på
Vi tok ti overskrifter med ingress fra kommentarstoffet til MSNBC — de ti som konservative i en fortest stolte minst på — og lot en språkmodell, OpenAIs o3-mini, skrive dem om. I det første eksperimentet fikk modellen bare bytte ut følelsesladde ord med mer moderate synonymer: et «angrep» ble til «kritikk». I det andre fikk den omformulere overskriften, dempe den emosjonelle intensiteten og legge seg på en konservativ kommunikasjonsstil, men beholde fakta og synspunkt. Deltakere i USA, rekruttert via Prolific, så hver overskrift enten i original eller i omskrevet form og vurderte hvor troverdig og fullstendig den var, og hvor åpne de var for perspektivet bak den.
Hva leserne gjorde
Ordbytter endret ingenting: blant 176 republikanere rørte ikke ett eneste utfall seg. Omformulering gjorde det. I det andre eksperimentet, med 348 deltakere, vurderte konservative de omformulerte overskriftene som mindre partiske, mer troverdige og mer fullstendige, og de var mer villige til å vurdere perspektivet. Liberale vurderte ikke de omformulerte overskriftene dårligere på noe utfall, så det var ingen bumerangeffekt hos mediets eget publikum. Effektene er beskjedne — brøkdeler av et poeng på en sjupunktsskala. Og omskriving har en pris: uavhengige vurderere mente at den faktiske påstanden var forskjøvet i omtrent en fjerdedel av vurderingene av ordbyttene og i over en tredjedel for de omformulerte overskriftene.
Hva modellene forutsa
Deretter lot vi seks OpenAI-modeller spille deltakerne, der hver simulerte leser fikk profilen til én virkelig person. I det første eksperimentet forutsa alle modellene tydelige effekter der mennesker ikke viste noen. I det andre pekte modellene i riktig retning, men forutsa betydelig større effekter på noen utfall, og tre av dem ventet en bumerangeffekt blant liberale som ikke inntraff. Alle seks modellene antydet at omformulering ville virke bedre blant dem som identifiserer seg sterkt med sin politiske gruppe. Noe slikt mønster fantes ikke blant mennesker, der det — med forbehold — var de med lav tillit til mediene som reagerte mest.
Hva studien ikke viser
Dette er et konseptbevis på overskrifter og ingresser, ikke på hele artikler: ett medium, én politisk retning, ett land, selvrapporterte vurderinger og ikke atferd. Overskriftene var ikke valgt ut fordi de var sanne, og den samme teknikken brukt på usant innhold ville gjøre feilinformasjon lettere å godta — omformulering måtte i så fall kobles med verifisering. Tallene på denne siden er hentet fra det aksepterte manuskriptet; konklusjonene følger den publiserte artikkelen. Språkmodeller kan lage forslag til tiltak, men de kan ennå ikke bedømme om deres egne tiltak virker. Til det trengs det fortsatt mennesker.