En aha-opplevelse gjør deg sikrere på svaret ditt, uten at den gjør deg bedre til å vurdere om svaret faktisk er riktig. Det er hovedfunnet i min egen studie, og det er også grunnen til at jeg mener bruk av AI gjør noe med evnen vår til å tenke kritisk.
I studien min klarte deltakerne stort sett å skille sine egne riktige svar fra sine egne gale svar når de hadde resonnert seg frem til en løsning, mens de ikke klarte det når svaret kom som en aha-opplevelse / innsikt. En AI leverer svaret på nøyaktig samme form, altså ferdig og velformulert og uten at du ser veien frem.
Kort fortalt
- Deltakerne var betydelig sikrere på løsninger som kom med en aha-opplevelse, og de hadde faktisk oftere rett.
- Likevel klarte de ikke å skille sine egne riktige aha-svar fra sine egne gale. På den målingen lå de på nivå med ren gjetting.
- 43 prosent av aha-løsningene var feil, og deltakerne var like sikre på dem.
- Når aha-svaret var galt, holdt de hardere fast ved det enn ved gale svar de hadde tenkt seg frem til.
- Følelsen av at noe klaffer er altså ikke en kontroll av at det klaffer.
- Et AI-svar kommer på samme form som et aha, og utløser derfor den samme følelsen av å ha forstått noe. Nyere forskning finner at jo mer folk stoler på en språkmodell, jo mindre kritisk vurdering bruker de.
Hva fant vi egentlig?
I studien fikk 51 deltakere se 32 korte videoer av trylletriks og skulle finne ut hvordan hvert triks var gjort. For hvert svar oppga de om løsningen kom som en aha-opplevelse, og hvor sikre de var på den.
Det første funnet er det hyggelige, nemlig at aha-løsningene oftere var riktige, med 57 mot 37 prosent, og at deltakerne også var sikrere på dem, med 78 mot 69 på en skala fra 1 til 100. Så langt kan det se ut som om følelsen er til å stole på.
Vi målte imidlertid også hvor godt hver enkelt deltaker klarte å skille sine egne riktige svar fra sine egne gale, ut fra hvor sikker vedkommende oppga å være. På en slik måling tilsvarer verdien 0,5 ren gjetting. For løsninger uten aha lå deltakerne på 0,64, altså tydelig bedre enn gjetting, mens de på aha-løsningene lå på 0,57, hvilket ikke er til å skille fra gjetting. Når deltakerne hadde tenkt seg trinnvis frem, visste de altså nokså godt når de hadde truffet og når de ikke hadde det. Kom svaret som et aha, visste de bare at de var sikre. På fagspråket sier vi at deres metakognitive vurdering var bedre for de forsøkene hvor de ikke fant løsningen etter å ha hatt en aha-opplevelse.
Hvorfor er dette verre enn å ta feil på vanlig vis?
Fordi det ikke finnes noe spor å gå tilbake til. Tar du feil trinnvis, kan du gå tilbake, finne stedet hvor det gikk galt, og rette det opp. Tar du feil med et aha, sitter du igjen med svaret og med følelsen av at det stemmer. Det finnes ingen mellomregning å ettergå, ganske enkelt fordi du aldri hadde tilgang til den.
Dette viste seg direkte i tallene. Etter at deltakerne hadde skrevet inn løsningen sin, fikk de fire alternativer å velge mellom, hvorav ett var riktig. Blant dem som hadde svart feil, valgte 63 prosent alternativet som lignet mest på sitt eget gale aha-svar, mens tallet for gale svar uten aha var 51 prosent. De holdt med andre ord hardest på de svarene de hadde dårligst grunnlag for å vurdere, hvilket er en ubehagelig kombinasjon. Det kan være mange grunner til dette, men én forklaring kan være knyttet til det som heter kognitiv dissonans. En aha-opplevelse føles rett og slett så bra at det blir for ubehagelig å endre mening, selv om det bare er en selv som vet om det!
Gir AI deg falske aha-opplevelser?
Jeg mener at den gjør det, og at det er en av de mer undervurderte kostnadene ved å bruke en språkmodell til å tenke med.
Enten du bruker en AI til å løse et problem for deg eller som sparringpartner, og det er egentlig to sider av samme sak, kommer svaret ferdig. Det er velformulert, det henger sammen, og du ser ingen mellomregning. Strukturelt er det nøyaktig det samme som en aha-opplevelse: en løsning uten tilgjengelig vei frem. Forskjellen er bare at veien denne gangen finnes hos noen andre. Og fordi teksten leser godt, tenker vi «ja, så klart», hvilket er en vurdering av hvor lettflytende noe er og ikke av hvor riktig det er.
Dette begynner det å komme forskning på, og den peker samme vei. Nyere arbeider beskriver hvordan AI-generert tekst gir en følelse av å ha forstått noe uten at det har foregått noe særlig tenking, altså en ren illusjon av forståelse. En studie av 188 masterstudenters faktiske arbeidsflyt fant at omtrent halvparten opplevde AI-en som en intellektuell samarbeidspartner, mens de i praksis hoppet over det grunnleggende arbeidet og beveget seg helt innenfor rammene modellen hadde satt opp for dem. Andre studier finner at jo mer folk stoler på en språkmodell, jo mindre kritisk tenking bruker de. Poenget som går igjen er verdt å merke seg: den største risikoen er ikke at modellen finner på noe, men at brukeren finner på sin egen kompetanse, og forveksler det å kunne produsere et svar med det å ha forstått noe.
I tillegg kommer noe jeg ikke har forskning å vise til, men som jeg mener er åpenbart for alle som har brukt disse verktøyene en stund. En AI gir deg to ting mennesker aldri blir mette av, nemlig bekreftelse og oppmerksomhet. Den er interessert i alt du sier, den blir aldri lei, og den er stort sett enig med deg. Det er en usedvanlig behagelig samtalepartner, og behagelige samtalepartnere er sjelden de som avdekker at du tar feil.
Hva kan man faktisk gjøre?
Ikke stole mindre på intuisjonen sin. Det er verken mulig eller særlig ønskelig, og aha-svarene er tross alt oftere riktige enn de øvrige.
Det som er mulig, er å behandle aha-øyeblikket som starten på en sjekk fremfor som slutten på den. Selve kjennetegnet på et aha er at du har svaret før du kan forklare det, og legger du merke til at det skjedde, vet du samtidig at du står uten mellomregning å ettergå. Da er det verdt å skrive svaret ned før du undersøker det videre, ettersom et aha-svar er påfallende lett å omforme i etterkant slik at det passer med det du senere finner ut. Videre er det mer å hente på å spørre hva du ville sett dersom du tok feil, enn på å spørre hva som støtter det du allerede tror, siden det siste spørsmålet lar seg besvare med den samme følelsen som skapte svaret i utgangspunktet. Og siden signalet ikke finnes på innsiden, er den enkleste kontrollen som regel å la noen andre se på det.
Overfor en AI er den samme prøven ganske enkel, om enn litt ubehagelig: kan du forklare svaret for noen andre uten å se på skjermen? Klarer du ikke det, har du ikke forstått noe. Du har lest noe som var lett å lese.
Det er verdt å bemerke at alt dette er atskillig lettere skrevet enn gjort, og at jeg selv bommer på det jevnlig. En aha-opplevelse kjennes ikke som en hypotese man skal etterprøve. Den kjennes som noe man vet.
Hva studien ikke viser
Dette er verdt å være tydelig på, ettersom jeg nettopp har brukt funn fra et laboratorium fra 2016 til å si noe om språkmodeller.
Studien handlet om 51 studenter som så 15 sekunder lange videoer av trylletriks. Den sier ingenting om AI, som ikke fantes i denne formen den gangen, og trylletriks har dessuten som regel ett riktig svar, hvilket de fleste virkelige spørsmål ikke har.
Det jeg mener er godt belagt fra min egen studie, er at følelsen av innsikt ikke skiller mellom rett og galt hos den som har den, og at den gjør folk mer utholdende i å forsvare svaret sitt. At en AI utløser den samme følelsen er en påstand jeg står for, og som det finnes forskning som peker mot, men det er ikke noe jeg selv har vist.
Vanlige spørsmål
Betyr dette at jeg ikke bør stole på intuisjonen min? Nei. Aha-løsninger er oftere riktige enn andre løsninger, så følelsen er verdt noe. Poenget er at den ikke forteller deg hvilke av dine egne aha-opplevelser som er de riktige.
Hvor ofte tar man feil med en aha-opplevelse? I studien vår var 43 prosent av aha-løsningene feil. Tallet gjelder trylletriks løst på under et minutt av folk uten kjennskap til faget, og kan ikke overføres direkte til andre situasjoner.
Kjennes en gal aha-opplevelse annerledes enn en riktig? Nei. Deltakerne var like sikre på de gale som på de riktige.
Hvorfor er det vanskeligere å ombestemme seg etter et aha? Fordi du ikke har noen mellomregning å gå tilbake til, men bare konklusjonen. I studien holdt deltakerne hardere på gale aha-svar enn på gale svar de hadde resonnert seg frem til.
Gjør bruk av AI meg dårligere til å tenke kritisk? Det finnes forskning som peker den veien, særlig på studenter, hvor mer tillit til modellen henger sammen med mindre kritisk vurdering. Det er verdt å merke seg at dette er ferske funn på et felt i rask endring.
Er dette det samme som confirmation bias (bekreftelsesbias)? Ikke helt. Confirmation bias handler om hvordan du behandler informasjon etter at du har en oppfatning. Dette handler om hvordan oppfatningen oppstod, og om at måten den oppstod på gjør den vanskeligere å etterprøve.
Kilder
- Hedne, M. R., Norman, E. & Metcalfe, J. (2016). Intuitive Feelings of Warmth and Confidence in Insight and Noninsight Problem Solving of Magic Tricks. Frontiers in Psychology, 7:1314. doi:10.3389/fpsyg.2016.01314
