Stroopin testi paljasti suurten kielimallien heikkouden pitkissä tehtävissä

Suuret kielimallit näyttävät pärjäävän hyvin psykologian klassisessa Stroopin testissä lyhyissä tehtävissä, mutta niiden suorituskyky heikkenee jyrkästi listojen pidentyessä, ilmenee PNAS Nexus -tiedelehdessä julkaistusta tutkimuksesta. Tulosten perusteella tekoälyn tarkkaavaisuus ei toimi samalla tavalla kuin ihmisen biologinen tarkkaavaisuus.

Klassinen testi mittaa häiriöiden torjuntaa

Stroopin testissä koehenkilölle näytetään värisanoja, kuten punainen tai sininen, eri värisellä musteella kirjoitettuna. Tehtävänä ei ole lukea sanaa vaan nimetä musteen väri. Jos sana punainen on kirjoitettu sinisellä, oikea vastaus on siis sininen.

Testiä käytetään psykologiassa toiminnanohjauksen mittaamiseen. Se kuvaa kykyä suunnata huomiota tehtävän kannalta oikeaan asiaan ja torjua automaattinen taipumus lukea näkyvä sana. Ihmisillä lukeminen on yleensä värin nimeämistä automaattisempaa, mutta tutkimuksen mukaan ihmiset pystyvät silti tavallisesti säilyttämään korkean tarkkuuden myös pitkissä Stroop-tehtävissä.

Tutkijat testasivat useita suuria kielimalleja vastaavalla asetelmalla. Lyhyissä, viiden sanan listoissa mallit suoriutuivat pääosin hyvin myös silloin, kun sana ja väri olivat ristiriidassa keskenään.

Tarkkuus romahti listojen pidentyessä

GPT-4o:n tarkkuus oli viiden sanan listalla 91 prosenttia. Kymmenen sanan listalla tarkkuus laski 57 prosenttiin ja neljänkymmenen sanan listalla enää 15 prosenttiin. Claude 3.5 Sonnet säilytti suorituskykynsä kahdenkymmenen sanan listoihin saakka, mutta senkin tarkkuus putosi neljänkymmenen sanan listalla 24 prosenttiin.

Samantyyppisiä heikkenemisiä havaittiin myös uudemmissa ja kehittyneemmissä malleissa, kuten GPT-5:ssä, Claude Opus 4.1:ssä ja Gemini 2.5:ssä. Kun listoihin sekoitettiin sekä yhteensopivia että ristiriitaisia sanoja, tulokset heikkenivät lisää. Joissakin malleissa ristiriitaisten kohtien tarkkuus putosi lähes nollaan.

Tutkijoiden tulkinnan mukaan mallit eivät pitkissä listoissa kyenneet pitämään yllä ohjetta nimetä musteen väri. Ne alkoivat yhä useammin tehdä sitä, mihin ne ovat eniten harjaantuneet: lukea sanoja. Löydös viittaa tutkijoiden mukaan siihen, että nykyisten suurkielimallien huomionohjaus muistuttaa lähinnä suuntaavaa tarkkaavaisuutta, kun taas ihmisen toiminnanohjausta vastaava kyky näyttää jäävän puutteelliseksi.