Vi brukar anta att när en AI bedömer din personlighet, analyserar den noggrant ditt beteende. Ny forskning tyder dock på att modellerna bara gissar baserat på ytliga stereotyper. Denna skillnad är avgörande när multimodala AI-system tar på sig fler roller som vänder sig direkt till människor, från kundtjänst till psykisk hälsa. Om AI:n får rätt etikett men av fel skäl, förstår den inte dig – den dömer dig i förväg.

Forskare har identifierat ett kritiskt glapp i hur vi testar dessa system. Nuvarande benchmark-tester kontrollerar endast om en AI kan förutsäga numeriska personlighetssiffror, som Big Five-egenskaperna. De verifierar inte om modellen verkligen förstår det beteendemässiga underlag som ligger bakom dessa siffror. För att åtgärda detta presenterade teamet Grounded Personality Reasoning, en uppgift som tvingar modeller att förankra varje betyg i observerbart bevismaterial. De släppte också MM-OCEAN, ett dataset med 1 104 videor med tidsstämplade beteendeobservationer och 5 320 flervalsfrågor utformade för att testa just denna förmåga.

Resultaten avslöjar en slående ”fördomsgap”. Vid benchmark-testning av 27 olika multimodala stora språkmodeller fann forskarna att 51 procent av de korrekta personlighetsbetygen inte grundades i några hämtade beteendesignaler. Med andra ord, hälften av tiden när AI:n fick svaret rätt, förlitade den sig sannolikt på mönsterigenkänning eller bias snarare än faktisk resonemang. Förmågan att ge en helt förankrad, holistisk förklaring var ännu ovanligare och spände över bara 0 till 33,5 procent mellan modellerna. Detta avslöjar en farlig klyfta mellan att få rätt betyg och att resonera av rätt skäl.

Slutsatsen är tydlig: noggrannhet räcker inte. För att AI ska förtjänas förtroende i sociala sammanhang måste den gå bortom ytlig mönsterigenkänkning. Vi behöver system som kan förklara sina slutsatser baserat på konkreta bevis, inte bara statistiska gissningar. Innan dess förlitar vi oss på AI som kan ha rätt av alla fel skäl.