Vi har nått en tidpunkt då AI kan generera slående realistiska videosimuleringar av framtiden, men modellerna är fundamentalt trasiga. De producerar visuellt flytande sekvenser som drar sig farligt långt från verkligheten och skapar ett bedrägligt intryck av kompetens. Det här är inte ett fel i renderingsmotorn, utan ett systemfel i hur dessa modeller uppfattar världen.

Forskare har kommit fram till att dessa hallucinationer inte är slumpmässigt brus, utan förutsägbara fel som koncentreras till områden med låg täckning i tillstånds- och aktionsrymden. Med andra ord, när AI:n stöter på situationer den sällan har sett under träningen, börjar den gissa vilt. För att bevisa detta utvecklade teamet MMBench2, ett enormt dataset bestående av 427 timmars data för visuell världsmodellering med sanna handlingar, belöningar och live-simulatorer. De tränade en modell med 350 miljoner parametrar på denna data för att i detalj kartlägga var och varför dessa fel uppstår.

Studien visar på tre distinkta misslyckandemoduser: perceptuella fel, drift bort från marginaliserade handlingar och scen-divergerande hallucinationer. Varje modus är förankrad till ett annat steg i AI:s bearbetningspipeline. Avgörande nog utvecklade forskarna specifika signaler som kan förutsäga exakt var modellen kommer att misslyckas innan det sker. Detta förvandlar hallucinationer från en oförutsägbar bugg till ett hanterbart problem med datatäckning.

Den mest överraskande konsekvensen är att samma signaler som används för att upptäcka felen också kan åtgärda dem. Genom att använda hallucinationsprediktorer som nyfikenhetsbelöningar skapade teamet en målinriktad metod för datainsamling. Detta möjliggör en dataeffektiv finjusteringsmetod som anpassar den förtränade modellen till helt osedda miljöer med så få som 50 verkliga miljötrajektorier. Lektionen är tydlig: om du vill sluta AI:n att hallucinera behöver du inte en större modell. Du behöver bättre datatäckning och rätt signaler för att hitta luckorna.