En helt ny utmaning har identifierats för artificiell intelligens inom tre dimensioner. Även om moderna modeller kan bearbeta massor av bilder, klarar de inte av att följa snabba händelser i ett virtuell spel eller tilldela rätt handling till rätt person när flera agenter interagerar samtidigt.

Den nya studien GameplayQA visar att befintliga AI-modeller saknar en avgörande förmåga: att synkronisera med verkligheten från en förstapersonsperspektiv under snabbt tempo. Forskarna har skapat ett unikt testverktyg där videon är märkta med över 1,22 etiketter per sekund. Informationen delas upp i tre områden: sig själv, andra spelare och miljön. Ur denna data utvecklades nästan 2 500 frågor som täcker olika nivåer av tankeprocess.

Testresultaten visar en chockerande skillnad mellan maskin och människa. De mest avancerade modellerna misslyckas ofta med att fastspäna tidpunkter i videon, misstolkar vilken spelare som utför en handling eller glömmer bort kritiska beslut som fattas snabbt. Studien bekräftar att AI fortfarande är långt ifrån att kunna tänka som en människa i dynamiska miljön.

Framtiden för autonoma system och robotik kräver nya metoder för att lära sig hantera dessa komplexa situationer innan de kan implementeras på allvar i verkliga världar eller virtuella miljöer.