AI har mästarkunnighet i att generera individuella spelresurser och skriva enkla skript, men det är fortfarande svårt för den att bygga hela spel från grunden. Detta gap beror på att professionella spelmotorer är komplexa system, och hittills har det saknats stora mängder data för att lära AI hur den ska hantera dem. Forskare har nu ändrat på detta genom att skapa JamSet och JamBench, de första datamängderna som är specifikt utformade för att testa AI på projektbaserad kodutveckling inom professionella spelmotorer.

Forskarteamet insåg att Game Jam-tävlingar, där utvecklare tävlar om att bygga kompletta spel under tighta tidsfrister, var en guldgruva av öppen källkod. Genom att utnyttja Godot-motorns textbaserade format och headless-exekveringsläge granskade de över 240 000 arkiv för att filtrera fram 8 133 verifierade projekt. Från dessa valde de ut 300 manuellt verifierade projekt för att bilda JamBench, en benchmark som utvärderar AI inte bara på dess förmåga att skriva kod, utan också på om koden faktiskt körs korrekt och beter sig enligt avsikten.

Resultaten avslöjar en slående kapacitetsklyfta. Medan AI-modeller hanterar små projekt med en framgångsgrad på 80,4 procent, sjunker den till enbart 5,7 procent för större, mer komplexa spel. Överraskande nog förbättrar även avancerade kodagenter, som höjer kompileringsgraden, inte körningsbeteendet. Detta tyder på att den verkliga flaskhalsen inte är syntaxen, utan den arkitektoniska designen. AI kan skriva delarna, men den kan ännu inte sätta ihop dem till en fungerande helhet.

JamSet visar sig vara effektiv träningsdata och erbjuder en tydlig väg framåt för utvecklare. Studien belyser att AI, så länge den inte mästrar den högnivåarkitekturen i speldesign, kommer att förbli ett verktyg för kodsnuttar snarare än en partner i skapandet. All data och kod är nu offentliga, vilket inbjuder communityt att ta itu med denna sista front inom automatiseringen av spelutveckling.