Nuvarande AI-verktyg för kodning slösar bort enorma mängder tid genom att vänta tills ett program är färdigskrivet innan det körs. Denna gamla metod tvingar systemet att sitta still och växla mellan kodning och exekvering i separata steg. Forskare har nu upptäckt ett sätt att köra kod medan den fortfarande genereras, vilket effektivt gömmer denna fördröjning från användaren.

Till skillnad från människor som konstant redigerar sitt arbete medan de skriver, spottar stora språkmodeller ut kodtoken efter token utan att stanna upp för att revidera dem. Detta unika beteende skapar en möjlighet att exekvera små kodbitar omedelbart när de dyker upp. Teamet har formulerat detta tillvägagångssätt som en tre-stegs-pipeline bestående av generation, detektion och exekvering. Deras nya system, kallat Eager, använder avancerade tekniker som AST-baserad chunking och dynamisk batching med gated execution för att köra flera stycken kod samtidigt medan misstag fångas tidigt.

Resultaten är överväldigande. Genom att exekvera kod parallellt med dess skapande minskar systemet icke-överlappande exekveringstid med nästan 99,9 %. Ännu viktigare är att den totala tiden från start till mål minskar med upp till 55 % över sju olika AI-modeller och fyra testbenchmarks. Genombrottet förändrar hur utvecklare interagerar med AI-assistenter, vilket gör dem betydligt snabbare och mer responsiva för verkliga uppgifter.

Källa: Executing as You Generate: Hiding Execution Latency in LLM Code Generation av Zhensu Sun, Zhihao Lin, Zhi Chen, Chengran Yang, Mingyi Zhou et al., https://arxiv.org/abs/2604.00491