AI-agenter misslyckas med långa uppgifter
Baserad på forskning av Ziyu Ma, Hailang Huang, Shun Zou, Yong Wang, Shidong Yang
Tänk dig att be en AI att planera ett komplext projekt. I början verkar det briljant. Men när uppgiften växer börjar AI:n hallucinera, glömma steg och fatta beslut baserade på föråldrade eller felaktiga antaganden. Detta är den dolda svagheten i dagens mest avancerade agenter för stora språkmodeller. De drunknar i sitt eget växande sammanhang och förlorar greppet om verkligheten när de försöker hantera långsiktiga uppgifter.
Forskare har identifierat en kritisk flaskhals: nuvarande system håller uppgiftsutförande, tillstånd och utvärdering sammanflätade i ett enormt, ständigt växande kontextfönster. Det gör det nästan omöjligt att hålla reda på vad som faktiskt är sant jämfört med vad modellen bara tror är sant. Fel sprids okontrollerat, vilket leder till katastrofala misslyckanden i komplexa arbetsflöden som kräver ihållande resonemang och verktygsanvändning över många beroende steg.
För att lösa problemet utvecklade teamet LongHorizon-Harness ett system som behandlar långsiktigt utförande som ett strikt problem med tillståndshantering. Istället för att låta modellen gissa sin framgång håller systemet uppgiftstillståndet explicit utanför körningsloopen. Det använder en hantera-kör-granska-loop där en chef bestämmer nästa deluppgift, en utförare med färskt sammanhang utför den, och en skrivskyddad granskare oberoende verifierar resultaten mot den verkliga miljön innan man fortsätter. Detta säkerställer att endast verifierade fakta uppdaterar tillståndet, vilket förhindrar att fel snöar bort.
Resultaten är slående. Genom att koppla isär tillståndshantering från utförandet höjer systemet prestandan avsevärt över olika modeller och benchmark. På WeaveBench hoppade Qwen 3.7-Plus från 51,8 procent till 80,7 procent noggrannhet. På Terminal-Bench 2.1 steg Qwen 3.7-Plus från 69,7 till 77,2 procent, och på OSWorld 2.0 förbättrades det från 2,8 till 8,3 procent. Claude Opus 4.7 såg vinster på en delmängd av OSWorld 2.0, där det steg från 20,0 till 34,3 procent. Denna metod bevisar att det är avgörande att hålla AI:n förankrad i verifierad verklighet, snarare än dess eget interna narrativ, för att hantera verklig komplexitet.