Vi antar att AI-agenter är robusta, men i verkligheten är de sköra. När ett verktyg sviktar klarar sig de flesta modeller inte ur situationen; de fastnar istället i loopar av misslyckanden. Denna klyfta mellan idealiserad testning och den röriga verkligheten är kärnproblemet som forskare nu äntligen tar tag i med ett nytt testverktyg som heter ToolMaze.

ToolMaze går bortom de idealiska scenarierna där allt fungerar som det ska. Istället testas hur LLM-agenter hanterar dynamisk omplanering och återhämtning från anomalier när verktyg sviktar. Testet använder en tvådimensionell design för att mäta detta. Det kombinerar topologisk komplexitet med en taxonomi över störningar i verktygen. Dessa störningar kan vara antingen explicita eller implicita, samt tillfälliga eller permanenta. Uppställningen gör det möjligt att skilja på genuin, systematisk omplanering och blind trial-and-error.

Resultaten avslöjar en slående sårbarhet. Prestandan försämras nästan hos alla modeller när verktygen störs. De kraftigaste nedgångarna sker vid implicita semantiska fel. Här lider agenter av ett systematiskt överförtroende för korrupta utdata. Siffran för återhämtningsgrad vid störningar sjunker med cirka 37 procent i dessa scenarier. Dessutom fångar komplexa uppgiftsstrukturer agenter i meningslösa loopar. De kan inte bryta sig ur felet eftersom de inte kan urskilja en tillfällig glitch från ett grundläggande misslyckande.

Den mest kritiska slutsatsen är att feltolerans inte skalar väl. Agentic feltolerans förbättras med en hastighet som är 3,66 gånger långsammare än grundläggande uppgiftsutförande. Detta lyfter fram dynamisk omplanering som en distinkt flaskhals. Det är ett problem som varken modellskalning eller bättre prompt-engineering kan lösa. Data och kod för ToolMaze finns tillgängliga på https://github.com/Zhudongsheng75/ToolMaze.