LLM-agenter ser briljanta ut på papperet, men kollapsar i verkligheten. Varför? De tränas i sterila laboratorier, inte i det kaotiska virvar som verkliga användarinteraktioner innebär.

Forskare har identifierat ett kritiskt fel i hur AI-agenter byggs. De lär sig av perfekta instruktioner och pålitliga verktyg, vilket skapar en farlig illusion av kompetens. När de tas i bruk i verkligheten, där användarens budskap är tvetydiga och verktyg sviktar, degraderar dessa agenter snabbt. Träningsmiljön är för ren för att förbereda dem för vardagens brus.

För att åtgärda detta utvecklade teamet NoisyAgent, ett ramverk som medvetet ställer till det under träningen. De simulerar två typer av kaos: användarbrus, som efterliknar förvirrande eller inkonsekvent mänsklig inmatning, och verktygsbrus, som introducerar fel och misslyckanden i AI:s handlingar. Istället för att överväldiga modellen applicerar de dessa störningar gradvis. Agenten lär sig att navigera i ökande kaosnivåer, vilket stabiliserar träningen samtidigt som den tvingas anpassa sig till ofullkomligheter.

Resultaten är slående. Agenter som tränats med denna metod är avsevärt mer robusta i dynamiska, brusiga miljöer. Överraskande nog presterar de också bättre på standardiserade, idealiserade benchmark-test. Detta tyder på att exponering för kontrollerat kaos gör resonemangen mer generaliserbara, inte mindre. Lektionen är tydlig: för att bygga pålitlig AI måste vi sluta träna den i vakuum och istället lära den hantera röran.