Generativa optimering lovade revolutionera utvecklingen av artificiell intelligens genom att låta stora språkmodeller förbättra sina egna arbeten, exempelvis kod eller instruktioner, baserat på resultaten de producerar. Men i praktiken har metoden visat sig vara mycket osäker och oansvarig till en grad att endast 9 procent av de undersökta systemen faktiskt använder automatiserad optimering. Forskarna bakom den nyss publicerade studien påpekar att svaret ligger i de dolda val ingenjörer måste göra innan processen kan startas.

De måste bestämma vad som får ändras och hur man ska tolka feedback från systemets resultat till ett lärande mönster. Tre faktorer har visat sig avgörande för om lyckan eller misslyckandet blir resultatet: vilket utkast modellen börjar med, hur mycket data som hämtas efter varje försök samt hur många tester som görs samtidigt innan en uppdatering sker. Undersökningar inom olika fält visar att felaktiga startval kan göra vissa lösningar oönskade och att mindre databaser ibland fungerar bättre än stora.

Slutsatsen är att bristen på ett enkelt universellt sätt att konfigurera dessa lärandeloo par utgör det största hindret för att tekniken ska användas i produktion. Fram tills forskare lär sig hantera dessa komplexa val kommer automatiserad förbättring av AI-agenter att fortsätta vara ett löfte som inte går att införliva med säkerhet.

Källa: "Understanding the Challenges in Iterative Generative Optimization with LLMs", Allen Nie med flera, https://arxiv.org/abs/2603.23994