Vissa AI-modeller stöter på väggar när de ska styra en mobiltelefon autonomt. Det nya systemet UI-Voyager lyckas emellertid vända förluster till framgång och uppnå prestationer som tidigare krävt mänsklig hjälp.

Traditionella metoder för att träna AI på att hantera smartphone-appar har länge stridit med ett flertal problem. De lärdes inte ut effektivt från felaktiga försök och fick svårt att koppla resultatet till rätt steg när belöningarna var otydliga över tid. UI-Voyager löser detta genom en unik två-stegsprocess som gör sig själv starkare. Först används en teknik kallad Rejection Fine-Tuning för att skapa en autonom loop där både data och modell utvecklas tillsammans. Sist kommer ett steg som granskar grupprollouters, identifierar kritiska avgörande punkter och skapar täta övervakningsdata baserade på lyckade scenarier. Denna information används sedan för att rätta till tidigare misslyckanden.

Testresultaten visar att systemet klarar av att lösa komplexa uppgifter med en framgångsfrekvens på 81 procent. Detta resultat är inte bara överlägset många konkurrenter utan går också upp mot vad människor kan nå till när de styr appar. Studien bekräftar att det är möjligt att bygga högeffektiva system för automatisering av mobila gränssnitt utan att behöva betala dyra prisar för manuelt märkta datamängder.