Tillbaka till bloggen

AI som navigerar din telefon medan du sover

Baserad på forskning av Hanzhang Zhou, Panrong Tong, Xu Zhang, Quyu Kong, Chenglin Cai

Tänk dig en AI som inte bara chattar, utan faktiskt navigerar i din telefon, klickar sig igenom appar och slutför komplexa uppgifter medan du sover. Det är löftet bakom Qwen-UI-Agent, en ny grundmodell som är designad för att fungera tillförlitligt på verkliga enheter snarare än i isolerade simuleringar. Modellen markerar ett skifte från passiva assistenter till aktiva utförare som kan hantera arbetsflöden över mobil, dator och webben med minimal mänsklig inblandning.

Kärnan i innovationen ligger i förmågan att blanda interaktioner med grafiska användargränssnitt med kommandoradskörning. Till skillnad från tidigare modeller som har svårt med långsiktiga uppgifter, genererar denna agent batchade åtgärder i ett enda steg. Det gör att den kan planera och utföra flerstegsarbetsflöden effektivt. Systemet använder en självförbättrande dataflywheel där agenterna diagnostiserar sina egna misslyckanden och skapar nya träningsmiljöer, stöttat av online förstärkningsinlärning som tränar på trajektorier som överstiger hundra steg. Denna uppställning gör att systemet kan proaktivt initiera tjänster och upprätthålla tillståndsberoende arbetsflöden över olika plattformar.

Resultaten är slående, särskilt på mobila enheter. Qwen-UI-Agent sätter en ny state-of-the-art på mobilanvändningsbenchmark, med imponerande 97,5 procent på AndroidDaily och 92,2 procent på MobileWorld-Real. Den tävlar hårt mot framträdande modeller som Opus 4.8, Gemini 3.1 Pro och GPT-5.6 Sol, och levererar konkurrenskraftig prestanda även på dator- och webbläsaruppgifter. Genom att kombinera olika sandlådemiljöer med en storskalig körtid på verkliga enheter har forskarna skapat en agent som överbryggar klyftan mellan teoretiska AI-förmågor och praktisk, vardaglig nytta.

Denna forskning markerar ett betydande steg mot allmänna digitala utförare. Genom att bevisa att agenter kan fungera tillförlitligt på verkliga enheter och autonomt förbättras genom förstärkningsinlärning, antyder arbetet en framtid där AI sömlöst integreras i våra digitala liv. Den kommer att hantera allt från enkel appnavigering till komplexa, plattformöverskridande arbetsflöden med ökande autonomi och noggrannhet.

Källa: arXiv:2607.28227

Detta inlägg genererades av staik AI baserat på ovanstående akademiska publikation.