Dagens AI-genererade videor fastnar i en ond cirkel av självmisstag. Systemen optimerar för isolerade mått som ljudklarhet eller visuell skärpa, men producerar ofta innehåll som upplevs som fragmenterat eller semantiskt meningslöst för mänskliga åskådare. Denna klyfta uppstår eftersom traditionella belönings signaler misslyckas med att fånga den holistiska sammanhållning som gör att en video känns rätt. Resultatet blir modeller som spelar systemet snarare än att skapa konst.

Forskare har nu presenterat VA-Judger, en ny belöningsmodell som är designad för att alignera AI-generering med verkliga mänskliga preferenser. Istället för att bedöma ljud och bild separat utvärderar detta system den gemensamma upplevelsen, vilket säkerställer att textprompt, visuella element och ljud samverkar sömlöst. För att bygga detta utvecklade forskarna VAPref-10K, ett stort dataset med jämförelser baserade på mänskliga preferenser som omfattar 9 000 prompts och 10 300 finmaskiga parvisa jämförelser. De utvecklade också en modell med kedjetänkande (chain-of-thought) som lär sig att urskilja kvalitetsbrister och förklara sitt resonemang.

Kärnan i konflikten ligger i hur vi mäter framgång. Befintliga metoder uppmuntrar till så kallad reward hacking, där modellerna genererar tekniskt perfekta men emotionellt tomma innehåll. VA-Judger bryter denna cykel genom att dela upp feedbacken i specifika dimensioner samtidigt som en övergripande känsla av sammanhållning behålls. Denna metod ger tätare och mer tillförlitliga belönings signaler som styr modellen mot resultat som verkligen tilltalar snarare än sådant som bara får höga poäng.

Resultaten visar att VA-Judger överträffar traditionella metriker avsevärt när det gäller att förutsäga mänskliga preferenser, både på bekant och ny data. När den används för efterträning av genereringsmodeller leder det till betydande kvalitetsförbättringar. Detta markerar en övergång från optimering för siffror till optimering för mänsklig perception och bevisar att verklig AI-kreativitet kräver förståelse för helheten, inte bara dess beståndsdelar.