Tänk dig att träna en video-AI för att förstå rörelse och sammanhang utan att tvinga den att slösa tid på att tänka högt. Forskare har nu presenterat en ny metod, OraRL, som halverar träningskostnaderna samtidigt som prestandan ökar markant. Genombrottet utmanar antagandet att komplexa resonemangssteg är nödvändiga för högkvalitativ videoanalys, och erbjuder en snabbare och smidigare väg till smartare multimodella modeller.

Forskarteamet har fokuserat på förstärkningsinlärning för multimodala språkmodeller för video. Traditionellt har dessa modeller kämpat med bristande effektivitet när det gäller att lära sig av prover, eftersom generering av högkvalitativa resonemangskedjor är dyrt och långsamt. OraRL vänder upp och ner på detta genom att behandla befintliga annoteringar inte bara som betyg, utan som direkta positiva exempel – eller orakel – som modellen kan lära sig av. Denna metod integrerar kända bra svar direkt i träningsloopen, vilket gör att modellen kan optimera mot beprövade framgångar istället för att gissa blindt.

Att helt enkelt lägga till dessa perfekta exempel skapar dock en matematisk fälla som kallas för ”advantage inversion”. När ett högkvalitativt orakel inkluderas kan det konstgjort höja baslinjen, vilket får modellen att felaktigt straffa sitt eget goda arbete. För att lösa detta har forskarna utformat en avkopplad estimatör för fördel. Detta system separerar baslinjen från orakelns inflytande, vilket säkerställer att modellen lär sig rätt lektioner utan att förvirras av motstridiga signaler.

Resultaten är slående. OraRL kräver endast 2,2 gånger den stegtid som vanlig övervakad finjustering, jämfört med nästan fem gånger för befintliga metoder. Den skalar effektivt från små till stora modeller och levererar överlägsen noggrannhet på videouppgifter. Det mest anmärkningsvärda är att modellen uppnår state-of-the-art-resultat utan att använda resonemangskedjor (chain-of-thought), med en avkodningstid på endast 130 millisekunder jämfört med nästan fem sekunder. Detta bevisar att effektiv och högpresterande video-AI är möjlig utan den tunga beräkningsmässiga börda som komplexa resonemangssteg innebär.