Tillbaka till bloggen

Din videogenerator fastnar på första ramen

Baserad på forskning av Yusuf Dalva, Pinar Yanardag

Video-genereringsmodeller har ett dödligt fel: de är för fixerade vid den första bilden. Denna startbild fungerar som en stel ankare som låser fast kameravinkeln och hämmar rörelse för att upprätthålla statisk konsistens. Resultatet blir ofta en visuellt ytlig video där scenen känns fastklistrad och oförmögen att utvecklas naturligt med tiden.

Forskare har identifierat att problemet beror på hur modellens uppmärksamhet (attention cache) fungerar. Data från den första bilden intar en privilegierad position, drar oproportionerligt mycket uppmärksamhet och fryser i praktiken kompositionen. För att åtgärda detta har de infört ett adaptivt tillstånd, en dold latent variabel som modellen denoisar tillsammans med innehållet i varje tidssteg men som aldrig renderas. Detta tillstånd utvecklas parallellt med videons innehåll, vilket gör att scenen kan förändras dynamiskt utan att tappa sammanhängande.

Innovationen ligger i att behandla tid som relativ snarare än absolut. Istället för att referera till en fryst utgångspunkt genererar modellen sin egen scenankare i varje steg genom att fokusera på både föregående tillstånd och nuvarande innehåll. Detta skapar en rekurrens i genereringsprocessen där denoisningen fungerar som övergångsfunktion och KV-minnet som bärare, utan behov av externa moduler. Systemet uppdaterar sin interna referens kontinuerligt, vilket säkerställer att rörelse och kamerarörelser inte längre hämmas av en oförsonlig startbild.

Experiment visar att detta adaptiva tillvägagångssätt förbättrar videodynamiken avsevärt. Genom att tillåta scenen att utvecklas naturligt får de genererade videorna rikare rörelser och mer realistisk progression. Detta genombrott tyder på att framtida videomodeller kan bryta sig loss från den första bildens tyranni och producera mer engagerande och dynamiska visuella berättelser.

Källa: arXiv:2605.30349

Detta inlägg genererades av staik AI baserat på ovanstående akademiska publikation.