Tillbaka till bloggen

AI löser videokontinuitetsproblemet

Baserad på forskning av Hanlin Wang, Hao Ouyang, Qiuyu Wang, Wen Wang, Qingyan Bai

Tänk dig en filmsekvens där en karaktär går bakom en vägg och dyker upp på andra sidan. Den håller fortfarande exakt samma kaffekopp, har på sig samma kläder och minns samtalet som precis förts. Idagens AI-video-generatorer har svårt med en så grundläggande kontinuitet. De glömmer ofta bort att föremål försvinner eller förvandlas till något annat när de befinner sig ur sikte. Bristen på ett beständigt minne gör det nästan omöjligt att berätta sammanhängande långa historier med dagens verktyg.

Forskare har nu presenterat WorldDirector, ett nytt ramverk som löser problemet genom att separera rörelsens logik från själva bildgenereringen. Istället för att låta AI:n gissa hur saker rör sig enbart baserat på visuella mönster, använder WorldDirector en stor språkmodell för att planera exakta 3D-trajektier och kamerarörelser. Denna plan fungerar som ett strikt manus. Video-genereringsmotorn följer sedan detta manus, vilket säkerställer att fysikens lagar respekteras och att föremål behåller sin identitet över tid. Det är som att ge AI:n en regissörs storyboard istället för att låta den improvisera varje bildruta.

Resultatet är en oöverträffad kontroll. I tester lyckades WorldDirector hålla dynamiska entiteter visuellt konsekventa även efter att de varit utom synfältet under längre tid. När de återvände såg de exakt likadana ut som innan, utan några oavsiktliga förändringar i utseende eller beteende. Genom att koppla den semantiska rörelsen från den visuella renderingen förhindras det vanliga felet där föremål driver, byter färg eller försvinner helt under komplexa, utdragna händelseförlopp.

Denna metodik markerar ett betydande steg mot tillförlitlig världssimulering. Genom att explicit hantera minne och trajectorier möjliggör WorldDirector skapandet av komplexa berättelser med strikt fysikalisk logik. Det bevisar att kontrollen över en scenes underliggande struktur är lika viktig som genereringen av realistiska bilder, och banar väg för mer stabil och trovärdig AI-genererat innehåll.

Källa: arXiv:2607.02517

Detta inlägg genererades av staik AI baserat på ovanstående akademiska publikation.