Rubrik: Diffusionmodeller upptäcker rörelse i brusiga videos

Forskarna visar att diffusionmodeller, som normalt används för bildrestaurering, redan bär på inbyggd förmåga att förstå korrupt video utan träning.

Modellen utnyttjar den medvetenhet om störningar som finns i mellanrepresentationer från bildresteringsdiffusioner och lyfter dem till en full spatio-temporal uppmärksamhet som spanar över angränsande ramar. Detta skapar en hybridarkitektur där dessa egenskaper kombineras med konvolutionella features genom iterativ förfining, vilket ger extremt korrekta rörelsekartor även när bilden är suddig eller brusig.

Praktiskt innebär detta att optisk flödesberäkning nu blir tillförlitlig igen i svåra miljöer som mörka gator eller krossade kameror, där tidigare modeller misslyckades totalt med att spåra objekt korrekt.

Källa: DA-Flow: Degradation-Aware Optical Flow Estimation with Diffusion Models av Jaewon Min m.fl., https://arxiv.org/abs/2603.23499