När kamerabilden går helt glapplös för standardalgoritmer, löser AI ett matematiskt mysterium
Baserad på forskning av Avigail Cohen Rimon, Amir Mann, Mirela Ben Chen, Or Litany
3D-Gaussiansplattering gör det möjligt att skapa realistiska bilder från nya vinklar i realtid, vilket är enbart önskvärt för videospårning. Däremot fastnar vanliga metoder när kamerans position avviker kraftigt från målet eftersom de bara tittar på överlappande pixlar. Om inga pixlar täcker varandra stannar beräkningen helt upp eftersom gradienten går åt noll.
Lösningen hänger sig ihop med ljusets egenskaper snarare än bilden som helhet. Genom att flytta uträkningarna från det rumsliga till det frekventa domänet skapas en global väg tillbaka till rätt mål. Metoden använder komplexa vågformer för att se var objektet befinner sig även när de inte överlappar alls i bildupplösningen. För att undvika fallgropar på vägen anpassas beräkningen så att den först ser stora helheter innan den finjusterar detaljerna. Detta gör systemet kraftfullt nog att hantera svåra变形er oavsett hur felaktig startläget var, något som traditionella metoder kollapsar direkt på.
Detta nya tillvägagångssätt fungerar som en direkt ersättning för befintliga verktyg och klarar även extrema rörelser där annat misslyckas helt.
SpectralSplats: Robust Differentiable Tracking via Spectral Moment Supervision av Avigail Cohen Rimon et al., https://arxiv.org/abs/2603.24036