Tillbaka till bloggen

Liten modell matchar 10B:s bildinmatningskvalitet

Baserad på forskning av Kangsheng Duan, Ziyang Xu, Wenyu Liu, Xiaohu Ruan, Xiaoxin Chen

Tänk dig att fylla i saknade delar i en bild med slående realism, men att göra det på din bärbara dator istället för i en serverfarm. I åratal har högkvalitativ bildinpainting varit ett exklusivt område för enorma modeller med miljarder parametrar, vilket gjort dem för långsamma och dyra för vardagsbruk. Nu har forskare presenterat Moebius, ett lättviktigt ramverk som bryter denna barriär genom att leverera toppresultat med en bråkdel av den beräkningsmässiga tyngden.

Den centrala utmaningen var att balansera extrem komprimering med hög trohet. När man krymper ett neuralt nätverk för mycket förlorar det förmågan att förstå komplexa visuella sammanhang. Moebius löser detta genom att rekonstruera sin diffusion-ryggstomme med en ny blockstruktur för lokal-lambda-mixinteraktion (LλMI). Denna mekanism sammanfattar spatiala detaljer och globala semantiska drag till matriser med fast storlek, vilket bevarar intrikata latenta interaktioner samtidigt som antalet parametrar minskar drastiskt. För att säkerställa att den kompakta modellen inte offrade kvalitet, kombinerade forskarteamet den med en adaptiv strategi för distillation med flera granularitetsnivåer. Denna teknik arbetar i det latenta rummet och balanserar dynamiskt gradientbaserade förluster för att uppnå höglokal alignment utan den kostsamma overhead som pixelbaserad avkodning medför.

Resultaten är chockerande. Moebius använder mindre än två procent av de parametrar som krävs för FLUX.1-Fill-Dev-modellen, som har 11,9 miljarder parametrar. Trots sin lilla storlek kan den mäta sig med eller till och med överträffa genereringskvaliteten hos dessa industriella jättar. Viktigare än så är att den levererar mer än femtonfaldig acceleration i den totala inferenstiden. Denna synergism mellan strukturell innovation och distillation sätter en ny standard för effektivitet och bevisar att man inte behöver enorm skala för att uppnå professionell bildredigering.

Detta genombrott omdefinierar vad som är möjligt för AI på enheter. Genom att koppla prestanda från parametrantalet gör Moebius höglokal inpainting tillgänglig för realtidsapplikationer. Det handlar inte längre bara om att ha den största modellen; det handlar om att ha den smartaste arkitekturen.

Källa: arXiv:2606.19195

Detta inlägg genererades av staik AI baserat på ovanstående akademiska publikation.