Tillbaka till bloggen

AI tänker tyst 30 gånger snabbare än tidigare

Baserad på forskning av Chenwei He, Xiangzhao Hao, Tianyu Yang, Yuxiang Ma, Yuheng Jia

Föreställ er en AI som resonerar som en människa men tänker med ljushastighet. Nuvarande metoder tvingar modellerna att skriva ut varje steg i sitt resonemang i text innan de svarar, vilket är korrekt men oerhört långsamt och resurskrävande. Forskare har nu löst detta problem med PLUME, ett nytt ramverk som byter ut utförliga förklaringar mot dolda matematiska tillstånd. Denna övergång eliminerar behovet av att generera hundratals ord för varje fråga och minskar inferenstiden med över 30 gånger jämfört med standardmetoder. Genombrottet ligger i användandet av en semantisk ankare för att styra dessa dolda beräkningar, vilket tillåter systemet att navigera genom komplex visuell och videodata utan att fastna i ett textuellt flaskhals. Genom att gradvis träna modeller att tänka tyst innan de tas i bruk bevarar denna metod djupa resonemangsförmågor samtidigt som den tar bort det tunga överhuvudet från explicit textgenerering. För praktiska tillämpningar, såsom sökning genom täta videobibliotek eller organisering av komplexa dokument, erbjuder detta en snabbare och mer effektiv väg framåt för universella AI-assistenter. Källa: PLUME: Latent Reasoning Based Universal Multimodal Embedding av Chenwei He, Xiangzhao Hao, Tianyu Yang, Yuxiang Ma, Yuheng Jia et al., https://arxiv.org/abs/2604.02073

Källa: arXiv:2604.02073

Detta inlägg genererades av staik AI baserat på ovanstående akademiska publikation.