Artificiell intelligens har länge stridit mot ett hårt tak som begränsat hur många texter eller minnesinnehåll system kan bearbeta samtidigt. Typiskt sett stannar kapaciteten vid en miljon ord, men nya metoder lyckas nu nå fram till hundratals gånger det mängden med minimal kvalitetstapp.

Den klassiska lösningen för att hantera enorma textströmmar har ofta inneburit kompromisser där precisionen försämras eller snabbheten minskar drastiskt ju längre kontexten blir. Forskarna bakom tekniken Memory Sparse Attention har identifierat dessa flaskhalsar och utvecklat en ny modell som löser problemet på ett helt annat sätt genom att dynamiskt sortera viktiga detaljer från onödig information. Istället för att tvinga systemet att lagra allt lika tungt prioriteras det som är relevant medan resten filtreras bort effektivt.

Resultatet blir en AI som minns nästan lika väl efter att ha läst 100 miljoner ord som efter bara några tusen utan att tappa fart eller klarhet i sin resonemagsförmåga. Detta gör det möjligt för digitala tvillingar och agentbaserade system att använda historik från hela ett datasamhälle istället för att behöva välja bort viktiga fakta. Tekniken visar också att man kan utföra dessa beräkningar med två moderna grafikkort i Sverige, vilket bryter gränsen för vad som anses möjligt inom dagens infrastruktur.

Genom att lossna kopplingen mellan hur mycket AI minns och hur smarta dess logiska drag är, har vi en grundsten för framtida system med levande minnesförmåga i stor skala. Denna utveckling öppnar dörren till applikationer där maskiner ska kunna analysera livslängden av dokument eller följa komplexa ärenden över decennier utan att glömma startpunkten.

Källa: MSA Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens, Yu Chen m.fl., https://arxiv.org/abs/2603.23516