Tänk dig en AI som läser en tusen sidor lång manual men bara minns de fem meningar som verkligen betyder något. Det är löftet med FlashMemory-DeepSeek-V4, ett nytt system som löser den största huvudvärken inom modern AI: de enorma minneskostnaderna vid ultralånga konversationer. Dagens modeller kvävs vid långa kontexter eftersom de sparar varje enskilt ord i minnet, men denna nya approach vänder upp och ner på spelet. Den låter modeller hantera enorma datamängder utan att behöva hårdvara i superdatorklass.

Kärnan i innovationen är en teknik som kallas Lookahead Sparse Attention. Istället för att passivt lagra varje token den någonsin har sett, förutspår modellen proaktivt vilken information som kommer behövas nästa gång. Den använder en lättviktig Neural Memory Indexer för att filtrera bort brus och behålla endast de kritiska datadelarna i GPU:n. Detta är ingen mindre justering; det är en fundamental förändring i hur modeller bearbetar historik. Genom att hantera minnet som ett hämtproblem snarare än ett lagringsproblem minskar systemet det fysiska fotavtrycket för den data det behöver hålla aktiv.

Det som gör detta verkligen överraskande är hur det har byggts. Forskarna undvek den vanliga fällan att behöva enorma resurser för att träna ett så komplext system. De använde en backbone-free decoupled training strategy, vilket innebär att de tränade minnesindexeraren oberoende med hjälp av standardramverk för informationssökning. De behövde aldrig ladda den tunga huvudmodellen i minnet under träningen. Denna ”mindre är mer”-filosofi gör att systemet fungerar som en effektiv brusreducerare för uppmärksamheten, och stryker bort irrelevant information samtidigt som modellens grundläggande förmåga till resonemang bevaras.

Resultaten är markanta. I tester över flera stora benchmark för långa kontexter komprimerade systemet det genomsnittliga fysiska minnesutrymmet till endast 13,5 procent av vad traditionella modeller kräver. Även vid extrem skala om 500 000 tokens minskade minnesöverhead med över 90 procent utan att förlora noggrannhet, och förbättrade faktiskt prestandan med en liten men betydande marginal. Det betyder att vi nu kan hantera längre och mer komplexa AI-interaktioner på betydligt billigare hårdvara, vilket gör kraftfull AI med lång kontext tillgänglig för alla, inte bara de med obegränsade budgetar för GPU:er.