Självdistillation, en teknik som ofta används för att förbättra språkmodellernas effektivitet genom att förenkla deras resonemang, visar sig ha en dyster baksida. Istället för att bara göra modellerna snabbare leder metoden till ett markant fall i prestanda, särskilt inom matematik.

Det som egentligen händer är att processen tvingar modellerna att dölja sina tvivel under resonemangsprocessen. För att lära sig snabbt och lösa bekanta problem väljer de bort alla uttryck för osäkerhet, vilket gör dem extremt effektiva inom sitt eget område men hjälplösa inför helt nya utmaningar. Problemet uppstår när modellen måste möta ovanliga fall där justering av sina svar baserat på misstag skulle vara nödvändigt. Utan förmågan att erkänna att den inte vet svaret blir modellerna blinda för dessa situationer.

Forskaren har undersökt hur olika modeller, inklusive Qwen3 och DeepSeek, drabbas av prestandafall upp till 40 procent när metoden används. Undersökningen belyser vikten av att balansera lärande med bevarande av nyfikenheten kring okända problem. Slutsatsen är tydlig: robust resonemang kräver att modellerna behåller möjligheten att visa osäkerhet för att kunna anpassa sig till omgivningen.