Tänk dig att undervisa en genius genom att studera studievanorna hos en student som kämpar. Det låter motintuitivt, men forskare har nu upptäckt ett sätt att förbättra kraftfulla AI-modeller genom att dra lärdomar från svagare modeller. Genombrottet kan minska de enorma kostnaderna för att träna avancerade resonemangssystem och förvandla en flaskhals till en genväg.

Huvudproblemet är att förstärkningsinlärning med verifierbara belöningar, så kallad RLVR, är extremt dyr. När AI-modellerna blir större blir denna träningsprocess en logistisk mardröm, eftersom modellen måste generera oändligt många försök-och-fel-rullningar för att lära sig. För att lösa detta har forskare utvecklat en metod som kallas Direct On-Policy Distillation. Istället för att tvinga en stark modell att efterlikna den svaga modellens slutgiltiga output, överförs själva inlärningsprocessen. Genom att jämföra den svaga modellen innan och efter dess egen träning extraherar forskarna en tät signal över vilka handlingar förstärkningsinlärningen gjorde mer eller mindre sannolika. Denna signal appliceras sedan direkt på den starkare modellen, vilket gör att den kan dra nytta av den svaga modellens RL-resa utan att själv behöva utföra det tunga arbetet.

Överraskningen här är att den svaga modellens begränsningar är irrelevanta, eftersom metoden fokuserar på förändringen i beteende snarare än det slutgiltiga resultatet. Den starka eleven lär sig av den riktning den svaga läraren rörde sig, inte lärarens slutgiltiga destination. Denna metod överträffar traditionell direkt förstärkningsinlärning och möjliggör att flera inlärningssteg kopplas samman. I praktiska tester ökade tekniken prestandan för Qwen3-1.7B-modellen på AIME 2024-benchmark från 48,3 procent till 58,3 procent på bara fyra timmar med hjälp av åtta A100-GPU:n.

Slutsatsen är tydlig: vi kan sluta behandla utfallet av förstärkningsinlärning som statiska slutprodukter. Istället kan vi återanvända dem som dynamiska, implicita belöningssignaler över olika modellskalor. Det innebär att framtida AI-träning kan bli betydligt billigare och snabbare, eftersom kraftfulla modeller kan ärva resonemangsförbättringarna från sina mindre, billigare motsvarigheter utan att någonsin behöva genomföra den dyra förstärkningsloopen själva.