Att använda en smartare AI för att skriva träningsdata åt en mindre modell låter som en perfekt genväg, men det misslyckas ofta katastrofalt. Ny forskning visar att enbart att kopiera output från en kraftfull modell faktiskt kan förlama de resonansförmågor hos den student man försöker undervisa. Denna motintuitiva svikt har lämnat många utvecklare med frågan varför deras bästa resurser gör modellerna sämre istället för bättre.

Kärnan i problemet ligger i en subtil men kritisk missmatchning: lärarmodellens skrivstil är för annorlunda jämfört med vad studentmodellen naturligt producerar. När forskare försökte finjustera en resonansmodell med data genererad av ett mycket starkare system, kämpade studenten med att anpassa sig eftersom mönstren kändes främmande. De resulterande syntetiska sekvenserna var logiskt hållbara men stilistiskt påträngande, vilket fick modellen att tappa fotfästet under faktisk användning snarare än att inhämta nya färdigheter.

För att lösa detta utvecklade teamet ett samarbetsramverk som växelvis låter lärar- och studentmodeller generera stil- respektive icke-stil-tokens. Istället för att låta läraren skriva allt ensam, växlar systemet mellan att generera högnivåresonemang från experten och att fylla i stilistiska detaljer med studentens egen röst. Denna hybrida metod säkerställer att den slutgiltiga träningsdatan behåller intelligensen hos den kraftfulla modellen samtidigt som den låter exakt som något studenten naturligt skulle säga.

Resultaten är slående: där standardmetoder fick prestandan att sjunka med över 10 procent, levererade denna samarbetsstrategi tvåsiffriga förbättringar i uppgifter kring kodgenerering. Slutsatsen är tydlig för alla som bygger resonansmodeller: man kan inte bara kopiera och klistra från en genombrottsförfattare; man måste lära studenten att tänka i sin egen röst samtidigt som man lånar deras visdom.