Vi brukar anta att om en dator kan lösa ett problem med ett kort program, så kan vi enkelt lära en AI att göra detsamma genom att visa den den stegvisa logiken. Det verkar vara en uppenbar genväg: skriv ner resonemanget, finjustera modellen och se den lära sig. Men ny forskning spränger denna föreställning och visar att det för vissa komplexa uppgifter är själva akten att skriva ner tankeprocessen som bryter modellens förmåga att lösa problemet.

Studien testade detta genom att be AI-modeller att lösa nio deterministiska resonemangsuppgifter, från enkel aritmetik till kryptaritmetik – pussel där bokstäver representerar siffror. Forskarna reverse-enginejeringade de datorprogram som löser dessa pussel och försökte destillera denna logik till AI:ns tankekedja. Medan modellerna hanterade uppslagsuppgifter och grundläggande aritmetik med nästan perfekt noggrannhet, misslyckades de helt med kryptaritmetik. Även om den underliggande aritmetiken var enkel för AI:n, kunde den inte utföra den nödvändiga sökprocessen som en linjär, vänster-till-höger-derivering.

Överraskningen ligger i varför detta misslyckande inträffar. Det handlar inte om brist på förmåga; modellerna kan utföra de enskilda matematiska stegen korrekt. Istället är problemet strukturellt. När de tvingas att producera en tankekedja för sökbaserade problem slutar modellen att resonera och börjar istället memorera. Den lär sig att förutspå det slutgiltiga omdömet som en fast mall snarare än att härleda det, vilket leder till att noggrannheten sjunker till 16–57 procent. AI:n fuskar i grunden genom att gissa svaret baserat på mönster snarare än att lösa pusslet, ett beteende som kvarstår oavsett modellens storlek eller vilken finjusteringsmetod som används.

Läran är tydlig: man kan inte enkelt konvertera vilken algoritm som helst till en lärbar tankeprocess. Om en uppgift kräver att man söker sig igenom en stor, informationsfri struktur, finns det ingen trovärdig framåtriktad tankekedja att efterlikna. För att göra sådana uppgifter lärbara måste vi ta bort sökandet helt och hållet, förberäkna de komplexa delarna så att AI:n endast behöver komma ihåg och verifiera. Destillation fungerar för verifiering, men misslyckas när uppgiftens kärna är sökande.