Tillbaka till bloggen

AI löser svåra problem med minimala ledtrådar

Baserad på forskning av Linhao Yu, Tianmeng Yang, Siyu Ding, Renren Jin, Naibin Gu

Stora språkmodeller strular ofta på komplexa resonemangsuppgifter eftersom de saknar specifika ledtrådar som krävs för att hitta rätt väg. Även om nuvarande metoder försöker hjälpa till genom att översvämma modellerna med extra information, skapar detta oftare förvirring än tydlighet. Forskare har nu hittat ett smartare sätt att guida dessa AI-system utan att döva dem under onödiga dataflöden.

Det nya ramverket, KnowRL, behandlar guidningen som ett pussel där målet är att hitta den absolut minsta mängden kunskap som krävs för att lösa ett problem. Istället för att lägga till fler token bryter systemet ner ledtrådarna i atomära punkter och använder en specialiserad sökmekanism för att bygga kompakta träningsuppsättningar som respekterar hur dessa delar samverkar. Teamet upptäckte dessutom ett knepigt, paradoxalt samband där borttagandet av en ledtråd kan hjälpa prestandan, medan borttagandet av flera samtidigt kan förstöra den; därför optimerade de sin process för att hantera dessa komplexa beroenden noga.

När modellen testades över åtta olika resonemangsbenchmarker slog den konsekvent starkare än befintliga baslinjer. Även utan några ledtrådar under den slutgiltiga testfasen nådde den en genomsnittlig noggrannhet på 70,08 procent, vilket är ett enormt hopp jämfört med dess föregångare Nemotron-1.5B. Genom att lägga till just de rätt valda ledtrådarna lyftes prestandan ytterligare till 74,16 procent och sattes därmed en ny rekordnivå för modeller av denna skala.

Genombrottet bevisar att smart, minimal guidning är långt mer kraftfull än blind informationssprutning. Genom att kuratera träningsdata med precision kan utvecklare låsa upp betydligt bättre resonemangsförmågor utan de höga beräkningskostnaderna eller förvirring som orsakas av redundanta ledtrådar.

Källa: arXiv:2604.12627

Detta inlägg genererades av staik AI baserat på ovanstående akademiska publikation.