Testtidsskalning har revolutionerat hur stora språkmodeller tänker och agerar, men standardmetoder stöter snart på en vägg av för hög beräkningskostnad när modellerna blir djupare. Forskare presenterar nu Universal YOCO, en ny lösning som kombinerar två tekniker för att bryta igenom detta hinder utan att offra prestanda.

Metoden bygger på en specifik arkitektur där modellen använder parameterdelning för att köra flera iterationer snabbt. Genom att begränsa dessa upprepningar till de lägsta och mest effektiva lagren lyckas forskare hålla ner minnesbehovet samtidigt som modellens förmåga att hantera komplexa uppgifter ökar markant. Det är en smart balansgång mellan kapacitet och effektivitet som ingen av teknikerna enskilt klarar lika bra.

Resultaten visar att denna nya metod presterar mycket väl både i generella tester och när det gäller att hantera extremt långa texter. Detta bekräftar att integrationen av dessa specifika arkitekturella val är en lovande väg framåt för framtida skalbara språkmodeller.

Källa: Universal YOCO for Efficient Depth Scaling av Yutao Sun, Li Dong, Tianzhu Ye, Shaohan Huang, Jianyong Wang m.fl., https://arxiv.org/abs/2604.01220