Bygger du AI-applikationer kan modellens interna talvärde vara källan till dina krascher. Ny forskning visar att aktiveringsspitarna i moderna stora språkmodeller är betydligt mer volatila och oförutsägbara än man tidigare trott, vilket utgör ett tyst hot mot effektiv drift.

Forskarna analyserade 27 kontrollpunkter från åtta olika familjer av öppna språkmodeller för att mäta hur stora interna datavärdena kan bli under bearbetningen. Dessa aktiveringar är avgörande för lågbitars kvantisering, en teknik som krymper modellerna så att de körs snabbare och billigare på konsumenthårdvara. Studien spårade dessa värden genom inbäddningar, uppmärksamhetslager och slutliga utdata för att förstå det verkliga dynamiska intervallet i moderna AI-system.

Resultaten var chockerande. Aktiveringstopparna varierade med nästan fyra storleksordningar mellan modeller av liknande storlek. Medan vissa modeller höll sig små, nådde andra, som Gemma3-27B-it, enorma nivåer. Överraskande visade Mixture-of-Experts-arkitekturer betydligt lägre toppar än täta modeller, vilket strider mot förväntningarna. Det mest kritiska fyndet var att residualströmmen konsekvent bar de högsta värdena, vilket innebär att att ignorera den under optimering leder till katastrofala fel.

Slutsatsen är klar: maximal aktiveringsmagnitud är en specifik egenskap hos en models arkitektur och träning, inte bara dess storlek. Innan du distribuerar öppna modeller med lågbitars kvantisering måste utvecklare mäta och rapportera dessa toppar. Att lita på gamla antaganden om aktiveringsskalning leder till dålig rekonstruktion och instabil inferens. Verifiera alltid det dynamiska intervallet för din specifika modelfamilj för att säkerställa tillförlitlig prestanda.