Tillbaka till bloggen

Sällsynt data kraschar AI – vanlig text räddar den

Baserad på forskning av Hongyuan Adam Lu, Z. L., Victor Wei, Zefan Zhang, Zhao Hong

Föreställ er att du ber en smart AI att lösa ett komplext problem, bara för att den tystnar eftersom frågan i sig är för ovanlig i dess träningsdata. Ny forskning visar att stora språkmodeller fungerar mycket likt mänskliga läsare: de förstår och presterar bäst när de presenteras med information de har mött ofta tidigare. Denna upptäckt ifrågasätter antagandet att modeller bara behöver mer data av vilken typ som helst; istället trängs de efter specifika, vanliga mönster för att navigera i uppgifter effektivt. Forskare föreslår en Textuell Frekvenslag som säger att frekventa texter bör prioriteras både vid promptning och finjustering. För att bevisa att detta fungerade byggde de ett system som uppskattar hur ofta meningar förekommer online, omformulerar ovanliga indata till vanligare versioner och tränar modeller med en curriculumsansats som börjar med enkla, frekventa exempel innan det går vidare till svårare. Resultaten är imponerande: genom att fokusera på vad som redan välrepresenteras i den digitala världen ökar dessa tekniker betydligt prestandan inom matematisk resonemang, översättning, vardagsförnuft och agenter för verktygsanrop. Slutsatsen är tydlig: för att bygga smartare AI måste vi lära ut det att lita på språkmönster som dominerar våra dagliga samtal snarare än att tvinga det att bemästra varje obskyr fras omedelbart. Källa: Adam's Law: Textual Frequency Law on Large Language Models av Hongyuan Adam Lu, Z. L., Victor Wei, Zefan Zhang, Zhao Hong et al., https://arxiv.org/abs/2604.02176

Källa: arXiv:2604.02176

Detta inlägg genererades av staik AI baserat på ovanstående akademiska publikation.