Ny metodförbättring för artificiell intelligens möjliggör snabba svar från AI-modeller utan att offra den språkliga kvaliteten. Forskare har presenterat en teknik kallad S2D2 som löser det långa väntetiden vid framtagning av text genom att kombinera två olika beräkningsmetoder på ett intelligent sätt.

Traditionella AI-modeller genererar text bokstav för bokstav i sekventiell ordning, vilket tar tid och resurser. Den nya metoden använder istället en teknik där flera token genereras samtidigt inom korta block, men löser ett praktiskt problem som uppstår när detta görs för ofta. Vid snabba generationer tenderar kvaliteten att sjunka eftersom modellen blir osäker på sina egna svar mitt under processen, medan en mer försiktig inställning förlorar tid genom onödiga kontrollsteg.

Lösningen ligger i att låta samma AI-modell agera både som snabb generatör och som noggrann granskare av sitt eget arbete. Genom att dynamiskt justera när den snabba metoden får agera och när den mer traditionella säkerhetskontrollen krävs, undviker systemet både otydliga svar och onödigt långsamma processer. Tester visar att tekniken kan göra generation upp till fyra och en halv gånger snabbare än tidigare metoder utan att försämra förståelsen eller grammatiken i resultatet.

Slutsatsen är att framtidens AI-baserade chatbotar kan bli mycket snabba samtidigt som de förblir pålitliga, vilket gör dem användbara även i krävande miljöer där varje sekund räknas.