Du läser en översatt roman. Prosan flyter, handlingen hänger ihop och karaktärerna känns levande. Varför ligger då en irriterande känsla av att något saknas kvar i bakhuvudet? Ny forskning tyder på att AI-översättning har passerat tröskeln för vad som räknas som tillräckligt, men att den fortfarande misslyckas med att förmedla litteraturens själ.

Forskarna har granskat hur läsare upplever maskinöversättningar jämfört med mänskliga. De bad femton flitiga läsare att jämföra utdrag från femton nyligen utgivna romaner översatta från franska, polska och japanska till engelska. Deltagarna genomförde två typer av läsning: en fördjupad läsning av hela utdrag och en noggrann läsning av matchade textstycken. Målet var att mäta inlevelse och litterär effekt – aspekter som standardiserade automatiserade mätetal ofta missar.

Resultaten visar en subtil men betydande klyfta. Läsare beskrev AI-översättningarna som ”okej”, men de föredrog konsekvent de mänskliga översättningarna. På utdragets nivå var föredraget marginellt, men vid den noggranna läsningen blev den mänskliga fördelen tydlig. Läsarna angav att de mänskliga översättningarna var lättare att läsa, tydligare och mer inlevelserika. Intressant nog varierade kvaliteten på AI-översättningarna mer inom en och samma bok än vad som gällde för de mänskliga. Ännu förvånansvärt var att läsarna inte kunde lita på sin förmåga att skilja på de två. När de gissade tenderade de att föredra den version de trodde var översatt av en människa, vilket belyser en stark bias för det mänskliga touchet.

Denna disconnect avslöjar stora brister i hur vi idag utvärderar översättningsteknik. Automatiserade mätetal, inklusive de som använder stora språkmodeller som domare, speglade inte läsarnas preferenser utan snarare gynnade maskinöversättningarna. För att adressera detta har forskarna släppt LAIT, ett läsarcentrerat utvärderingsdataset som innehåller tusentals omdömen och anteckningar. Lärdomen är klar: flyt är inte nog. För litteratur är det mänskliga elementet oumbärligt, och våra verktyg måste utvecklas för att mäta det som verkligen betyder något för läsaren.