En ny studie avslöjar en chockerande sanning inom artificiell intelligens: de mest framgångsrika modellerna för att förutsäga RNA-strukturer misslyckas när de möter nytt data. Forskare har hittat ett stort luktgap mellan hur AI presterar på bekanta problem och osedvanliga uppgifter.

Vissa kan tänka sig att avancerad djupinlärning automatiskt löser alla biologiska gåtor, men så fungerar det inte när det gäller RNA. Forskare har hittat ett nytt sätt att testa dessa AI-system genom att jämföra hur de klara sig i okända situationer snarare än bara bekanta fall. Resultatet visar att modeller tränade på stora mängder data snabbt förlorar sina fördelar så fort de ställs inför helt nya RNA-familjer.

Den största överraskningen är att metoderna som använder komplexa grundmodell-tekniker presterar bäst när datan liknar vad de redan sett, men sviktar katastrofellt i osedvanliga scenarion. Enklare system som bygger på strukturell analys visade sig vara betydligt mer stabila och tillförlitliga över tid. Det innebär att den senaste vågen av AI-modeller kanske bara lär sig att känna igen mönster istället för att verkligen förstå den underliggande biologin, vilket gör dem mindre användbara i praktiskt arbete.

Slutsatsen blir tydlig när man tittar på siffrorna: för att skapa verkligt pålitliga AI-verktyg måste forskare sluta lita blint på prestanda på bekanta data och istället fokusera på robustitet vid nya uppgifter. Framtiden för RNA-analyser beror inte på vilken modell som är störst, utan på vilken som klarar sig bäst i den osäkra världen av biologi.

Zhiyuan Chen et al., Fair splits flip the leaderboard: CHANRG reveals limited generalization in RNA secondary-structure prediction, https://arxiv.org/abs/2603.22330