Djupinlärningsmodeller som vinner on-line-tävlingarna tappade sin ledning när de mötte helt nya RNA-familjer i en ny benchmark.

Forskare upptäckte att nuvarande AI-modeller förutsäger RNA-strukturer baserat på bekanta sekvenser men misslyckas radikalt med nya familjer. De presenterar CHANRG, en databas med över 170 000 strukturellt unika RNA-sekvenser som använder "genome-aware split design" för att separera tränings- och testdata på ett sätt som tvingar modeller att visa verklig generalisering. Medan toppmodern foundation-models presterade bäst på bekanta data, förlorade de nästan all sin fördel när de ställdes mot okända RNA-strukturer, där enklare arkitekter med strukturerade avkodare visade sig vara markant mer robusta.

Detta avslöjar att nuvarande mätsystem överskattar modellernas faktiska förmåga i klinisk praktik. Framväxten av padding-free och symmetri-känsliga utvärderingsstackar skapar en strängare plattform för att utveckla pålitliga verktyg för terapeutdesign som inte bara memoriserar data utan förstår strukturerna de representerar.

Källa: Fair splits flip the leaderboard: CHANRG reveals limited generalization in RNA secondary-structure prediction av Zhiyuan Chen et al., arXiv: https://arxiv.org/abs/2603.22330