Ta en titt på en enkel teckning med inbäddade cirklar. För dig är det uppenbart vilken form som innehåller vilken. För de mest avancerade AI-modellerna är det en mardröm. Forskare har skapat CurveBench, ett benchmark som är utformat för att testa om artificiell intelligens verkligen kan förstå rumsliga relationer eller om den bara gissar baserat på mönster.

Benchmarken presenterar för modellerna 756 bilder på icke-korsande kurvor, från enkla polygoner till täta, labyrintlika konfigurationer. Målet är bedrägligt enkelt: AI:n måste analysera bilden och rekonstruera det exakta trädet av innehållsrelationer mellan formerna. Det är ett test av hierarkisk topologisk resonemang, som kräver att modellen kartlägger exakt hur regioner är inbäddade i varandra utan att några linjer korsar varandra.

Resultaten är chockerande. Även den mest kraftfulla proprietära modellen, Gemini 3.1 Pro, nådde endast 71,1 procents noggrannhet på den lätta uppsättningen och en usel 19,1 procent på den svåra. Detta avslöjar en kritisk blindfläck i nuvarande vision-språk-modeller. De kan känna igen objekt, men har svårt att resonera om den exakta geometriska logiken för hur dessa objekt förhåller sig till varandra i rummet. Klyftan mellan mänsklig intuition och maskinprestanda är stor, särskilt när komplexiteten ökar.

Det finns dock en väg framåt. Genom att använda förstärkningsinlärning med verifierbara belöningar finjusterade forskare den öppen källkod-modellen Qwen3-VL-8B. Denna specifika träningsmetod ökade dess noggrannhet från enbart 2,8 procent till 33,3 procent på de lätta uppgifterna, och slog därmed jättar som GPT-5.4 och Claude Opus 4.5 under deras utvärderingsprotokoll. Även om detta är ett betydande kliv, bevisar den återstående svårigheten på de svåra uppgifterna att exakt, topologi-medveten visuell resonemang är långt ifrån löst. AI har fortfarande en lång väg kvar innan den verkligen förstår geometrin i världen den ser.