Stora språkmodeller utvecklas snabbt till autonoma agenter för datavetenskap, men vi saknar fortfarande ett tillförlitligt sätt att testa om de verkligen förstår orsak och verkan, eller om de bara matchar mönster. Nuvarande benchmarktävlingar tvingar fram ett falskt val mellan abstrakta logikpussel och rörig analys av verkliga data. Detta lämnar ett kritiskt gap i vår förmåga att utvärdera dessa nya digitala arbetstagare.

Forskare har presenterat CausalDS, en benchmark som är designad för att överbrygga denna klyfta genom att testa kausal resonering inom realistiska arbetsflöden för datavetenskap. Till skillnad från tidigare dataset som förlitar sig på statiska, kuraterade exempel, genererar CausalDS nya syntetiska scenarier med hjälp av strukturella kausala modeller. Varje instans parar genererad observationsdata med en berättelse på naturligt språk, förankrad i en realistisk domän. Detta säkerställer att modellen ställs inför ett mångfaldigt, systematiskt skapat spektrum av utmaningar snarare än inlärda mallar.

Den verkliga innovationen ligger i hur benchmarket speglar friktionen i faktisk datavetenskap. Testet inkluderar ofullkomliga observationer och kräver att modellerna använder flera kodningsverktyg för att nå svar, vilket återspeglar den röriga verkligheten när man arbetar med verkliga data. Det utvärderar också en viktig men ofta förbisedd färdighet: förmågan att inse när en fråga inte kan besvaras och att avstå från att svara. Genom att kombinera symbolisk logik, kodning och osäkerhetskvantifiering mäter testet om en agent kan resonera sig igenom komplexitet eller om den bara parrotar sannolika svar.

Denna approach flyttar fokus från enkel prediktion till genuin kausal förståelse. Genom att behandla avstående som ett giltigt, poängsatt utfall lyfter CausalDS fram att veta vad man inte vet är lika viktigt som att hitta ett svar. För utvecklare som bygger agentic systems erbjuder denna benchmark en rigorös standard för att säkerställa att deras modeller kan hantera de nyanserade, verktygskrävande kraven i modern dataanalys.