Datavetenskapen kvävs av komplexitet. Stora språkmodeller lovar att automatisera det tråkiga slitandet med att rensa, analysera och tolka rådata, men vi har för närvarande inget pålitligt sätt att veta om de faktiskt är bra på det. Utan en standardiserad testmiljö förblir påståenden om AI-driven effektivitet obekräftade gissningar, vilket tvingar företag att gamble på verktyg som kan svikta när de möter verklighetens kaos.

Forskarna har presenterat AgenticDataBench, ett omfattande benchmark som är utformat för att rigoröst testa dessa dataagenter. Målet är att gå bortom enkla noggrannhetsmått och istället utvärdera hur väl AI hanterar de intrikata arbetsflödena i den verkliga datavetenskapen. Det innebär att utvärdera agenter inom olika domäner, från finans till hälso- och sjukvård, för att säkerställa att de kan navigera i den röra som heterogen data innebär, snarare än bara i idealiserade dataset.

Benchmarken skiljer sig genom att fokusera på finmaskig prestanda. Istället för att behandla varje uppgift som en monolit, bryts datavetenskapen ner i specifika färdigheter och operativa mönster. Forskarna samlade in verkliga dataset och uppgifter från femton olika branscher, inklusive fem komplexa affärsfall från ett stort fintech-företag. För att fylla luckor där verkliga data var bristfälliga använde de en LLM-baserad metod för att generera realistiska uppgifter baserade på extraherade färdigheter från plattformar som Stack Overflow. Detta säkerställer att testet täcker ett brett spektrum av praktiska scenarier, från enkel datarensning till komplexa analytiska arbetsflöden.

Genom att utvärdera state-of-the-art-agenter på detta annoterade benchmark avslöjar studien detaljerade insikter om var dessa modeller lyckas och var de snubblar. Resultaten visar att AI-agenter, trots att de visar lovande potential, varierar avsevärt i prestanda beroende på de specifika färdigheter som krävs. Denna granulära utvärdering ger en nödvändig nykterhetskontroll som visar att automatisering av datavetenskap inte bara handlar om att ha en smart modell, utan om att bygga agenter som kan pålitligt utföra de mångfaldiga, nyanserade uppgifter som kännetecknar modernt datavetenskapligt arbete.