De robotiska händerna blir äntligen färdiga, men hur vet vi om de verkligen är bra på det? De flesta befintliga tester behandlar komplexa händer som enkla klämmor och missar nyanserna i verklig manipulation. Utan en rigorös standard är framsteg bara ett gissningsmål.

Forskare har presenterat DexJoCo, ett nytt benchmark och en verktygslåda utformad för att utvärdera uppgiftsorienterad dexterös manipulation. Det går bortom grundläggande grepp för att testa 11 specifika uppgifter som kräver verktygsanvändning, samordning med två händer, långsiktig utförande och resonemang. För att möjliggöra detta har teamet byggt ett lågkostnadssystem för datainsamling, där de samlade in 1,1K banor för att träna och testa modeller under olika förhållanden, inklusive slumpmässig visualisering och dynamik.

Resultaten avslöjar en skarp verklighet: nuvarande AI-policyer har stora problem med komplexiteten i verkliga dexterösa uppgifter. Även om verktygslådan möjliggör robust testning, visar den empiriska analysen vanliga begränsningar i hur moderna modeller hanterar multitask-träning och anpassning av handlingar. Gapet mellan prestanda i simulering och faktisk förmåga är fortfarande stort, vilket exponerar nyckelutmaningar inom robotinlärning som tidigare benchmark missade att fånga.

Sammanfattningen är tydlig: vi behöver bättre standarder för att driva verkligt framsteg. DexJoCo ger det nödvändiga ramverket för att systematiskt utvärdera och förbättra robotisk dexterös förmåga. Genom att fokusera på funktionella uppgifter snarare än enkla grepp kan forskare nu identifiera specifika svagheter och bygga mer kapabla, mångsidiga robotiska händer för framtiden.