Tänk dig att du står i ett landsbygdssjukhus i Indien och frågar en läkare om ett okänt utslag. Men din AI-assistent förstår bara engelska och kan inte tolka ditt foto. Det är verkligheten för miljontals människor som talar indiska språk och är beroende av visuella ledtrådar för hälsoinformation. De nuvarande medicinska AI-modellerna är i stort sett blinda för dessa behov, vilket skapar en farlig klyfta i tillgången till rättvis hälsovård.

Forskare har nu presenterat ArogyaSutra, ett nytt ramverk som är utformat för att överbrygga denna klyfta genom att kombinera språk- och bildförståelse för flerspråkig medicinsk resonemangsföring. De har byggt ArogyaBodha, ett enormt dataset som täcker trettioett kroppssystem, sex bildtyper och tjugonde kliniska områden på engelska och sju stora indiska språk. Denna resurs gör det möjligt för AI att bearbeta komplexa frågor som blandar text och medicinska bilder på modersmål, och går därmed bortom begränsningarna hos engelskregistrerade modeller.

Kärnan i innovationen ligger i ArogyaSutras multis-agent-arkitektur, som använder ett actor-critic-baserat tillvägagångssätt för att styra beslutsfattandet. Istället för att gissa använder systemet dubbla minnesmekanismer och verktygsförankring för att resonera stegvis, och simulerar experttrajektorier för att framkalla korrekta svar. Denna metod säkerställer att AI:n inte bara översätter ord, utan verkligen förstår det medicinska sammanhanget, vilket förbättrar noggrannheten avsevärt över alla testade indiska språk.

Resultatet är en mer inkluderande AI som kan hantera de nyanserade, multimodala frågorna från patienter i verkliga världar. Genom att validera varje komponent genom rigorös testning bevisar forskarna att specialiserade, flerspråkiga ramverk kan överträffa generiska modeller inom hälsovård. Detta arbete erbjuder en tydlig väg mot rättvis AI-assistans, och säkerställer att språkbarriärer inte längre hindrar människor från att få korrekt medicinsk vägledning.