Sökagenter gräver nu rakt ner i råtext
Baserad på forskning av Alireza Salemi, Chang Zeng, Atharva Nijasure, Jui-Hui Chung, Razieh Rahimi
Tänk dig en sökagent som inte nöjer sig med att skumma ytan på indexerade dokument, utan dyker rakt ner i den råa texten för att hitta svar. Det är kärnan i GrepSeek, ett nytt tillvägagångssätt som behandlar hela datamaterialet som en levande miljö snarare än en statisk databas. Genom att utföra exekverbara shell-kommandon direkt navigerar systemet genom enorma datamängder med en precision som traditionell nyckelordsökning ofta missar.
De flesta nuvarande sökagenter förlitar sig på förberäknade index och returnerar rangordnade listor över dokument baserat på enkla frågor. GrepSeek vänder på detta mönster. Den tränar en kompakt agent att interagera direkt med texten, med hjälp av kommandon för att hitta, filtrera och sammanställa bevis. För att göra detta genomförbart utvecklade forskarna en tvåstegsprocess. Först skapade de ett dataset med verifierade sökvägar med hjälp av en specialiserad handledare och planerare. Därefter finjusterade de agentens beteende med Group Relative Policy Optimization, vilket möjliggör inlärning genom direkt interaktion med datamaterialet utan den instabilitet som ofta plagar sådana metoder.
Resultaten är slående. GrepSeek presterade starkast över sju öppna benchmark för frågesvar, särskilt inom token-nivå F1 och Exact Match. Väsentligt är att systemet inkluderar en parallell körningsmotor som påskyndar shell-baserad hämtning med upp till 7,6 gånger utan att offra byte-exakt ekvivalens. Denna effektivitet gör direkt interaktion med datamaterialet praktiskt för användning i verkligheten och ger ett betydande fördel framför rent lexikala metoder som kämpar med frågor som innehåller stora variationer i yttre form.
Slutsatsen är tydlig: direkt interaktion med datamaterialet är inte bara en teoretisk kuriositet utan en konkurrenskraftig och praktisk metod för sökagenter. Genom att kringgå begränsningarna i traditionell indexering och interagera direkt med källtexten visar GrepSeek att agenter kan hitta mer exakta svar genom att se datamaterialet som en dynamisk miljö att utforska, snarare än en lista att rangordna.