A Harvey valódi amerikai bírósági ügyeken teszteli a jogi AI-agenseket

Három összetett feladatot kell megoldania az agentnek

A Harvey október 29-i bejelentése szerint a LAB: USCL a korábbi Legal Agent Bench új kiterjesztése. A keretrendszer olyan feladatot mér, amelynek során egy AI-agentnek a peres eljárás teljes folyamatát kell utánoznia, az ügy állásának megértésétől a jogesetkutatáson át a beadvány megírásáig.

Az első lépés az ügyirat, vagyis a bírósági docket áttekintése. Ez időrendben tartalmazza a bírósághoz benyújtott dokumentumokat, a keresetet, az indítványokat, a beadványokat és az azokhoz csatolt bizonyítékokat, valamint a bíró végzéseit és határozatait. Összetett vagy hosszú ideje folyó ügyekben akár több ezer beadvány is szerepelhet benne.

A második feladat a vonatkozó jogesetek megtalálása és értelmezése. Az agentnek azt is fel kell mérnie, hogy egy korábbi döntés kötelező erejű vagy csak meggyőző erejű precedens, illetve hogy későbbi határozatok szűkítették, módosították vagy érvénytelenítették-e. Egy korábbi vélemény önmagában támogathatja az egyik fél álláspontját, miközben egy magasabb szintű bíróság döntése már hatályon kívül helyezte az abban szereplő tesztet.

A bíróság elé kerülő szövegnél magas a mérce

A végső feladat a jogi érvelést tartalmazó brief megírása. Ennek össze kell kapcsolnia az ügy tényeit a releváns precedensekkel, meg kell indokolnia, miért irányadóak a kedvező döntések, és miért nem alkalmazhatók a kedvezőtlenek. Közben a hivatkozásoknak pontosnak kell lenniük, a dokumentumnak pedig követnie kell a terjedelmi és szerkezeti szabályokat.

A Harvey szerint a brief különösen szigorú tesztet jelent, mert nyilvános bírósági iratként az ügyfél nevében készül. Az azt aláíró ügyvéd igazolja, hogy az érvelést alátámasztja a hatályos jog, a tényállításoknak pedig bizonyítékai vannak. Az ügyvédet a bírósággal szembeni őszinteségi kötelezettség is terheli, ezért nem tüntetheti fel tévesen a jogot, és közölnie kell a közvetlenül ellentétes, irányadó jogi forrásokat.

A vállalat szerint a vizsgált modellek első változatai már jelentősen közelebb kerültek a bírósági benyújtáshoz szükséges magas színvonalhoz. Ugyanakkor ezek a szövegek továbbra is sokféle hibát mutatnak. A hibás érvelésnek komoly következménye lehet, többek között szankció, az ügyfélre nézve kötelező álláspont vagy egy később már nem pótolható, akár fellebbezésben elvesző érv.

Valós szövetségi ügyiratokból épül a tesztkörnyezet

A LAB: USCL-ben a kutatók egy ténylegesen benyújtott bírósági briefből indulnak ki. Ezután arra kérik a modellt, hogy ugyanannak a félnek, ugyanahhoz az indítványhoz vagy jogi kérdéshez, az ügy ugyanazon pontján készítsen beadványt.

A környezeteket szövetségi bírósági ügyiratokból mintavételezik. Ezek az Egyesült Államokban általában nyilvánosak, és a PACER elektronikus rendszerben érhetők el. A PACER több mint 200 szövetségi bíróság ügyeit tartalmazza, több millió üggyel és több mint egymilliárd dokumentummal.

Mivel a PACER oldalanként díjat számít fel, a Harvey adatfeldolgozása a Free Law Project közösség által épített RECAP-archívumra támaszkodik. Ennek lefedettsége egyenetlen lehet, mert csak azok a dokumentumok kerülnek bele, amelyeket a PACER felhasználói már megvásároltak és megosztottak. A kutatók ezért csak olyan ügyiratokat választanak, amelyekben szerepel egy benyújtott brief, valamint a szöveg értelmezéséhez szükséges további dokumentumok.

A jogeseti hivatkozásokat külön is ellenőrzik

A kiválasztott környezetekben a Harvey kinyeri a benyújtott ügyvédi brief összes jogeseti hivatkozását, majd agentek segítségével megkeresi ezeket a Free Law Project CourtListener adatbázisában. A több mint 8 millió, a bírósági rendszer különböző szintjeiről származó véleményt tartalmazó adatbázisban csak azokat a környezeteket tartják meg, amelyekben az eredeti brief hivatkozásainak több mint 95 százaléka azonosítható.

Ez a szűrés azt szolgálja, hogy a modell lényegében ugyanahhoz a joganyaghoz férjen hozzá, amelyből az ügyvéd dolgozott. A módszer korlátja, hogy egy ügyirat így sem teljes: a bizonyításfelvétel jelentős része, például a tanúvallomások és a letétbe helyezett vallomások átiratai, általában nem kerülnek a bírósági nyilvántartásba, kivéve, ha valamelyik fél egy indítványhoz csatolja őket. Érzékeny anyagokat emellett lezárhatnak vagy kitakarhatnak.

A Harvey szerint a LAB: USCL első eredményei azt mutatják, hogy néhány fejlett modell már képes teljes, első változatos peres beadvány elkészítésére egyetlen menetben. A keretrendszer célja közben annak pontosabb megértése, hol maradnak hibák az ilyen hosszú, összetett jogi feladatokban.