A Harvey többügynökös rendszerre építette át a szerződésellenőrzést
A Harvey teljesen újraépítette Playbook Review szerződésellenőrző motorját, hogy az összetett jogi dokumentumokban pontosabban azonosítsa a kockázatokat és kisebb, célzott módosításokat javasoljon. A vállalat szerint az új architektúra a jogi ítélőképességet igénylő munkafolyamatok kezelésére készült.
- A Harvey újraépítette a Playbook Review szerződésellenőrző motorját.
- Az új megoldás többügynökös architektúrát használ.
- A rendszer a kockázatok mellett a módosítások helyét és mértékét is értékeli.
- A minőséget belső jogászok által készített rubrikák és három modellből álló értékelés alapján mérik.
- A Harvey szerint egyes döntéseket továbbra is emberi jogászra kell eszkalálni.
A szerződésellenőrzés több, mint szöveg-összehasonlítás
A Harvey szeptember 2-i technikai beszámolója szerint a szerződéses munka a vállalatok működésének alapvető része. A Gartner adataira hivatkozva a cég azt írja, hogy a jogi osztályok kapacitásuk 21 százalékát szerződéskötésre fordítják, többet, mint bármely más tevékenységre. Egy szerződés átnézése jellemzően 20 perctől öt óráig tarthat, a dokumentum típusától és méretétől függően.
A jogászok ilyenkor a szerződést a vállalat belső szabálygyűjteményével, a playbookkal vetik össze. Ebben szerepelhet az ideális szerződéses pozíció, az elfogadható eltérés, az üzletileg vagy jogilag elfogadhatatlan eltérés, valamint az egyes szabályok alkalmazásához szükséges útmutatás. A playbook azt is meghatározhatja, hogy egy adott rendelkezés hiánya elfogadható-e.
A feladatot nehezíti, hogy a szerződések feltételes logikát használnak, a záradékok több oldalon átívelhetnek, és egymásra hivatkozhatnak. A partner dokumentuma ráadásul szinte soha nem ugyanazokat a szavakat használja, mint a playbook. Az ellenőrzéshez ezért a szöveg jelentését és következményeit kell értelmezni, nem pusztán egyező kifejezéseket keresni.
A korábbi rendszer korlátai
A Harvey korábbi Playbook Review megoldása rögzített munkafolyamatként működött. A rendszer először sorban ellenőrizte, hogy a szerződés megfelel-e a standard pozíciónak, az elfogadható eltérésnek, majd az elfogadhatatlan eltérésnek. Ezután külön lépés kereste meg az alátámasztó szövegrészeket, egy újabb modellhívás pedig elkészítette az összefoglalót.
A módosítási javaslatokat egy külön modell állította elő, egyszerre egy záradék, egy pozíció és a szerződés fogalommeghatározásai alapján. A modell által átírt szöveget összevetették az eredetivel, az eltérésből pedig követett módosítás lett.
A felépítés kiszámítható, hibakereshető és költséghatékony volt, a Harvey szerint azonban a különálló lépések között elveszhetett a kontextus. A rendszer záradékonként dolgozott, ezért nem tudott nyelvezetet áthelyezni a dokumentum megfelelő részébe, hiányzó záradékot hozzáadni vagy az egész szerződésen át következetesen módosítani egy rendelkezést.
Az egyes szabályokat egymástól függetlenül értékelte, így két szabály ugyanazon mondatra egymásnak ellentmondó módosítást javasolhatott. A Harvey szerint ez túlzott módosításokhoz, elmaradt kockázati jelzésekhez, rossz helyre beszúrt szöveghez és annak figyelmen kívül hagyásához vezethetett, hogy melyik fél által készített szerződésről van szó.
Jogászokkal mérik a kimenet minőségét
A vállalat a rendszer átalakítása előtt saját értékelési készletet hozott létre belső jogi csapatával, mivel a Harvey szerint nem létezett nyilvános, teljes munkafolyamatot lefedő mérce. Az adatállomány különböző szerződéstípusokhoz tartozó szerződéseket és playbookokat kapcsol össze, több száz rendelkezésen keresztül.
A mérés két fő területre koncentrál. Az egyik a kockázatok azonosítása és kockázati szint szerinti besorolása. A másik a módosítások minősége, amelynél azt vizsgálják, hogy egy hozzáértő jogász milyen tartalmi és stiláris szempontokat venne figyelembe. A Harvey szerint a kockázati jelzés osztályozási feladatként viszonylag egyértelműen értékelhető, a módosítások megítélése viszont jogi mérlegelést igényel. Fontos például, hogy a javaslat minimális legyen, a megfelelő helyre kerüljön, és jogilag helytálló maradjon.
A rubrikákat jogászok készítették, az értékelést pedig nyelvi modellekből álló bírói rendszer végzi. A Harvey három élvonalbeli modellt használ, amelyek egymástól függetlenül pontoznak, majd a rendszer összesíti a szavazataikat.
Az új architektúra több szempontot kezelhet
A Harvey többféle felépítést hasonlított össze minőség, késleltetés és összetettség alapján. A szabályalapú nyelvimodell-munkafolyamat minősítését mérsékeltnek, késleltetését kiválónak, összetettségét alacsonynak írta le. Az egyetlen ellenőrző ügynök minőségben kiváló, késleltetésben viszont elfogadhatatlan eredményt adott. A részügynököket irányító ügynök minősége kiváló, késleltetése jó, összetettsége pedig magas volt.
Az új rendszer célja, hogy a dokumentumot és a playbookot összefüggéseikben elemezze, azonosítsa a kockázatokat, majd a lehető legkisebb szükséges módosításokat javasolja. A Harvey külön kihívásként említi a több száz oldalas dokumentumokat és playbookokat, mivel a nyelvi modellek válaszminősége nagyobb tokenszám mellett romolhat.
A megközelítés a felhasználók számára azt jelentheti, hogy az ellenőrzési eredmények jobban figyelembe veszik a szerződésen belüli függőségeket és a tárgyalási helyzetet. A Harvey szerint vannak olyan döntések, amelyeket nem lehet teljesen a playbookra bízni. Ilyenkor a rendszer feladata annak felismerése, hogy emberi jogászi felülvizsgálatra van szükség, és az eszkalációhoz a kontextuson alapuló indoklást is biztosítson.
