A Scale AI szerint dollárban mérhető, mikor kell ember az AI mellé
A Scale AI olyan keretrendszert vázolt fel, amely a hibák várható pénzügyi hatása és az emberi ellenőrzés költsége alapján dönti el, mikor kell egy AI-ügynök döntését embernek felülvizsgálnia. A módszert egy beszállítói jóváírásokat kereső, automatizált könyvelési folyamat példáján mutatják be.
- A Scale AI ügynökalapú rendszert épített beszállítói jóváírások visszaszerzésére.
- A rendszer a megkeresésektől a vállalati rendszerben történő rögzítésig több lépést kezel.
- Emberi ellenőrzés akkor indokolt, ha a várható hibakár meghaladja az ellenőrzés költségét.
- A modell által jelzett bizonyosságot a tényleges hibaarányhoz kell kalibrálni.
- A cél a korlátozott elemzői kapacitás elosztása a legnagyobb várható értékű döntések között.
Milliókat hagyhatnak bent a beszállítói számlák
A nagyvállalatok könyvelési és szállítói tartozáskezelési folyamataiban rendszeresen szerepelnek jóváírások, túlfizetések és duplikált tételek. Ezek visszaszerezhetők lehetnek, azonosításukhoz azonban a beszállítói kimutatásokat össze kell vetni a vállalati nyilvántartásokkal.
A Scale AI egy globális médiatechnológiai vállalat pénzügyi csapatával, amelyet a bejegyzés Media Co. néven említ, ügynökalapú rendszert épített erre a feladatra. A rendszer feldolgozza és osztályozza a beszállítói megkereséseket, megkeresi a jóváírásokat a kimutatásokban, beszerzi a beszállítóktól a jóváírási bizonylatokat, végül pedig rögzíti az adatokat a vállalati erőforrás-tervezési rendszerben.
A Scale AI szerint a rendszer várhatóan több millió dollárnyi olyan jóváírást szerez vissza, amely egyébként igénylés nélkül maradna. A projekt egyik központi kérdése az volt, hogy mikor cselekedjen önállóan az ügynök, és mikor kerüljön egy ember a folyamatba.
A hibakockázatot és az ellenőrzés árát együtt kell nézni
A Scale AI érvelése szerint az ügynökalapú rendszerek egy tudásalapú feladatot szinte bármikor megpróbálhatnak elvégezni, miközben megbízhatóságuk feladatonként eltérhet. Pénzügyi folyamatokban, különösen a jóváírások visszaszerzésénél, mind a hiba költsége, mind az elemző munkaideje dollárban kifejezhető.
A bejegyzés által bemutatott egyszerű szabály szerint akkor indokolt az emberi ellenőrzés, ha a hiba valószínűsége és a hiba hatása együtt nagyobb, mint az ellenőrzés költsége. A képlet szerint: P(error) × Impact(error) > Cost(review).
A példában a hiba hatása a szóban forgó jóváírás értéke. A hibavalószínűséget az ügynök helyes döntésbe vetett, q jelölésű konfidenciája alapján, 1 mínusz q értékkel számítják. Az ellenőrzés költsége az elemző döntés ellenőrzésére fordított idejének ára.
Ez kockázathoz igazított határt eredményez. Minél nagyobb lehet egy hiba pénzügyi hatása, annál nagyobb bizonyosság szükséges ahhoz, hogy a rendszer önállóan dönthessen.
A bizalom önmagában nem elég
A Scale AI szerint a jelenlegi vállalati automatizálási rendszerek jellemzően szabályhibák vagy költési küszöbök alapján küldik emberhez a tételeket. Ezek a megoldások nem feltétlenül számolnak azzal, mennyibe kerül egy hibás önálló döntés, illetve hogy mikor lenne értékesebb ugyanazt az emberi kapacitást egy másik ügyre fordítani.
A szerzők különbséget tesznek a dokumentum egy mezőjének helyes beolvasása és a teljes egyeztetési döntés helyessége között. A jóváírások vizsgálatánál ráadásul gyakori kimenet, hogy egyáltalán nincs visszaszerezhető jóváírás, ezért nem elegendő azt mérni, hogy a rendszer megtalálja-e a helyes rekordot.
A modell által jelzett bizonyosságot kalibrálni kell, vagyis ellenőrizni kell, hogy például a 0,9-es értékkel jelölt döntések ténylegesen az esetek körülbelül 90 százalékában helyesek-e. A Scale AI által idézett kutatás szerint a nagy nyelvi modellek saját bizonyosságuk megadásakor rendszeresen túlbecsülik a megbízhatóságukat.
A cél a szűkös emberi kapacitás jobb elosztása
Az automatizálás költségének csökkenésével olyan munkák is gazdaságossá válhatnak, amelyek korábban nem indokolták egy ember idejének felhasználását. Emiatt a Scale AI szerint nem az a fő kérdés, hogy a teljes munkamennyiség mekkora része automatizálható, hanem az, hogy a kibővült feladatkör mely döntéseihez érdemes emberi figyelmet rendelni.
A pénzügyi folyamatokban ezt a határt a cég szerint számszerűen meg lehet határozni. A módszer a nagyobb várható értékű döntésekhez irányítaná az elemzőket, miközben az alacsonyabb kockázatú tételeket az ügynök önállóan kezelheti. A forrás azt is hangsúlyozza, hogy a szabályozási, belső irányelvekhez vagy beszállítói kapcsolatokhoz kötött döntéseket szabályként kell kezelni, nem pusztán költségalapú számításként.
