A banki ellenőrök működő kontrollokat és rekonstruálható bizonyítékot várnak

A vizsgálat során döntéseket rekonstruálnak

A Fiddler AI október 1-jén közzétett elemzése szerint a banki vizsgálatokon az ellenőrök azt próbálják rekonstruálni, hogy ki hagyott jóvá egy modellt vagy AI-alkalmazást, mikor került éles használatba, és mi történt a későbbi módosítások után. A hangsúly ezért a működést bizonyító dokumentáción van, nem a jelszavakon vagy az önmagukban álló szabályzatokon.

Az elemzés az OCC anyagaira és a Federal Reserve Commercial Bank Examination Manual dokumentumára hivatkozva azt írja, hogy a vizsgálatok a vezetési folyamatokat, a belső kontrollokat és a kockázatkezelés működését tesztelik. Ha kvantitatív rendszerek lényeges hitel-, tőke-, likviditási, csalásmegelőzési vagy ügyféldöntéseket támogatnak, a modellkockázat is ennek a vizsgálatnak a részévé válhat.

A Fiddler szerint a bankoknak olyan bizonyítékcsomagokat kell készíteniük, amelyek követelményhez kötöttek, a munkavégzéssel egy időben keletkeztek, azonosítható felelőshöz kapcsolódnak, teljesek, ellenőrizhetők és az eredményre fókuszálnak.

A felügyeleti elvárások 2026-ban frissültek

A modellkockázat-kezelés elvárásait több mint egy évtizeden át az SR 11-7 jelű felügyeleti útmutatás és az OCC 2011-12 számú közleménye rendezte. A felügyeleti szervek 2026 áprilisában felülvizsgált útmutatást adtak ki, amelyet a Federal Reserve SR 26-2 és az OCC Bulletin 2026-13 jelöl.

Az új csomag pontosítja a kockázatalapú modellkockázat-kezelést, miközben megtartja a fejlesztés és használat, a validáció, valamint az irányítás hármas felépítését. A 2011-es leveleket ez váltja fel elsődleges felügyeleti szövegként.

A Fiddler az FDIC vizsgálati moduljai alapján több területet emel ki: a szabályzatokat és a teljes leltárt, a fejlesztési dokumentációt, a független validációt, a folyamatos monitorozást, a változáskezelést, a vezetői vagy bizottsági felügyeletet, valamint a beszállítói modellek gyakorlatát.

Miből áll egy ellenőrzésre kész bizonyítékcsomag?

Első lépésként a banknak jóváhagyott modell- vagy AI-kockázati szabályzatra és teljes rendszerleltárra van szüksége. A leltárnak a használatban lévő, fejlesztés alatt álló és kivezetett rendszereket is tartalmaznia kell. Az egyes bejegyzésekhez tulajdonos, cél, kockázati besorolás, korábbi és következő validációs vagy felülvizsgálati időpont, ismert korlátok és lényeges függőségek kapcsolódjanak.

A fejlesztési bizonyítékoknak rögzíteniük kell a célt, a tervezési logikát, az adatok eredetét, a feltételezéseket, a vizsgált alternatívákat és az ismert korlátokat. Generatív rendszereknél és ügynököknél ide tartozhat a promptok, a lekérési folyamatok, az eszközhasználat, a rendszerutasítások, a verziók és a környezetek azonosságának dokumentálása is.

A validációnak a fogalmi megalapozottságot, a megvalósítás ellenőrzését és az eredmények elemzését kell lefednie. Az önálló validátoroknak írásban kell jelezniük a problémákat, meg kell határozniuk azok súlyosságát és a használat feltételeit. A beszállítói vagy alapmodellekhez kapott dokumentáció önmagában nem helyettesíti a bank saját tesztelését.

A folyamatos monitorozásnak teljesítmény- vagy viselkedési ellenőrzéseket, küszöbértékeket és eszkalációt kell mutatnia. A változtatási jegyekben szerepeljen, mi változott, ki hagyta jóvá, és milyen újravalidálási feltétel lépett életbe. A hibajegyekhez felelős, határidő, javítási bizonyíték és a lezárás független megerősítése szükséges.

Az ügynökalapú rendszereknél több pontot kell követni

A hagyományos modellekhez gyakran viszonylag stabil bemenetet, rögzített becslőt és reprodukálható kimenetet társítanak. A generatív és ügynökalapú rendszereknél ehelyett egy teljes rendszert kell vizsgálni, amelyhez a prompt, a lekérés, az eszközök, a modell és a későbbi művelet is hozzátartozhat. A nem determinisztikus működés, az eszközhasználat és a külső komponensek bővítik a dokumentálandó hibafelületet.

A 2026 áprilisában felülvizsgált modellkockázati útmutatás szerint a generatív és ügynökalapú AI-modellek újak és gyorsan fejlődnek, ezért kívül esnek az útmutatás formális hatályán. A Fiddler szerint ez nem szünteti meg az ellenőrzési érdeklődést: ha egy ügynök tőkére, ügyféladatra vagy fejlesztői környezetre hat, a biztonságos működés, a fogyasztóvédelmi megfelelés, a külső szolgáltatók kockázata és az üzemeltetési ellenálló képesség továbbra is rekonstruálható bizonyítékot igényel.

A felhasználók és a banki AI-rendszerek üzemeltetői számára ez azt jelenti, hogy az auditnaplózást, a döntési nyomvonalat, a szabályzati engedélyezési, tiltási és kitakarási eredményeket, valamint a verziózott konfigurációkat már a rendszer működése közben kell rögzíteni. A Fiddler szerint az utólag összeállított, dátum nélküli képernyőképek és kedvező minták nem bizonyítják megfelelően a kontrollok működését.