A Meta AI-generált tesztekkel fogott meg 74 súlyos adatvédelmi hibát

A kutatási prototípusból a Meta infrastruktúrájának része lett

A Meta Engineering október 29-i beszámolója szerint a Catching JiTTests az elmúlt évben bemutatott, Just-in-Time Tests, röviden JiTTests megközelítés éles környezetre kiterjesztett változata. A rendszer célja, hogy a kódváltoztatásokban rejlő hibákat még azelőtt jelezze, hogy azok bekerülnének a produkciós környezetbe.

A vállalat több százmillió sornyi, folyamatosan változó kóddal dolgozik, ezért a hagyományos tesztelés nem tud minden módosítással lépést tartani. A Meta szerint a Catching JiTTests már nem kutatási prototípus, hanem a vállalat infrastruktúrájának része. A megoldás a beszámoló alapján kevesebb terhelés mellett segít több hibát megtalálni, miközben csökkenti az úgynevezett téves pozitív találatok esélyét.

A Meta a témáról szóló, „Just-in-Time Catching Test Generation at Meta” című tanulmányban is részletesen bemutatja az első telepítést és a tesztelési eredményeket. A tanulmányt az FSE 2026 rendezvényen mutatták be, és a Product@Scale eseményen is szerepelt.

Kétféle munkafolyamat keresi a hibákat

A Catching JiTTests a kódváltozásokhoz, vagyis diffekhez automatikusan generál végrehajtható teszteket. Ezeket úgy tervezik, hogy hibát jelezzenek, és konkrét viselkedésbeli különbséget mutassanak ki a módosítás előtti és utáni állapot között. Ez eltér a legtöbb, nagy nyelvi modellekre épülő kódellenőrzéstől, amely a korábbi tapasztalatok alapján próbál hibákat felismerni a kódban.

A rendszer két párhuzamos megközelítést használ. Az úgynevezett intent-aware, vagyis szándékérzékeny folyamat a kódváltozásból, annak címéből és összefoglalójából következtet a módosítás céljára. Ezután olyan kockázatokat ír le, amelyek a cél megvalósítása közben felmerülhetnek, majd ezekhez hibás változatokat és azokat megkülönböztető teszteket készít.

A dodgy diff folyamat minden módosítást eleve hibásként kezel, és olyan teszteket próbál létrehozni, amelyek kimutatják annak viselkedésbeli eltérését a korábbi állapothoz képest. A cél a lehetséges találatok számának növelése, hogy közöttük nagyobb eséllyel legyen valódi hibát feltáró teszt.

Az AI értékelése után szabályok és mérnökök szűrnek

A tesztgenerálás a Meta leírása szerint öt szakaszban zajlik. A rendszer éjszaka, szabad kapacitáson fut, és az előző nap beküldött, kockázatosnak ítélt diffeket célozza. Ezután működésbe lép a két différzékeny tesztgeneráló folyamat.

A létrejött, úgynevezett gyenge találatokat több nagy nyelvi modellből álló „LLM-as-Judge” együttes értékeli. A modellek megvizsgálják a teszt kódját, a futtatás eredményét, a hibaüzenetet, a végrehajtási nyomot, a kódváltozást és annak feltételezett célját.

Ezt az értékelést egy hagyományos, szabályalapú rendszerrel is kiegészítik. A RubFake, vagyis Rule-Based False-Positive Killing Environment determinisztikus, ellenőrizhető döntéseket ad, míg az LLM-alapú értékelés szemantikai szempontokat is figyelembe vesz, de nem determinisztikus. A két módszer együtt rangsorolja a jelölteket.

A folyamat végén emberi mérnökök csak a meghatározott feltételek alapján, összesített szinten tekintik át az eredményeket. A Meta ezt human-on-the-loop megközelítésnek nevezi. A mérnököknek így nem kell minden egyes tesztet felügyelniük, jellemzően azt kell megerősíteniük, hogy a jelzett viselkedésváltozás szándékos volt-e.

74 súlyos adatvédelmi hibát találtak az élesítés előtt

A Meta adatai szerint a rendszer eredményeivel eddig 589 mérnök foglalkozott, ami a vállalat megkereséseinek 64 százaléka. A résztvevők 60 százalékos valódi találati arányról számoltak be, vagyis a jelzések ekkora része bizonyult ténylegesen használható, valós hibát feltáró találatnak.

2026 első felében a Catching JiTTests 74 súlyos, SEV kategóriájú adatvédelmi hiba azonosításában játszott szerepet a diff szakaszban, még azelőtt, hogy a kód éles környezetbe került volna. A Meta szerint ebben az időszakban a súlyos adatvédelmi incidensek teljes előfordulása 20 százalékkal csökkent.

A vállalat szerint az eredmények azt mutatják, hogy az AI által generált tesztelés olyan hibákat is elkaphat, amelyeket a hagyományos tesztek nem feltétlenül fednek fel. A módszer a Meta értelmezésében technológiai és szervezeti szempontból is skálázható, mert az embereknek elsősorban a szabályokat és a sikerkritériumokat kell meghatározniuk, az egyes tesztek részletes ellenőrzését pedig a rendszer végzi.