Az AI21 szerint a Nemotron 3.5 Super VL túlszárnyalta a GPT-6.1 Solt
Az AI21 Labs szerint három hét alatt jelentősen javították a NVIDIA Nemotron 3.5 Super VL támadásokkal szembeni ellenállását az Alice biztonsági tesztkörnyezeteiben. A cég állítása szerint a modell 25-ször olcsóbban ért el jobb eredményt a GPT-6.1 Solnál.
- Az AI21 és az Alice három hétig finomhangolta a Nemotron 3.5 Super VL modellt.
- A cég szerint a támadásállóság 41 ponttal javult az alapmodellhez képest.
- Az AI21 szerint az eredmény 10 ponttal meghaladta a GPT-6.1 Solét.
- A közölt tokenköltség a GPT-6.1 Sol árának 1/25-e volt.
- A betanítás közvetett promptinjekciók és rosszindulatú kérések felismerésére is kiterjedt.
Biztonságosabb működés vállalati környezetben
Az AI21 Labs november 2-án közzétett esettanulmánya szerint a vállalat Forward-Deployed Researchers kutatói az Alice csapatával együtt dolgoztak a nemrég kiadott NVIDIA Nemotron 3.5 Super VL utólagos betanításán. A cél az volt, hogy a modell jobban ellenálljon többek között a közvetett promptinjekcióknak és a rosszindulatú kéréseknek.
Az AI21 által közölt eredmények szerint a támadásokkal szembeni ellenállás 41 ponttal javult az alapmodellhez képest, és 10 ponttal múlta felül a GPT-6.1 Sol eredményét. A cég szerint a modell tokenenkénti költsége a GPT-6.1 Solénak az egyhuszonötöde volt.
Az Alice mesterséges intelligencia biztonságával és védelmével foglalkozó vállalat. Olyan megerősítéses tanulási környezeteket készít, amelyek a fenyegetési szereplők valós viselkedéséről szóló információkra, valamint több mint 150 biztonsági kutató és szakértő hálózati tag tapasztalatára épülnek.
A modellnek védekeznie és dolgoznia is kell
Az Alice az AI21 számára olyan tesztkörnyezeteket biztosított, amelyek vállalati platformokat, rendszereket, eszközöket, adatokat és munkafolyamatokat szimulálnak. A példák között a Slack és a GitHub is szerepel. A cél az volt, hogy az ügynök egyszerre legyen ellenálló a támadásokkal szemben, és teljesítse a rábízott feladatokat.
A közvetett promptinjekció során rosszindulatú utasítás kerülhet olyan információba, amelyet az ügynök egy eszköz használata közben olvas. Az Alice egyik példájában egy Slack-ügynöknek jelszó-visszaállítási emlékeztetőt kell küldenie a dolgozóknak, ám az üzenetben szereplő hivatkozást manipulálták. A biztonságosan betanított ügynöknek fel kell ismernie a veszélyt és meg kell akadályoznia a hitelesítő adatok kiszivárgását, miközben az eredeti értesítési feladatot továbbra is elvégzi.
Az AI21 szerint a betanítás két fő nehézséget vetett fel. Javítani kellett a támadásállóságot úgy, hogy közben ne romoljon a teljesítmény a hétköznapi, ártalmatlan feladatokon. Emellett a több száz példából álló adathalmaz használatakor el kellett kerülni a túlillesztést.
Kétlépcsős betanítás elszigetelt környezetekben
A kutatók a modellt nem elszigetelt kérdések megválaszolására, hanem tényleges ügynökként, működő környezetben tanították. Az Alice tesztjei Harbor-feladatokként futottak, minden feladathoz külön konténerkép tartozott, amely például egy szimulált Slack- vagy GitHub-munkaterületet tartalmazott. Minden futtatás új, elszigetelt homokozóban indult, így a modell támadásra adott műveletei a tesztkörnyezetben maradtak.
Elsőként felügyelt finomhangolást, SFT-t alkalmaztak, hogy változatosabbá tegyék a modell kimeneteit. Az AI21 szerint azoknak a feladatoknak az aránya, amelyeknél egy rolloucsoport jutalmainak szórása nem volt nulla, 35 százalékról 66 százalékra nőtt.
A kutatók több nyílt modell sikeres kimeneteit használták kiindulópontként, de ezeket nem változatlan formában tanították be. A Nemotron 3.5 Super VL újrafogalmazta a gondolatmeneteket, miközben a végrehajtott műveletek változatlanok maradtak. Ez rövidítette a hosszú gondolatmeneteket és csökkentette az ismétlődő szövegeket. Az AI21 mérése szerint az újrafogalmazás a hozzáadott perplexitást 40 százalékról 23 százalékra mérsékelte.
Ezután online megerősítéses tanulást, GRPO-t alkalmaztak. A csapat elhagyta a jutalmak szórásával történő normalizálást, mert az AI21 szerint ez a sűrű, folytonos jutalmazású Alice-teszteknél elveszítette a jutalomkülönbségek nagyságát. A cég állítása szerint az így kialakított recept segített megőrizni a feladatvégzést a támadásokkal szembeni jobb védelem mellett.
Mit jelent ez a felhasználóknak?
Az esettanulmány az AI21 szerint azt mutatja, hogy egy nyílt modellre épülő, célzott utólagos betanítás javíthatja az ügynökök biztonságát vállalati munkakörnyezetekben. A hangsúly azon van, hogy az ügynök ne álljon le minden gyanús helyzetben, hanem felismerje a támadást és közben folytassa a legitim feladatot.
A közölt eredmények az AI21 és az Alice által kialakított tesztkörnyezetekre, valamint az általuk használt mérési módszerekre vonatkoznak. A vállalat szerint a módszer a GPT-6.1 Solhoz képest alacsonyabb tokenköltség mellett hozott jobb támadásállósági eredményt.
AI21 Labs: Post-training case study: Reaching frontier-level attack resilience with Alice | AI21
