Az Enkrypt AI a ChatGPT Enterprise kockázatait vizsgálja
Az Enkrypt AI az OpenAI Compliance API-hoz kapcsolódva vizsgálja a ChatGPT Enterprise munkaterületeinek tevékenységét. A szolgáltatás utólag, ütemezett ellenőrzésekkel keres promptinjektálást, szabálysértéseket, érzékeny adatok kitettségét és más kockázatokat.
- Az Enkrypt AI az OpenAI Compliance API-n keresztül vizsgálja a ChatGPT Enterprise tevékenységét.
- A rendszer promptinjektálást, szabálysértéseket, érzékenyadat-kitettséget, toxicitást és NSFW-tartalmat keres.
- Az ellenőrzés utólagos, nem blokkolja a munkatársak tevékenységét.
- A vizsgálat beszélgetésekre, Codexre, ügynökökre, kapcsolatokra és feltöltött fájlokra is kiterjedhet.
- A találatok részletes bizonyítékokkal és megfelelési keretrendszerekhez kapcsolva jelennek meg.
A használati adatok önmagukban nem mutatják a kockázatot
Az Anaconda október 1-jei közlése szerint a ChatGPT Enterprise adminisztrátorai eddig is láthatták többek között a kiosztott licenceket, az üzenetek számát, valamint azt, hogy a csapatok milyen egyéni GPT-ket készítettek és használtak. Ezek az adatok elsősorban arra adnak választ, hogy használják-e a rendszert.
A biztonsági csapatoknak azonban azt is fel kell mérniük, hogy biztonságosan használják-e. Egy munkatárs ügyféladatokat illeszthet be egy beszélgetésbe, valaki szerződést tölthet fel összefoglalásra, egy fejlesztő Codex-munkamenetet indíthat privát kódtárral, egy munkaterületi ügynök pedig Drive- vagy SharePoint-kapcsolaton keresztül hívhat meg egy szolgáltatást. A használati statisztikákban ezek az eltérő helyzetek egyaránt az üzenetszám növekedéseként jelenhetnek meg.
Az OpenAI Compliance API széles körű eseményadatokat biztosít, köztük beszélgetési üzeneteket, Codex-tevékenységet, ügynökfuttatásokat és kapcsolódási hívásokat. Az Anaconda szerint ezek több ezer, változtathatatlan, tömörített JSONL-eseményfájlt jelenthetnek, amelyek önmagukban még nem adnak kész kockázati értékelést.
Ütemezett, utólagos ellenőrzés a szervezet szabályai szerint
Az Enkrypt AI a Compliance API-ból olvassa ki a munkaterület tevékenységét, majd saját ügyfelei által használt védelmi szabályrendszerekkel vizsgálja azt. A rendszer a támogatott tevékenységekben utólag jelzi a lehetséges problémákat, de nem tilt le műveleteket. A javításról és a további intézkedésekről továbbra is az adminisztrátorok döntenek.
A vizsgálat kiterjedhet a bekapcsolt források promptjaira, válaszaira, eszközhívásaira és a kinyerhető szöveget tartalmazó feltöltött fájlokra. A szolgáltatás promptinjektálást, saját szervezeti szabályok megsértését, érzékeny adatok kitettségét, sértő vagy bántó nyelvezetet, valamint nem biztonságos munkához kapcsolódó tartalmakat keres.
A vállalat a saját AI-használati szabályait adhatja meg az Enkrypt AI platformján. Így a rendszer azt is meg tudja jelölni, hogy egy adott találat melyik szervezeti szabály lehetséges megsértéséhez kapcsolódik, például adatkinyeréshez vagy korlátozott témákhoz.
A fájlokban rejtett utasításokat is vizsgálhatja
Az Enkrypt AI a ChatGPT Enterprise beszélgetései mellett Codex-munkameneteket, munkaterületi ügynököket, kapcsolódó szolgáltatásokat és a táblázatkezelő bővítményt is vizsgálhatja. A szervezet minden forrást bekapcsolhat, vagy a számára fontos területekre szűkítheti az ellenőrzést.
A vizsgálat nem áll meg az üzenetek szövegénél. A rendszer a naplókból kinyeri a beszélgetés közben feltöltött fájlok szövegét is. Az Anaconda egy olyan ügyfélpéldát említ, amelyben egy felhasználó PDF-fájlt töltött fel, majd arra kérte a modellt, hogy kövesse a dokumentumban szereplő utasításokat. A szöveg promptinjektálást tartalmazott, amelyet az Enkrypt AI a fájl feldolgozása után jelzett.
Egy felületen jelennek meg a vizsgálat eredményei
Minden ellenőrzés egyetlen nézetben foglalja össze a munkaterület állapotát. Megjelenik a promptinjektálási kísérletek, a szabálysértések és az összes jelzés száma, valamint az általános jelzési arány. A felület használati környezetet is ad ezekhez az értékekhez, például a beszélgetések mennyiségét, az aktív felhasználókat, az alkalmazott modelleket és szolgáltatásokat, illetve a vizsgált feltöltött fájlok számát.
A részletes nézet detektoronként és szabályonként bontja le a találatokat, szolgáltatásonként megmutatja a kockázatokat, továbbá elkülöníti a beérkező és a modell által visszaadott tartalmakat. A találatok az Európai Unió mesterséges intelligenciáról szóló jogszabályához, az ISO/IEC 42001 és ISO/IEC 24028 szabványokhoz, a MITRE ATLAS-hoz, a NIST AI RMF-hez, valamint az OWASP nagy nyelvi és ügynökalapú alkalmazásokhoz készült listáihoz is kapcsolhatók.
A felhasználó megnyithatja az egyes találatokat, elolvashatja a teljes jelzett üzenetet és a környező kontextust, valamint hozzáférhet a beszélgetés azonosítójához. A használat megkezdéséhez engedélyezett Enkrypt AI-fiók, megfelelő hatókörökkel rendelkező Compliance API-kulcs és munkaterület-azonosító szükséges. A vizsgálat gyakorisága ismétlődő ütemezéshez köthető, és a munkatársaknak nem kell bővítményt vagy böngészőkiegészítőt használniuk.
