Kettős vak AI-értékelést indít a Google DeepMind külső partnerekkel

A benchmarkszennyezés problémájára keresnek választ

A Google DeepMind közlése szerint az AI-modellek értékelésénél alapvető gond, ha a modell előre találkozhatott a tesztkérdésekkel vagy promptokkal. Ezt a forrás benchmarkszennyezésnek nevezi, és azt írja, hogy ilyen esetben az eredmények csak korlátozottan megbízhatók.

A cég szerint a döntéshozóknak, kutatóknak és vállalatoknak abban kell bízniuk, hogy a benchmarkok valóban a modellek képességeit és biztonságát tükrözik. Ha egy modell előre „belenézhet” az értékelési kérdésekbe, az mesterségesen javíthatja a pontszámokat, és alááshatja ezt a bizalmat.

A DeepMind azt írja, hogy eddig is használtak nulla naplózású protokollokat és szigorú szerződéses garanciákat a külső tesztpromptok védelmére. A mostani lépés újdonsága a technikai és kriptográfiai biztosítékok bevonása a biztonságos modellellenőrzésbe.

Így működik a kettős vak értékelés

A bejelentés szerint a korábbi, nagy tétű külső értékeléseknél jellemző kompromisszum volt, hogy vagy az értékelők adták át a tesztpromptokat a modellszolgáltatónak, vagy a szolgáltató adta át a modell súlyait az értékelőknek. Az első esetben a tesztkérdések bizalmassága sérülhetett, a másodikban a szellemi tulajdon védelme jelentett kockázatot.

A kettős vak megközelítés célja, hogy ezt a kompromisszumot kiküszöbölje. A pilotban a Google Cloud Confidential Computing portfóliójához tartozó Confidential Space környezetet használják. A DeepMind szerint ez kriptográfiailag igazolható módon biztosítja, hogy a külső értékelési adatok és a saját modell is a tulajdonosuknál maradjanak privátak.

A gyakorlatban ez azt jelenti, hogy az értékelő nem látja a Gemini modell súlyait, a Google pedig nem látja az értékelő tesztpromptjait. A bejelentés szerint egy Gemini Flash Lite modellt tesztelnek bizalmas benchmarkokkal, adatvédelmet megőrző környezetben.

Külső ellenőrzés érzékenyebb teszteknél

A Google azt írja, hogy saját AI-rendszereit a fejlesztés és a bevezetés során sokféle értékeléssel vizsgálja, de nem támaszkodik kizárólag belső tesztekre. A lehetséges vakfoltok azonosításához külső partnerekkel dolgozik, köztük specializált kutatólaborokkal, civil szervezetekkel, valamint nemzeti AI Safety and Security Institute szervezetekkel.

A DeepMind szerint a kriptográfiai bizonyíték segíthet a benchmarkszennyezés megelőzésében és az érzékeny adatok védelmében. A forrás különösen fontosnak nevezi ezt olyan érzékeny értékeléseknél, mint a kiberbiztonsági tesztek vagy a kormányzati szervek által használt vizsgálatok.

A felhasználók és a piac szempontjából a hír fő jelentősége, hogy független szervezetek úgy tesztelhetnek fejlett modelleket, hogy közben a tesztadatok szuverenitása és biztonsága, valamint a modellhez kapcsolódó szellemi tulajdon védelme is megmarad. A DeepMind reményei szerint a pilot új szintet jelölhet ki a modellek felügyeletében, és hozzájárulhat biztonságosabb, megbízhatóbb AI-rendszerek építéséhez.