Így másolhatják át zárt AI-modellek képességeit fekete dobozos lepárlással
Egy erősebb, zárt AI-modell válaszai felhasználhatók egy másik modell fejlesztésére, ezt nevezi a CSET fekete dobozos lepárlásnak. A Georgetown Egyetemhez kötődő kutatóközpont szerint a módszer fontos szerepet játszik az amerikai és kínai AI-versenyről szóló vitákban.
- A fekete dobozos lepárlás során egy zárt tanármodell válaszai alapján tanítanak egy diákmodellt.
- A folyamat célja lehet modellkicsinyítés vagy képességek átvitele.
- A CSET szerint kínai laborok amerikai, zárt modellekből is végeznek lepárlást.
- A felhasznált adatok mennyisége és a diákmodellekre gyakorolt hatás nehezen mérhető.
- A technika jogi és szakpolitikai megítélése továbbra is vitatott.
Öt lépésből áll a folyamat
A fekete dobozos lepárlás során a tanármodell kimeneteiből készítenek tanítási adatokat a diákmodell számára. A fekete doboz arra utal, hogy a tanármodell zárt forráskódú, ezért a fejlesztők csak internetes vagy szoftveres felületen keresztül, kérdésekkel férnek hozzá.
A CSET leírása szerint a folyamat öt fő lépésből áll. Először meghatározzák a célt, majd kiválasztják a tanár- és diákmodellt. Ezután úgynevezett magadatokat gyűjtenek, amelyek a tanármodellnek szánt bemenetek. A következő lépésben a tanármodellt a kívánt válaszok felé terelik, majd a magadatok segítségével szintetikus adatokat generálnak. Végül ezekkel az adatokkal tanítják a diákmodellt.
A korábbi kutatásokban a magadatok mennyisége 175, emberek által összeállított utasítás-válasz pártól 210 ezer, több adathalmazból származó matematikai példáig terjedt. A forrás szerint a jobb minőségű, változatosabb és relevánsabb magadatok várhatóan jobb tanítási adatokat eredményeznek.
A cél ma már nem csak a modell kicsinyítése
A módszert hagyományosan arra használták, hogy nagyobb modellek tudását kisebb modellekbe sűrítsék, így csökkentsék a számítási és memóriaigényt. A CSET szerint egyre gyakrabban arra is alkalmazzák, hogy szintetikus adatokat állítsanak elő, illetve képességeket vigyenek át tanármodellekről diákmodellekre, azok méretétől függetlenül.
A tanármodell súlyaihoz nem feltétlenül kell hozzáférni, elég, ha válaszol a kérdésekre. A diákmodell súlyaihoz viszont hozzáférés szükséges. A tanármodelleket gyakran fizetős fiókokon keresztül érik el, amelyek lehetővé teszik, hogy automatizált programok strukturált módon kapcsolódjanak hozzájuk.
A CSET szerint a kínai laborokkal kapcsolatban felmerült vádak esetében a cél jellemzően nem a tömörítés. A központ példaként említi, hogy a DeepSeek R1 modellje több mint 670 milliárd paramétert tartalmaz. A feltételezés szerint a lepárlást inkább a modellek utólagos tanításakor használják az amerikai, zárt modellekből származó tudás és képességek átvitelére.
Nehéz megmondani, mekkora a hatás
A CSET szerint kínai AI-laborok valóban végeznek lepárlást zárt amerikai modellekből, miközben igyekeznek elrejteni az adatok eredetét. A tanulmány ugyanakkor hangsúlyozza, hogy a nyilvánosan elérhető információk hiánya miatt nehéz megállapítani, milyen bemeneteket, magadatokat és terelési stratégiákat használtak.
Az sem látható pontosan, milyen mértékben támaszkodnak a kínai modellek fejlesztői erre a technikára. A folyamat utolsó szakasza, amikor a diákmodellt a létrehozott szintetikus adatokkal tanítják, kívülről nehezen vizsgálható. A CSET szerint az Anthropicnak, az OpenAI-nak és a Google-nek ezért részletesebben kellene beszámolnia arról, hány tokent generáltak modelljeik az ilyen kampányok során, és milyen hatással volt a lepárlás a diákmodellekre.
A kérdés jogi megítélése is vitatott. A módszer 2025 elejéig viszonylag kevés vitát váltott ki, amikor az OpenAI azzal vádolta meg a DeepSeeket, hogy megsértette a ChatGPT használati feltételeit. Azóta több kínai laborral szemben is felmerült hasonló állítás. A CSET szerint a vita egyszerre érinti a szolgáltatási feltételek megsértését, az AI-versenyt, a biztonságot és a szellemi tulajdon védelmét.
CSET Georgetown: How Black-Box Distillation Works
