Adatok nélkül tanítana össze több AI-modellt a NAVER LABS Europe módszere
A NAVER LABS Europe olyan módszert mutatott be, amely több, úgynevezett tanármodell tudását egyetlen diákmodellbe sűríti valódi tanítóadatok használata nélkül. Az IDeaL nevű eljárás a tanármodellekben meglévő információ alapján állít elő, a modellösszevonáshoz optimalizált képmintákat.
- Az IDeaL több tanármodell tudását egyetlen diákmodellbe sűríti.
- A módszer valódi tanítóképek nélkül, tanárspecifikus mintákat generál.
- Dekorrelációs veszteségeket használ képfolt- és képszinten.
- 1K képes keretben az IDeaL elérte vagy meghaladta az ImageNet hasonló részhalmazával tanított modellek teljesítményét.
A több tanár tudását egy diákmodellbe sűrítenék
A többtanáros tudássűrítés, angolul multi-teacher distillation, arra szolgál, hogy több, egymást kiegészítő tanármodell képességeit egyetlen diákmodell egyesítse. A diákmodellt jellemzően olyan képeken tanítják, amelyeken a tanármodellek kimeneteit utánozza. Ehhez rendszerint az egyes tanármodellek tanítóadatainak egyesített készletére van szükség.
A NAVER LABS Europe kutatói ebben a tanulmányban azt vizsgálták, mi történik akkor, ha ez az adat nem áll rendelkezésre. Először azt elemezték, hogy különféle zajtípusokkal táplált tanármodellekből milyen eredmény érhető el. Ezután olyan zaj létrehozására tettek kísérletet, amelyet kifejezetten a többtanáros tudássűrítéshez igazítanak.
Az IDeaL tanárspecifikus mintákat készít
A bemutatott módszer neve IDeaL, a cím angol feloldása szerint Improved Dead Leaves. Az eljárás tanárspecifikus mintákat generál, amelyeket adatmentes tudássűrítéshez optimalizál. A kutatók ehhez úgynevezett dekorrelációs veszteségeket alkalmaznak képfolt- és képszinten is.
A módszer célja, hogy a különböző tanármodellekben található információt felhasználva olyan mintákat állítson elő, amelyekből a diákmodell hatékonyabban tanulhat. Így a folyamatban nincs szükség arra, hogy a tanármodellek eredeti tanítóképei hozzáférhetők legyenek.
A NAVER LABS Europe szerint az IDeaL mintáival tanított diákmodellek sikeresen ragadták meg a tanármodellek kiegészítő információit. A kísérletek alapján az eredmények jelentősen szűkítették a különbséget a valódi képekről tanított diákmodellekhez képest.
Kevés képnél is versenyképes eredményt közöltek
A kutatók egy korlátozott, 1K képes keretet is vizsgáltak. Ebben a beállításban az IDeaL mintáival tanított diákmodellek elérték vagy meghaladták azoknak a modelleknek a teljesítményét, amelyeket az ImageNet 1K képből álló részhalmazával tanítottak.
Ez a forrás alapján azt mutatja, hogy a javasolt módszer akkor is használható lehet a modellösszevonás hatékonyabbá tételére, amikor kevés kép áll rendelkezésre, vagy a tanármodellek eredeti adatkészlete nem hozzáférhető. A közlemény ugyanakkor a módszer konkrét teljesítményszámait és az alkalmazott modellek részletes listáját nem ismerteti.
A tanulmányt Feyza Yavuz, Mert Bulent Sariyildiz és Diane Larlus jegyzi. A publikációt 2026. szeptember 8-án tették közzé, és a 19. European Conference on Computer Vision, vagyis ECCV konferencián mutatják be a svédországi Malmöben, 2026. szeptember 8. és 12. között.
NAVER LABS Europe: IDeaL: data-free multi-teacher distillation via Improved Dead Leaves
