A Netflix szerint az LLM-eket értékelő modelleket is embereknek kell felügyelniük
A Netflix olyan életciklust dolgozott ki az LLM-eket értékelő modellekhez, amelyben az emberi szakértők a fejlesztés, a bevezetés és a folyamatos ellenőrzés minden szakaszában jelen vannak. A vállalat szerint egy automatikus értékelő nem működhet önállóan, mert idővel maga is eltérhet az emberi mércétől.
- A Netflix második LLM-et használ a generált ajánlásmagyarázatok értékelésére.
- Az értékelő modell fejlesztését és felügyeletét minden szakaszban emberi szakértők támogatják.
- A referencia-adatkészletet hetente új, ember által címkézett példákkal frissítik.
- Az elutasított példákhoz indoklás is készül, hogy az értékelő modell következtetéseit hangolni lehessen.
- A bevezetett értékelő egyszerre szűri a hibás kimeneteket és visszajelzést ad a generátornak.
A Netflixnél egy második modell ellenőrzi az első kimenetét
Nagy mennyiségű, nyelvi modellel előállított szöveg kézi ellenőrzése nem megoldható. A Netflix ezért az úgynevezett LLM-as-a-Judge megközelítést használja: egy második nyelvi modell pontozza az első modell által készített szöveget, az emberi értékelők helyettesítőjeként.
A cég technológiai blogján megjelent beszámoló szerint ez gyorsan, olcsón és egyszerűen bevezethető, ugyanakkor új kérdést vet fel: ki ellenőrzi az értékelőt? Ha az értékelő modell idővel romló minőségű válaszokat is elfogad, azt a rendszer további részei nem feltétlenül észlelik.
A Netflix megoldása négy szakaszból áll: a mérési alap létrehozásából, az értékelő modell fejlesztéséből, a bevezetésből, valamint az emberi felügyeletből és az eltérések figyeléséből.
A módszert ajánlásmagyarázatokon tesztelték
A vállalat a módszert a tartalomajánlásokhoz kapcsolódó rövid magyarázatokon keresztül mutatja be. Ezek a szövegek azt írják le, miért ajánlhat a rendszer egy címet az adott felhasználónak. A Netflix példája szerint egy film kapcsolódhat egy korábban megtekintett címhez közös műfaj vagy hangulat alapján.
A magyarázatoknak érthető bizonyítékot kell adniuk az ajánlás okára. Egy félrevezető vagy gyengén megalapozott szöveg a vállalat szerint éppen azt a bizalmat ronthatja, amelyet a magyarázatnak kellene erősítenie.
A Netflix beszámolója szerint a tesztek során a generatív modell hetente több százezer magyarázatot készített egy folyamatosan változó katalógushoz. Ezek kézi ellenőrzése ekkora mennyiségben nem volt megvalósítható, ezért egy második LLM-et állítottak be értékelőként. A módszert egy hónapos, a Netflix mobilalkalmazásában végzett kísérletben is használták.
A mércét emberek hozzák létre és rendszeresen frissítik
Az első szakaszban szakértők határozzák meg, mitől számít jónak egy magyarázat. Részletes címkézési útmutatót készítenek, és nehéz, határesetnek számító példákat írnak. Ezekből épül fel a saját referencia-adatkészlet, amelyhez szakértők által készített hibás esetek, a döntési határ közelébe szorított, nyelvi modellel előállított példák és éles tesztekből mintavételezett magyarázatok tartoznak.
A referencia-adatkészlet nem marad változatlan. A Netflix hetente új, emberek által értékelt példákat ad hozzá, így az anyag követheti az aktuális katalógust és a használati minták változását. Minden elutasított példához szöveges indoklás is készül, mert ezek alapján hangolják és ellenőrzik az értékelő modell következtetéseit.
A bevezetett rendszerben az értékelő modell egyszerre védelmi korlát és kritikus. Átengedi vagy blokkolja a generált magyarázatokat, elutasítás esetén pedig indoklást ad, amelyet a generátor a javításhoz és az újrapróbálkozáshoz használhat. A Netflix szerint az emberi értékelők ezután is összevetik a modell döntéseit saját címkéikkel, és minden módosítást ember hagy jóvá a rendszerbe kerülés előtt.
Netflix Technology Blog: The Lifecycle of LLM-as-a-Judge: Building, Aligning, and Monitoring at scale
