Az LLM-ek irányítása gyakran a gördülékenység rovására megy
Az Apple kutatása szerint a nagy nyelvi modellek célzott irányítására használt hatékony módszerek gyakran jelentősen rontják a generált szöveg gördülékenységét. A vizsgálat azt is kimutatta, hogy az aktiváció-irányítás jóval kevésbé működik utasításkövető modelleken, mint azok alapváltozatain.
- Az irányítási módszerek hatékonysága gyakran a szöveg gördülékenységének romlásával jár.
- Az aktiváció-irányítás kevésbé hatékony utasításkövető modelleken, mint alapmodelleken.
- A promptolás és a felügyelt finomhangolás fogalmak bejuttatására használható.
- A fogalmak eltávolításában ezek a módszerek gyengébben teljesítenek.
- Az olcsó szöveges mérőszámok erősen korrelálnak az LLM-bírók értékeléseivel.
Szisztematikusan vizsgálták az irányítás árát
Az Apple gépi tanulási kutatási oldalán közzétett tanulmány az úgynevezett kondicionálási módszereket vizsgálta. Ezekkel a nagy nyelvi modellek kimeneteit lehet egy meghatározott fogalom megjelenése vagy eltávolítása felé terelni. A kutatók szerint a megbízható alkalmazás egyik központi kérdése, hogy miként lehet irányítani a modellek viselkedését.
A korábbi értékelések gyakran arra összpontosítottak, hogy egy módszer mennyire eredményesen juttat be vagy távolít el egy célfogalmat. A szöveg minőségét, ezen belül a gördülékenységet kevésbé vizsgálták. Az EMNLP konferenciára készült tanulmányban a szerzők több irányítási eljárást elemeztek fogalmak bejuttatásakor és eltávolításakor is.
Az aktiváció-irányítás érzékeny a modell képzésére
A kutatás fő megállapítása szerint a hatékony irányítási módszerek gyakran jelentős árat kérnek a gördülékenységért. Ez azt jelenti, hogy egy eljárás képes lehet a kívánt fogalom befolyásolására, miközben a létrehozott szöveg minősége romlik.
A vizsgálat egy korábban figyelmen kívül hagyott összefüggésre is rámutatott: számít, milyen képzési paradigmát használtak a modellnél. Az Apple kutatói szerint az aktiváció-irányítás utasításkövető modelleken jóval kevésbé hatékony, mint az alapmodelleken.
A szerzők két másik megközelítést is értékeltek. Az egyszerű promptolás és a teljes körű, felügyelt finomhangolás használható lehet fogalmak bejuttatására, a fogalmak eltávolításában azonban gyengébben teljesít. A tanulmány így különbséget tesz a kívánt tartalom hozzáadása és a már jelen lévő tartalom kivétele között.
Az olcsóbb szöveges mérőszámok is hasznosak lehetnek
A kutatás a mérési módszereket is összevetette. A szerzők szerint az olcsón kiszámítható szöveges mérőszámok erősen korrelálnak a költségesebb, nagy nyelvi modellekre épülő értékelésekkel, amelyeket bíróként használnak. Ezek a mérőszámok ezért betekintést adhatnak az egyes kondicionálási módszerek viselkedésébe.
Az eredmények a fejlesztők számára azt jelzik, hogy egy irányítási eljárás megítélésekor egyszerre kell vizsgálni a célfogalom kezelését és a szöveg minőségét. A módszer kiválasztása attól is függhet, hogy fogalmat szeretnének bejuttatni vagy eltávolítani, illetve hogy alapmodellen vagy utasításkövető modellen dolgoznak.
A tanulmány szerzői Iuri Macocco, Pau Rodríguez Lopez, Arno Blaas, Luca Zappella, Marco Baroni és Xavier Suau Cuadros. Macocco a Universitat Pompeu Fabrához tartozik, Baroni és Suau Cuadros pedig a közleményben egyenlő hozzájárulással szerepelnek.
