Az Apple szerint a nyelvi modellek kommunikációja veszteséges
Az Apple kutatása szerint a nyelvi modellek természetes nyelven folytatott kommunikációja jelentős információveszteséggel jár, amikor fa struktúrájú adatokat kell átadniuk. A vizsgálatban a generálás bizonyult a hibák fő forrásának, és az eltérő modellek párosítása jobb eredményt hozott, mint ugyanazon modell használata mindkét oldalon.
- Az Apple tizenhat modell minden párosítását vizsgálta.
- A generálás és a kivonás sorrendje akár 60,4 százalékpontos eltérést okozott.
- A legjobb modellpáros 92,9 százalékos pontosságot ért el.
- A hibák legalább 73,6 százaléka a generálásból származott.
- Körülbelül 3600 finomhangolási példa minden nyílt súlyú modell teljesítményét javította.
Szöveggé alakították a matematikai szerkezeteket
Az Apple kutatói, Xavier Suau, Alex Ferrando de las Morenas, Luca Zappella és Samy Bengio, a NeurIPS konferenciára készült tanulmányban vizsgálták, mennyire marad meg a fa struktúrájú, összetett információ, amikor a nyelvi modellek természetes nyelven adják tovább egymásnak.
A kutatásban egy generátor eljárásból létrehozott matematikai kifejezést szöveges feladattá alakított. Ezután egy külön kivonó modellnek kizárólag a szöveges feladat alapján kellett visszaállítania az eredeti kifejezést. A kutatók a két kifejezés szimbolikus ekvivalenciájával ellenőrizték, hogy pontos volt-e a visszafejtés.
A protokollt tizenhat modell minden lehetséges párosításán lefuttatták. Az így kapott kommunikációs mátrix külön választotta a generálás és a kivonás minőségét.
A generálás okozta a hibák többségét
Az Apple eredményei szerint a kommunikációs csatorna veszteséges és aszimmetrikus. Az, hogy melyik modell készítette a szöveget, és melyik próbálta meg kinyerni belőle az eredeti szerkezetet, akár 60,4 százalékpontos eltérést is okozott a pontosságban.
A legjobb páros 92,9 százalékos eredményt ért el. Ehhez különböző modellek kombinációjára volt szükség a kommunikáció két végén, vagyis ugyanazon modell használata mindkét oldalon nem bizonyult a legjobb megoldásnak.
A kerekítési hibák legalább 73,6 százaléka a generálásból származott. A nehézséget elsősorban a fa szerkezete határozta meg, ezen belül a műveletek száma, a struktúra mélysége és a jobbra ágazás. A kutatók szerint ez fontosabb tényező volt, mint a modellcsalád.
Finomhangolással javítható a teljesítmény
A tanulmány szerint a kommunikációs csatorna tanítható. Körülbelül 3600 finomhangolási példával, amelyekben az értékelés során használt műveletek és faalakzatok is megjelentek, minden nyílt súlyú modell jobb eredményt ért el a tanítatlan Gemini-3.1-Pro modellnél. Az Apple ezt összehasonlítási felső korlátként kezeli a megfelelő szemantikájú vizsgálatban.
A kutatók külön olyan beállítást is alkalmaztak, amelyben új műveletek és új szókincs szerepelt. Ebben a tartományban szintén minden nyílt súlyú modell javult, ami a tanulmány szerint azt támasztja alá, hogy a nyereség nem pusztán a tanítás és az értékelés azonos elemeinek következménye. A legjobb modellekhez képest ugyanakkor továbbra is fennmaradt egy teljesítménykülönbség.
Az eredmények alapján a fa struktúrájú kifejezések természetes nyelvi szerializálása, vagyis szöveges formába rendezése, korlátozza a hierarchikus információ modellek közötti továbbítását. Ez a kutatás szerint a láncolt gondolkodásban és a szabad szöveges köztes eredmények cseréjekor is meghatározó tényező lehet.
