Egyetlen szóköz is torzíthatja a nyelvi modellek tesztjeit

Kétféleképpen lehet elhelyezni ugyanazt a szóközt

A feleletválasztós értékelések egyik gyakori módszere, hogy a kérdés és a válaszlehetőségek után a rendszer az Answer: szöveget adja a modellnek, majd leolvassa, mekkora valószínűséget rendel az A, B, C és D címkékhez. Ilyenkor a válasz előtti egyetlen szóköz két helyre kerülhet.

A Space-in-Prompt felosztásnál a szóköz a kérdéshez tartozó prompt végén marad, így a modellnek egy önálló szóköz után kell előállítania például a B betűt. A Space-in-Answer esetén a prompt az Answer: karaktersornál ér véget, a szóköz pedig a válaszjelölt része, például „ B”. A két megoldás ugyanazt a szöveget írja le, a tokenizálás szempontjából azonban eltérő bemenetet eredményez.

A különbség a tokenizálásból ered

Az Aleph Alpha kutatói, Prabhu Sivaprasad, Frank Schneider, Martin Reinhardt, Fabien Benureau és Tom Burns szerint a jelenség gyökere a tanítás és a mérés közötti eltérés. Az előtanítás során a modellek szöveg folytatását tanulják, és a kutatók által vizsgált példákban az Answer: B karaktersor jellemzően úgy jelenik meg, hogy az Answer, a kettőspont és a „ B” együttesen adja a tokenizált sorozatot.

A kutatásban vizsgált hat modern tokenizáló mindegyike ezt a mintát követte. A DCLM-Baseline egymillió dokumentumból álló mintájában a kanonikus tokenizálás nagyjából 2300 alkalommal jelent meg egymillió tokenenként. Az alternatív megoldás, amelyben az önálló szóközt egy csupasz B betű követi, 0,03 és 0,10 közötti gyakorisággal fordult elő egymillió tokenenként. Ez négy-öt nagyságrendi különbséget jelent.

A Space-in-Answer ezért pontosan azt a tokenizált sorozatot állítja elő, amelyet a modell a tanítás során jellemzően látott. A Space-in-Prompt ezzel szemben olyan szóköz és betű kombinációját várja el, amely a kutatók szerint gyakorlatilag nem szerepelt az előtanításban.

A valószínűség erősen változik, a pontosság gyakran kevésbé

A kutatók az MMLU, az ARC és a PIQA adathalmazokon, valamint az Olmo-3-7B, a Qwen3.5-35B-A3B és a Gemma-4-26B-A4B alapmodelleken vizsgálták a két felosztást. A helyes válasz logaritmikus valószínűsége a Space-in-Answer használatakor jellemzően nulla körül koncentrálódott. A Space-in-Prompt esetén az értékek alacsonyabbak és szélesebben szóródtak.

Ez a különbség minden vizsgált modellnél és tesztnél megjelent. A pontosságra gyakorolt hatás azonban kisebb volt, mert a valószínűség csökkenése sok esetben hasonlóan érintette az összes válaszjelöltet. A forrás szerint a kilenc modell és teszt párosból hatnál fél százalékpontnál kisebb volt a pontosság változása. A Qwen3.5 ugyanakkor a PIQA teszten csaknem tíz százalékpontot veszített.

A kutatás egy másik torzítást is azonosított: ha a válaszokat puszta betűként pontozzák, egyes modellek bizonyos címkéket előnyben részesíthetnek. A Qwen3.5 esetében ilyen címke volt a B, a Gemma 4-nél pedig a D. Ez főként azokon a feladatokon befolyásolhatja az eredményt, amelyeken a modell kevésbé magabiztos.

Miért számít ez az értékeléseknél?

A feleletválasztós tesztek gyakran nem új szöveg generálásával mérik a modellt. A rendszer helyettük a lehetséges befejezések valószínűségét adja meg, és a legmagasabb értékű opciót tekintik válasznak. Ez az úgynevezett valószínűségen alapuló pontozás az előtanítás alatt álló modellek tudásának mérésére is használható, illetve olyan feladatoknál is fontos lehet, ahol a modell már ki tudja választani a helyes választ, de még nem képes azt koherens szövegként előállítani.

Az Aleph Alpha kutatói szerint a válasz előtti szóközt ezért a Space-in-Answer módon érdemes kezelni. Ez illeszkedik a vizsgált tokenizálók által a tanítás során jellemzően létrehozott sorozathoz. A választott felosztás különösen akkor fontos, ha az értékelés közvetlenül a válaszok logaritmikus valószínűségére épít, például a helyes válasz bits-per-byte mérőszámára.