Az Aleph Alpha szerint a BPB-mutató jutalmazza a hosszabb válaszokat

A bits-per-byte működése és problémája

A nagy nyelvi modellek előtanítása során a rendszer trilliónyi szövegszóból tanulja meg a következő szövegrész előrejelzését. Ez a fejlesztés számítási költségének jelentős részét adhatja. Az Aleph Alpha példaként azt írja, hogy a legutóbbi Kolibri modell előtanítása körülbelül 392 000 GPU-órát vett igénybe 768 NVIDIA B200 GPU-n. Ez nagyjából egy nagyságrenddel több számítás volt, mint a modell végső megerősítéses tanulási futtatásának költsége.

A fejlesztők ezért sok kisebb kísérletet futtatnak, hogy kiválasszák például a tanítási adatokat vagy a modell architektúráját. Ehhez olyan mérőszámokra van szükségük, amelyek érzékenyen jelzik, ha egy változtatás javít a modellen. Az előtanított alapmodellek azonban még nem feltétlenül képesek beszélgetésre vagy többlépéses feladatok végrehajtására, mivel ezek a képességek jellemzően az utólagos tanítás során alakulnak ki.

A bits-per-byte, röviden BPB, azt méri, mennyire valószínűsíti a modell egy előre meghatározott helyes válasz karaktereit, illetve tokenjeit. A modell által a válaszra kiosztott meglepetési értéket bitekben számítják ki, majd elosztják a válasz UTF-8-kódolású bájthosszával. Az alacsonyabb BPB jobb előrejelzést jelent.

Az Aleph Alpha szerint ezzel az a gond, hogy a válaszhoz kapcsolódó, elemenként egyszer felmerülő költség is a válasz hosszával oszlik el. Emiatt ugyanazon feladatban a rövidebb válaszok kedvezőtlenebb pontszámot kaphatnak, még akkor is, ha a modell tudása szempontjából nem nehezebbek.

A rövidebb válaszok rendszeresen rosszabb pontszámot kapnak

A vállalat egy példában a „Mi Franciaország fővárosa?” kérdés különböző, azonos jelentésű válaszait hasonlítja össze. A Qwen3-4B esetében az „It is Paris.” válasz BPB-értéke 1,85, az „It is the city of Paris.” válaszé 1,10, az „It is Paris, the capital of France.” válaszé pedig 0,77 volt. Az OLMo-3-7B-nél ugyanezek az értékek 1,38, 1,34 és 1,22 voltak. Mivel az alacsonyabb érték számít jobbnak, a hosszabb válaszok mindkét modellnél kedvezőbb pontszámot kaptak.

Az Aleph Alpha a Qwen3-4B MMLU full text értékelésében a válaszok hossza alapján öt csoportot alakított ki. A legrövidebb válaszok átlagosan 6 bájtosak voltak, és a mean-of-ratios BPB alapján körülbelül 11-szer rosszabb eredményt értek el, mint a 96 bájtos átlagos hosszúságú leghosszabb válaszok.

A kutatók szerint a teljes meglepetési érték, vagyis a válasz leírásához szükséges bitek száma, gyakran csak mérsékelten nő a válasz hosszával. A példában a hosszabb válasz 36 bájtos volt a rövidebb 13 bájtjával szemben, miközben a Qwen3-4B esetében a hozzá tartozó teljes érték 27,7 bit, illetve 24 bit volt. A hosszabb szöveg így több bájtra osztja el a modelltől származó, elemenként jelentkező költséget.

Az Aleph Alpha 19 feladaton azt találta, hogy a szokásos BPB-mutatók jelentős részben a helyes válaszok átlagos hosszúsága szerint rendezik a feladatokat. A kutatók egy modellen és feladaton belül is megvizsgálták a legrövidebb és leghosszabb válaszokat. A rövidebb elemek minden tesztelt feladaton rosszabbul teljesítettek, a két szélső ötöd közötti arány mediánja körülbelül 0,43 volt.

A PriorBPB hosszsemlegesebb értékelést céloz

Az Aleph Alpha a problémára a PriorBPB nevű módszert javasolja, amelyet a vállalat nyílt forráskódú eval-framework csomagjába is beépített. A megközelítés minden modell és feladat esetében megbecsüli a bájtonkénti költség változását, majd ezt egy, a feladatok között közös hosszúsági eloszlás alapján átlagolja.

A módszer alapja az a megfigyelés, hogy az egyes válaszok teljes bitköltsége közelíthető egy fix, válaszonkénti költség és egy bájtonkénti költség összegével. A fix rész a válasz átlagos hosszával osztva nagyobb hatást gyakorol a rövid válaszokat tartalmazó feladatokra. Az Aleph Alpha szerint ez a költség jelentős részben az első választokenhez kapcsolódik.

Ha a PriorBPB-t az adott feladat saját hosszúsági eloszlásával számítják, az érték megegyezik a teljes korpusz BPB-jével. A vállalat szerint a különbség abban áll, hogy a módszer minden bájtot figyelembe vesz, és a feladatok közötti összehasonlítást közös hosszúsági priorhoz igazítja.

A vállalat szerint az accuracy előrejelzése is javul

Az Aleph Alpha több mint 60 ellenőrzőponton, öt modellcsaládon vizsgálta a PriorBPB-t. A vállalat beszámolója szerint az új mutató kevésbé függött a helyes válasz hosszától, mint a standard BPB-változatok. A hosszúság hatása nagyrészt eltűnt a feladatok sorrendjében és az egy feladaton belüli rövid, illetve hosszú válaszok összehasonlításában is.

A PriorBPB az Aleph Alpha szerint az accuracy eredményeivel is szorosabban korrelált. Ez az alapmodellek ellenőrzőpontjainál mérsékelt, az instruct modellek esetében pedig jelentősebb javulást jelentett. A vállalat ezért a módszert az előtanítási receptek összehasonlítására használhatóbb helyettesítő mérőszámként mutatja be.

A kutatás gyakorlati jelentősége, hogy a modellfejlesztők egy-egy előtanítási kísérlet értékelésekor kevésbé támaszkodhatnak olyan pontszámra, amelyet a benchmark válaszainak hossza önmagában is befolyásol. Az Aleph Alpha szerint a PriorBPB erre kínál hosszsemlegesebb megoldást az eval-framework részeként.