A Hidden Door LoRA-val javítja a játékok perspektívaváltását
A Hidden Door szerint az interaktív történetmesélésben nem mindig a legnagyobb nyelvi modell a legjobb választás. A vállalat egy összetett, de szűk feladaton, a harmadik személyű szöveg második személyűvé alakításán keresztül mutatja be, miért lehet célszerűbb kisebb modelleket és célzott finomhangolást használni.
- A Hidden Door a perspektívaváltást külön, célzott részfeladatként kezeli.
- A többkarakteres jelenetekben a névmások és a csoportok miatt gyakoriak a hibák.
- A gpt-oss-120b átlagosan egy másodperc alatt végzett el egy átalakítást.
- A vállalat kisebb Qwen és gpt-oss modelleket is használ.
- A Hidden Door szerint a célzott finomhangolás újra életképes alternatíva lett.
Egy egyszerűnek tűnő feladat gyorsan összetetté válik
A Hidden Door narratív rendszerei moduláris, egymással összefüggő feladatokra bontják a közös történetmesélést. Ezek strukturált történet- és világadatokra támaszkodva hoznak döntéseket, majd megjelenítik az eredményt a játékos számára.
A vállalat példája szerint egy mondat harmadik személyből második személybe alakítása elsőre egyszerűnek tűnik. Egy karakter neve és névmásai sok esetben könnyen lecserélhetők, összetett többkarakteres jelenetekben azonban gyorsan bizonytalanná válik, hogy egy „they” típusú névmás pontosan kire vagy kikre utal.
A nehéz esetekben több szereplő osztozhat ugyanazon a névmáson, csoportok és egyes számú, nemsemleges névmások jelenhetnek meg egyszerre, ráadásul a párbeszédekben szereplő neveket és névmásokat nem feltétlenül szabad átírni. A Hidden Door szerint ilyenkor akár több helyes megoldás is adódhat, például egy csoport „you”, „the three of you” vagy „your group” formában való megjelenítése.
A nagy modellek túl lassúak lehetnek
A Hidden Door állítása szerint a Claude Fable vagy a GPT Astra típusú frontier modellek sok összetett utasítást képesek kezelni, de az eredmény egy idő után céltalanná és egyhangúvá válhat. Interaktív játékokban a késleltetés is komoly problémát jelenthet.
A vállalat ezért a feladatot kisebb, pontosan meghatározott részfeladatként kezeli. Az egyszerű esetekben heurisztikák, szövegcserék és alapvető természetesnyelv-feldolgozási technikák is elegendők lehetnek. A klasszikus NLP egy összetettebb megoldást is kínálna, például mondatszerkezeti elemzéssel, entitásfelismeréssel és függőségi fákkal. A Hidden Door szerint egy ilyen rendszer felépítése megoldható, de jelentős mérnöki munka, sok szélső eset és kézzel címkézett példa kellene hozzá.
A vállalat végül kisebb, alacsony késleltetésű és nagy áteresztőképességű nyelvi modellekhez fordult. A használt lehetőségek a kisebb Qwen és gpt-oss modellektől a gpt-oss-120b modellig terjednek. A Hidden Door szerint ez utóbbi a legnagyobb olyan modell, amely megbízhatóan biztosítja a kisebb feladatokhoz szükséges sebességet.
A célzott finomhangolás felé fordultak
A gpt-oss-120b a nagy komplexitású és bizonytalan mondatoknál továbbra is rendszeresen hibázott. A Hidden Door közlése szerint egy átalakítás átlagosan egy teljes másodpercet vett igénybe, ezért nem akartak további késleltetést vállalni a jobb teljesítményért. A feladat ugyanis kicsi és mechanikus, így nem szabadna lelassítania a játék egyetlen körét sem.
A fejlesztők először strukturált értékeléseket végeztek: valós példákból adatkészletet állítottak össze, rendszeresen pontozták az eredményeket, majd emberek vizsgálták meg a sikeres és hibás átalakításokat. Kipróbáltak különböző promptolási stratégiákat, néhány példát tartalmazó mintákat, valamint heurisztikákat is. Ezek javítottak az eredményeken, de a hibák továbbra is észrevehetők maradtak.
Ezután a finomhangolás szélesebb lehetőségét vizsgálták. A Hidden Door szerint korábban a teljes modellek finomhangolása drága infrastruktúrát, számítási időt, tanítási adatot, kísérletezést és karbantartást igényelt. Kisebb feladatoknál ezért sokáig a prompt módosítása tűnt ésszerűbb választásnak. A vállalat mostani bejegyzése szerint a nyílt súlyú modellek változatosabb ökoszisztémája megváltoztatta ezt a mérlegelést, és a célzott modellmódosítás újra életképes eszközzé vált.
Mit jelent ez a játékosoknak?
A Hidden Door megközelítése azt mutatja, hogy az interaktív történetekben a modell kiválasztása közvetlenül hat a játékélményre. A perspektívaváltás pontossága, a több szereplős jelenetek kezelése és a válaszidő egyszerre számít, ezért egy nagyobb modell önmagában nem oldja meg a problémát.
A vállalat szerint a megfelelő méretű modell kiválasztása és a feladat célzott finomhangolása segíthet abban, hogy a rendszer megbízhatóbban alakítsa át a szöveget anélkül, hogy érezhetően lelassítaná a játék menetét. A bejegyzés fő tanulsága, hogy a narratív rendszerekben a fejlesztőknek feladatonként kell kiválasztaniuk az alkalmazott eszközt.
Hidden Door: The right tool for the job
