A Convai AI-karaktere már tudja, melyik tárgyra néz a játékos

A tekintet kerül az AI-karakter figyelmének középpontjába

A Convai Object in Attention az Unreal Engine-hez készült funkció. A Convai Player Component részeként működő Gaze Attention alrendszer azt követi, hogy a játékos merre néz, és felismeri a célkereszt alatt lévő, megfelelően beállított objektumot.

Amikor a felhasználó egy tárgyon marad a tekintetével, a rendszer egy rövid várakozási idő után az objektumot az AI-játékos figyelmi mezőjébe helyezi. Ez lesz az a fókusztárgy, amelyet a modell az olyan kétértelmű utalások értelmezéséhez használ, mint a „this”, a „that”, az „it” vagy a „there”. Az alapértelmezett várakozási idő 1 másodperc.

A Convai szerint így egy AI-karakter pontosan meg tudja különböztetni, hogy a játékos melyik fegyverről, tárgyról, gépről vagy termékről beszél. A megoldás működéséhez a Convai Chatbot Componentben engedélyezni kell az Actions funkciót, mivel a figyelmi rendszer csak aktív műveletek mellett oldja fel az objektumokat a munkamenet csatlakozásakor.

Fegyverboltban mutatja be a rendszer előnyeit a Convai

A bemutatóban egy Convai-alapú AI-Metahuman fegyverboltot működtet. A tárgyak felismerése nélkül a játékos kérdésére, például arra, hogy mennyibe kerül az adott fegyver, a karakter további pontosítást kér, és nem tudja, mire utal a felhasználó.

A Gaze Attention bekapcsolása és az objektumok meghatározása után ugyanilyen helyzetben már konkrét válasz érkezik. A rendszer példája szerint az AI-játékos azt mondhatja: „Ez a KA482, az ára 50 érme.” Egy másik fegyver esetében a válasz így hangzik: „Az SMG2-re nézel? Az 80 érmébe kerül.”

A működés három lépésből áll. A tekintet észlelésekor egy vonalteszt megkeresi a célkereszt alatti Convai Object komponenst, az objektum kiemelést kap, a célkereszt pedig aktívvá válik. A várakozási idő után az objektum bekerül a figyelmi mezőbe. Ezután a chatbot követi, melyik rendszer állította be a fókuszt, így a tekintet alapú és a programozott figyelem nem zavarja egymást.

Öt lépésben állítható be Unreal Engine-ben

A használathoz először egy Convai-alapú AI-Metahuman-t tartalmazó jelenetre van szükség. A fejlesztő a World Settings, majd a Game Mode menüpontból nyithatja meg a Player Blueprintet. A Convai Player Component részleteinél a Gaze Attention alatt be kell kapcsolni az Enable Gaze Attention lehetőséget, majd le kell fordítani a projektet és el kell indítani.

Az objektumok két módon definiálhatók. A Convai Chatbot Component Actions, Objects listájában a fejlesztő kiválaszthatja az objektumot, majd nevet és leírást adhat neki. A Convai által ajánlott megoldás a Convai Object komponens hozzáadása közvetlenül az objektum Blueprintjéhez. Ilyenkor az objektum cseréje vagy új AI-játékos hozzáadása után sem kell újra elvégezni a beállítást, és a másolt objektum a nevet, valamint a leírást is örökli.

Minden objektumhoz rövid név és egysoros leírás tartozik. Beállítható az is, hogy az AI-karakter megszólaljon, amikor a játékos elég ideig néz egy tárgyat, továbbá módosítható a válasz késleltetése, a kiemelés és a célkereszt színe. A nem kívánt objektumokon a gazeable opció kikapcsolható.

Játékokban, szimulációkban és digitális ikrekben is használható

A Convai szerint az objektumokra épülő természetes hivatkozás többféle Unreal Engine-projektben alkalmazható. Kiskereskedelmi bemutatókban a vásárló egy termékre nézve kérdezhet annak áráról vagy jellemzőiről. Képzési szimulációkban a résztvevő egy szelepről, eszközről vagy vezérlőpanelről érdeklődhet anélkül, hogy előre meg kellene tanulnia a pontos nevét.

Virtuális idegenvezetők és múzeumi túrák esetében az AI az éppen megtekintett műtárgyról adhat magyarázatot. Digitális ikrekben a kezelők a berendezések alkatrészeit kérdezhetik le tekintet alapján. Interaktív játékvilágokban pedig boltos NPC-k, mentorok és társak reagálhatnak a „az ott” vagy „az, amelyikre nézek” típusú mondatokra.

A Convai Object in Attention ehhez az objektumokhoz rendelt metaadatokat kapcsolja össze a játékos tekintetével. A vállalat a funkciót streaming vision és kéz nélküli hangvezérlés mellett is használhatónak írja le, így az AI-játékos a jelenetet és a játékos fókuszát is figyelembe veheti.