A Convai percek alatt címkézi az Unreal Engine pályáit
A Convai új eszköze, a Scene Tagger automatikusan felkutatja és leírja az Unreal Engine pályák jelentős objektumait. A rendszer javaslatokat készít, de az eredményeket csak a fejlesztő jóváhagyása után alkalmazza.
- A Scene Tagger az Unreal Engine-pályák jelentős objektumait keresi meg.
- A rendszer neveket és leírásokat készít, majd ellenőrzési listát ad.
- A kiválasztott Convai-karakter tudása és Knowledge Bankja befolyásolja az eredményt.
- A múzeumi tesztben 63 tárgyat azonosítottak, 32 pedig emberi ellenőrzésre került.
- A pálya csak a fejlesztő jóváhagyása után módosul.
Két perc alatt 63 műtárgyat azonosított
A Convai szeptember 22-i bemutatója szerint egy 63 műalkotást tartalmazó múzeumi pályán a Scene Tagger körülbelül két perc alatt nevet és leírást készített az objektumokról. További 32 tárgyat emberi ellenőrzésre jelölt meg.
A Scene Tagger, amely a dokumentációban Scene Auto Tagger néven szerepel, a Convai Unreal Engine-bővítményének szerkesztői eszköze. A pályán végighaladva megkeresi a jelentéssel bíró objektumokat, több szögből képet készít róluk, majd nevet és leírást javasol. A teljes folyamat az Unreal Editorban fut.
A létrehozott információk jelenetmetaadatként kerülhetnek az objektumokhoz. A Convai szerint ezekből a karakterek felismerik, mi található körülöttük. Ha egy Actorhoz Convai Object Component tartozik névvel és leírással, a pályán lévő karakterek felhasználhatják ezeket az adatokat, amikor a játékos a környezetről kérdez.
A kiválasztott karakter tudása befolyásolja a címkéket
A Scene Tagger nem általános látásmodellt használ a pálya elemzésére. A fejlesztő a Convai irányítópultján kiválaszt egy karaktert, és az eszköz annak AI-beállításaira, személyiségére és Knowledge Bankjára támaszkodik.
A Convai ezért olyan karakter kiválasztását javasolja, amely illik a környezethez. Egy múzeumi tárlatvezető, egy gyár karbantartási oktatója vagy egy bemutatótermi host más-más szempontokat hozhat előtérbe. A Knowledge Bankba katalógusok, berendezési kézikönyvek, referenciadokumentumok, képek és videók is feltölthetők.
A bemutatóban szereplő Livia nevű karakter tudásanyaggal kiegészítve pontosabb leírásokat adhat. A Convai példája szerint egy kiállítási katalógust ismerő tagger az alkotó nevét és a korszakot is beleírhatja egy leírásba, míg enélkül csak egy „ülő macskát ábrázoló bronzszobrot” azonosíthat.
Két szöveges mező tovább alakítja az eredményt. A jelenetleírás megadja, milyen helyről van szó, a leírás fókusza pedig meghatározza, mire figyeljen az elemzés. A múzeumi példában történelmi pontosságot, művészneveket, dátumokat és eseményeket kértek. A rendszer a jelenet egy aktuális nézetéből is készíthet vázlatos leírást.
A fejlesztő ellenőrzési listát kap
Az elemzés hatókörét a Selected Actors vagy a Current Level beállítás határozza meg. Az első a szerkesztőben kiválasztott, megfelelő objektumokat vizsgálja, a második az egész pályán keres jelentős tárgyakat. A Convai szerint ez nem jelenti minden fal vagy épületelem címkézését, a rendszer elsősorban a részleteket vagy jelentést hordozó objektumokra figyel.
Az Accurate beállítás javíthatja a műalkotások, szövegek és konkrét témák elemzését, cserébe hosszabb futási idővel jár. A fejlesztő azt is megadhatja, hogy a rendszer újraelemezze-e a már Convai Object Componenttel rendelkező objektumokat. A kézzel készített címkék megőrzéséhez ezt ki lehet kapcsolni.
A futás után a Scene Tagger ellenőrzési listát ad. Ha a név és a leírás helyes, a hibás kameraállás ellenére is elfogadható az eredmény. Ha a nézet megfelelő, de a név hiányos, a fejlesztő megjegyzést írhat a javaslathoz, majd újra lefuttathatja az elemzést. Ha a rossz nézet miatt hibás az azonosítás, a kép kivágása újrapozicionálható, majd az objektum ismét elemezhető.
A folyamat egyik fontos jellemzője, hogy a pálya a teljes elemzés alatt változatlan marad. A javaslatok csak alkalmazás után kerülnek a jelenet objektumaira, így a fejlesztő a módosítás előtt átnézheti és javíthatja őket.
Unreal Engine-projekt és Convai-fiók szükséges
A használathoz Windows alatt megnyitott Unreal Engine-projekt, telepített Convai-bővítmény, bejelentkezett Convai-munkamenet és legalább egy karakter szükséges a fiókban. A Scene Auto Tagger az Unreal Editor eszköztárából vagy a Tools menü Convai részéből indítható.
Első használatkor a fejlesztőnek engedélyeznie kell az AI-alapú jelenetelemzést. A futás során a rendszer a Convaihoz küldi a rögzített képeket és a felhasználó által megadott útmutatást. A megoldás olyan nagy 3D-környezetekhez is használható, mint egy gyár, üzlettér, oktatási környezet, digitális iker vagy VR-projekt, ahol a karakternek strukturált információra van szüksége a környezetéről.
