NuRec: új nézetekkel skálázná az AV-észlelést az NVIDIA

Miért nehéz ugyanazt az észlelési rendszert több autótípusra vinni?

Az NVIDIA fejlesztői blogja szerint egy autonóm vezetési rendszer észlelési rétegét erősen befolyásolja az a jármű, amely hordozza. Ha ugyanaz a szoftver egy SUV-ról például szedánra vagy más járműváltozatra kerül, megváltozik a szenzorok elhelyezése, kalibrációja, látómezeje, a kitakarások, a karosszéria geometriája, az időzítés és a lefedettség is.

A forrás példái szerint egy közlekedési lámpa a kép más részén jelenhet meg, egy járdaszegély nehezebben láthatóvá válhat, egy lefedettségi határ közelében lévő gyalogos pedig bizonytalanabb esetet jelenthet. Ez különösen akkor probléma, amikor az autonóm vezetési stack több modellváltozatra terjed ki, miközben az alapvető észlelési rendszer azonos marad.

Az NVIDIA szerint minden új autótípushoz külön valós adatkészletet gyűjteni és címkézni költséges, a járműfejlesztés korai szakaszában pedig nem mindig lehetséges. Az új flották még nem feltétlenül állnak rendelkezésre, ritka körülmények pedig nem mindig rögzíthetők. A vállalat hangsúlyozza, hogy a valós vezetési adatok továbbra is fontosak a rendszer teljesítményének megalapozásához és validálásához, de a szintetikus adatok segíthetnek a modellek előzetes adaptálásában.

Mit csinál az Omniverse NuRec?

Az NVIDIA Omniverse NuRec valós vezetési felvételekből indul ki, rekonstruálja a jelenetet, majd új kameranézeteket renderel egy céljármű konfigurációjához. A cég megfogalmazása szerint ezzel a fejlesztők újrahasznosíthatják a valós adatokat olyan kérdések vizsgálatára, mint hogy egy adott szituáció hogyan nézne ki a cél szenzorigből, mely meglévő utak fedik le jól az új járművet, hol okoznak gyenge pontokat a geometriai változások, és mely hiányosságok igényelnek tényleges adatgyűjtést.

A NuRec 3D Gaussian splatting technikát használ valós környezetek szenzoradatokból történő rekonstrukciójára és szimulációs renderelésére. A járműplatformok közti adaptációban a rendszer egy meglévő járművel rögzített valós vezetést rekonstruál, majd a céljármű nézőpontjaiból készít új kamerafolyamokat.

A blog két képességet emel ki. Az egyik az új nézetek szintézise, amelynél a NuRec a gsplat segítségével rendereli a jelenetet a megadott kameramodellen keresztül. Ez lehetővé teszi a kamera külső és belső paramétereinek, látómezejének és lencsemodelljének módosítását, beleértve a pinhole, fisheye és f-theta konfigurációkat. A másik a jelenetadatok és annotációk újrahasználata: a rekonstruált jelenet megtartja az eredeti rig pályáit, az egyes kamerák kalibrációját, a dinamikus objektumok nyomvonalait és a térképadatokat.

A bemutatott munkafolyamat négy lépése

Az NVIDIA cikke egy négy lépésből álló folyamatot mutat be arra, hogyan lehet egy észlelési stacket új szenzorighez igazítani meglévő vezetési adatokból. A lépések: rekonstruált vezetés párosítása a cél rig konfigurációjával, a cél nézetek renderelése, a képkockák finomítása NVIDIA Harmonizerrel, majd észlelési modell tanítása az így kapott kimeneten.

A példában használt Physical AI NuRec Dataset a Hugging Face-en érhető el, és több mint 1 500 neurálisan rekonstruált vezetési jelenetet tartalmaz. A forrás szerint minden jelenet körülbelül 20 másodperc hosszú, és hat kameranézetből rekonstruálták: 120 fokos elülső széles látószögű nézetből, 30 fokos elülső telefotó nézetből, 120 fokos bal és jobb keresztnézetből, valamint 70 fokos bal hátsó és jobb hátsó nézetből.

Az adatkészlet hozzáférése korlátozott, a blog szerint a licenc elfogadása és Hugging Face tokennel történő hitelesítés szükséges egy jelenet letöltéséhez. Ha a fejlesztő kódoló ügynököt használ, az NVIDIA/nurec-skills repository klónozását javasolják. Ez készségeket tartalmaz Physical AI adatkészletek letöltésére, NuRec renderelésre és a kimeneti képkockák finomítására.

A bemutatóban egy nyilvános mintához mellékelt szintetikus célkamerariget használnak. Ennek kameraneve, pozíciója, felbontása és lencseparaméterei illusztratívak. A mellékelt rig egy célkamerát tartalmaz, ezért a bemutató egy célkamerás folyamot generál.

Renderelés, Harmonizer és tanítás

A renderelési részben az NVIDIA azt mutatja be, hogyan lehet a rekonstruált USDZ jelenetet a céljármű szenzorigjén keresztül renderelni. A példában a kamera azonosítója camera_front_synthetic_120fov, mivel a cél rig egy előre néző kamerát definiál. A cikk hangsúlyozza, hogy a célkamera nem kell, hogy egy az egyben megfeleljen a hat forráskamerának.

A célkamera használhat eltérő pozíciót, orientációt, felbontást, látómezőt vagy kalibrációt, ha a pozíciója ugyanabban a rig koordináta-rendszerben van kifejezve, és a lencsemodell támogatott. A forrás ugyanakkor figyelmeztet arra is, hogy a megfigyelt pályától távolra helyezett vagy gyengén lefedett területek felé irányított kamerák problémásabbak lehetnek.

A munkafolyamat következő eleme az NVIDIA Harmonizer, amelyet a forrás a renderelt képkockák időben konzisztens sorozat-utófeldolgozására ajánl. A fejlesztők a NuRec által renderelt célképeket ezzel finomíthatják, majd az így létrejövő adatokat észlelési modell tanítására használhatják.

Az NVIDIA saját, automatizált vezetési programján belül relatív javulást mért az objektumdetektálási precizitásban és recall értékben, miután egy új autótípushoz NuRec által renderelt szintetikus adatokon tanítottak, és ezt egy zero-shot alapvonalhoz hasonlították. A forrás nem közöl konkrét százalékos eredményeket.

Mit jelent ez a fejlesztőknek és a piacnak?

A NuRec célja, hogy a fejlesztőcsapatok korábban vizsgálhassák, hogyan viselkedik az észlelési rendszer egy olyan járművön, amelyhez még nem áll rendelkezésre teljes, címkézett valós adatkészlet. Ez különösen azoknál a programoknál lehet fontos, ahol ugyanazt az autonóm vezetési stacket több modellváltozatra kell skálázni.

A forrás alapján a módszer nem váltja ki a valós adatok szerepét, hanem kiegészíti azokat: segít meglévő vezetési adatokból célrighez illesztett nézeteket előállítani, gyenge pontokat keresni, és eldönteni, hol szükséges további valós gyűjtés. A fejlesztők a Physical AI NuRec Datasetből egy USDZ jelenet és a mellékelt minta célrig letöltésével kezdhetnek, majd a NuRec dokumentáció alapján állíthatják be a követelményeket, a támogatott hardvert, a validációt és a renderelést.