A Hesai bemutatta a Kosmo 3D-s világadat-motort

Kamera és felhőplatform egy rendszerben

A Hesai október 14-én, Sanghajban mutatta be a Kosmót. A vállalat szerint a fizikai AI egyik legfontosabb szűk keresztmetszete a megfelelő minőségű, nagy mennyiségű valós adat elérése. A Kosmo One a cég állítása szerint a világ első, 8K-s, nagy felbontású AI-térkamerája. A berendezés nagy felbontású lidart, egy hüvelykes képérzékelőt és nagy pontosságú inerciális mérőegységet (IMU) használ.

A rendszer mikroszekundumos szinkronizálással rögzíti a környezet geometriáját, színeit, textúráit és a kamera helyzetét. A 3D Gaussian Splatting rekonstrukció a Hesai szerint milliméteres geometriai pontosságot és élethű részleteket biztosít. Egyetlen kezelő egy tipikus, 100 négyzetméteres beltéri teret körülbelül 15 perc alatt szkennelhet be. A Kosmo World ezt követően legfeljebb körülbelül ötször gyorsabban dolgozza fel az adatokat az összehasonlított termékeknél.

Robotok tanítására és világmodellekhez

A Kosmo World a rögzített adatokat szimulációra előkészített környezetekké alakítja. A Hesai Kosmo Spatial Core rendszere egyetlen rekonstrukcióban készít 3D Gaussian Splatting, háló- és mélységadatokat, így ugyanabban a jelenetben egyesülhet a vizuális élethűség, az interaktív objektumok és a pontos térbeli információ.

A generatív AI kitölti a nem szkennelt területeket, rekonstruálja az anyagokat és a textúrákat, az automatikus szemantikus szegmentálás pedig azonosítja az egyes tárgyakat. A nézetek egy robot kamerájának jellemzőihez is igazíthatók.

A Hesai egy Dairy Queen üzletben végzett telepítést is bemutatott. A Sharpa robot tanítási környezetének elkészítése korábban körülbelül 300 órányi kézi modellezést igényelt, a Kosmóval a szkennelés és a rekonstrukció 15 percig tartott. A vállalat közlése szerint a robot feladatsikerességi aránya 99 százalékot ért el, a hibaarány pedig a korábbi érték tizedére csökkent.

A rendszer egyetlen rögzített térből automatikusan több mint 10 ezer tanítási pályát tud létrehozni. A Hesai szerint így azonos költség mellett több mint százszor több, jó minőségű tanítási adat állítható elő.

Filmes, kulturális és térképes felhasználás

A Kosmo nem kizárólag robotikai célokat szolgál. A filmesek egy helyszínt egyszer rögzíthetnek, majd az elővizualizáció, a virtuális gyártás és az utómunka során is felhasználhatják. A Hesai szerint egy 10 ezer négyzetméteres európai utcakép fizikai díszletének elkészítése két hónapig tartana, míg a helyszín szkennelése, rekonstrukciója és szerkesztése egy hét alatt elvégezhető, akár 80 százalékos költségmegtakarítással.

A vállalat együttműködik a Pixar RenderMan csapatával, amely hivatalos oktatóanyagot és letölthető erőforrásokat is kiadott. A Hesai a Yuemo Studióval AI-alapú filmkészítési munkafolyamaton is dolgozik.

A kulturális örökség területén a Hesai a TRIC-kel, az ENSZ egyik partnerével dolgozik a Csengtu városában található Du Fu Thatched Cottage digitális művészeti feldolgozásán. Az Amap térképes és helyi felfedező platformmal kötött partnerség keretében a Gravity Art Museum és a PIFO Gallery rekonstrukciói már elérhetők az Amap Flying Street View funkciójában.

A Hesai nyílt ökoszisztémát épít, amelyben a nyers rögzítési adatok és a 3D-eszközök is hozzáférhetők. A Kosmo integrálható többek között az NVIDIA Isaac Sim és Isaac Lab rendszereivel, az Unreal Engine-nel, a RenderMannel és a Houdinivel. A vállalat Galbottal és Dexmallal is stratégiai partnerséget jelentett be a megtestesült AI fejlesztésére.