Egyetlen RGB-kamerával navigál a Mistral AI új robotmodellje

Egy kamera, többféle robot

A Mistral AI 2026. július 8-án mutatta be első, megtestesült navigációra, vagyis fizikai környezetben mozgó robotok irányítására készült modelljét. A Robostral Navigate képeket kap egy RGB-kamerától, valamint egy természetes nyelvű utasítást, például azt, hogy a robot hagyja el az előcsarnokot, haladjon végig a folyosón, lépjen be a raktárhelyiségbe, majd álljon meg a második polccal szemben.

A modellhez nincs szükség LiDAR-ra, mélységérzékelőre vagy több kamera együttes használatára. A Mistral AI szerint a rendszer irodákban, lakó- és kereskedelmi épületekben, valamint kültéri környezetekben is használható. A vállalat állítása alapján kerekes, lábakon járó és repülő robotokon is működik, és különböző robotméretekhez képes alkalmazkodni.

76,6 százalékos eredmény ismeretlen környezetekben

A Robostral Navigate az R2R-CE, vagyis Room-to-Room in Continuous Environments teszt validációs, a tanítás során nem látott környezeteket tartalmazó részén 76,6 százalékos sikerarányt ért el. A tanítás során látott környezetekben a sikerarány 79,4 százalék volt.

A Mistral AI szerint az ismeretlen környezeteket vizsgáló eredmény 9,7 százalékponttal jobb a legjobb, egyetlen kamerára épülő megközelítésénél, és 4,5 százalékponttal felülmúlja a mélységérzékelőt vagy több kamerát használó legjobb rendszert. A cég szerint a robot olyan emberekkel és akadályokkal is képes megbirkózni, amelyekkel a tanítás során nem találkozott.

A modell a következő mozgási célpontot úgy határozza meg, hogy megjósolja annak képkoordinátáit a robot aktuális kameraképében, valamint a megérkezéskor kívánt irányt. Ha a cél nem látható a kamera látómezejében, a rendszer a robot saját koordinátarendszerében megadott elmozdulásokhoz folyamodik, például előre és oldalra történő mozgáshoz, illetve forduláshoz.

Szimulációval és megerősítéses tanulással készült

A Robostral Navigate teljes egészében házon belül készült, és a Mistral AI szerint nem támaszkodik meglévő, nyílt forráskódú látás-nyelvi modellekre. A modell egy olyan látás-nyelvi modellből indult, amely tárgyak lokalizálására, számlálására és a képen megadott pontok értelmezésére specializálódott.

A navigációs tanításhoz a vállalat szimulációban létrehozott adattermelési folyamatot használt. Az így készült adathalmaz körülbelül 2,4 millió útvonalat tartalmazott 350 ezer jelenetben. A tanítás hatékonyságát prefix-gyorsítótárazásra épülő módszerrel növelték. A Mistral AI szerint ez a megoldás az egyes időlépések külön tanításához képest 22-szeresére csökkenti a tanításhoz szükséges tokenek számát, miközben megőrzi a tanulási jeleket.

A felügyelt tanítás után online megerősítéses tanulást is alkalmaztak. A CISPO nevű algoritmus lehetővé teszi, hogy a modell próbálkozásból és hibákból tanuljon, felépüljön a sikertelen lépésekből, és felfedező viselkedéseket sajátítson el. A vállalat szerint ez önmagában 3,2 százalékkal javította a sikerarányt.

A Mistral egységes robotügynököt építene

A Mistral AI a Robostral Navigate-et egy egységes, általános célú megtestesült ügynök felé tett első lépésként mutatja be. A vállalat szerint a navigáció alapvető képesség lehet az általános célú robotikában, és a modell azt szemlélteti, hogy kompakt modell és egyetlen RGB-kamera segítségével is elérhető magas szintű navigáció.

A cég a technológiát gyártási, kiszállítási, logisztikai és vendéglátási feladatokban említi lehetséges alkalmazási területként. A Mistral AI közölte, hogy tovább bővíti robotikai csapatát, és a Robostral Navigate műszaki részleteiről külön technikai jelentést tett közzé.