A Google Cloudon elérhető a Gemini Robotics ER 2 robotikai modell

A robotok magas szintű irányítására készült

A Google október 27-i közleménye szerint a Gemini Robotics Embodied Reasoning 2, röviden Gemini Robotics ER 2, a Gemini Robotics 2 része. A vállalat ezt olyan intelligenciarétegként írja le, amely lehetővé teszi, hogy a robotok gondolkodjanak, cselekedjenek és alkalmazkodjanak a fizikai világban.

A modell különböző robotformákkal használható, az álló robotkaroktól a humanoid robotokig. Térbeli és időbeli videóértelmezést, hosszú távú tervezést és beépített biztonsági korlátokat kombinál. A rendszer természetes nyelven kommunikálhat az emberekkel, alacsony szintű műveleti modelleket és hardveres programozási felületeket vezérelhet, valamint több percen át tartó, több száz döntést igénylő feladatokat is végrehajthat.

Folyamatosan ellenőrzi a feladatok végrehajtását

A Gemini Robotics ER 2 folyamatos videófolyamok alapján követi a feladatok állapotát. A Google szerint a modell bináris állapotokkal, kategóriákkal vagy folyamatos pontszámokkal osztályozhatja a folyamat előrehaladását. Így a robot egy sikertelen lépés után módosíthatja a műveletet, és nem feltétlenül kell az egész munkafolyamatot elölről kezdenie.

A közlemény szerint a modell 91,3 százalékos pontossággal képes meghatározni azt a videókockát, amelyben egy fontos esemény történik, például amikor abba kell hagyni egy folyadék kiöntését. Az átlagos abszolút képkockatávolság 0,96 másodperc, a Google által megadott mérés szerint. A vállalat azt is közölte, hogy a rendszer négyszeres végrehajtási sebességgel, több nagyobb modellkategóriánál alacsonyabb számítási költség mellett működik.

A modell több mint tíz műszertípus értékeit is képes leolvasni és értelmezni vizuális bemenetből. Ezek között körskálák, betekintőüvegek, digitális kijelzők, lineáris skálák, vonalzók és folyadékhőmérők szerepelnek.

Szimulációtól a robotflották üzemeltetéséig

A fejlesztők alacsony szintű vezérlőfelületeket, például Vision Language Action modelleket, navigációs API-kat és egyedi függvényeket adhatnak meg eszközként. A Gemini Robotics ER 2 ezeket szimulációban, valódi robotok vezérlésében vagy emberi távvezérlés mellett is koordinálhatja. Természetes nyelvű utasításokkal navigációs és manipulációs műveleteket indíthat, miközben elmagyarázza a megközelítését, az operátor pedig technikai nyelv használata nélkül módosíthatja a feladatot.

A Google Cloud Gemini platformján a vállalati csapatok robotviselkedéseket szimulálhatnak a MuJoCo Warp és az NVIDIA Isaac Sim környezetében, multimodális modellekkel szintetikus helyzeteket hozhatnak létre, és automatikusan címkézhetik a munkaterületek képeit. A Gemini Robotics ER 2 segíthet a Cloud Storage és a BigQuery demonstrációs videóinak feldolgozásában, majd egyedi Vision Language Action modellek tanításában is.

A munkafolyamatok a Gemini platformon vállalati identitáskezeléssel, biztonsági vezérlőkkel és beépített függvényhívással telepíthetők. A Google Distributed Cloud a közlemény szerint a késleltetésre érzékeny, helyben futó feladatokat, például a SLAM-et és az útvonaltervezést kezelheti, miközben a flották telemetriája a BigQuerybe továbbítható.

Ipari és kutatási felhasználási példák

A Google közleménye több ügyfélpéldát is bemutat. A Boston Dynamics szerint a videóra épülő mesterséges intelligencia új lehetőségeket ad az ellenőrzésekhez, így a Spot robot nem csak egy adott pillanatban vizsgálhatja, hogy valami megfelelően működik-e. A DeepReach AI a rögzített munkafolyamatok megértésére használja a modellt, hogy gyorsabban megtalálja a modellképzés szempontjából fontos adatokat.

Az Arm a robotok összetett környezetek értelmezésében, a műveletek megtervezésében és a változó körülményekhez való alkalmazkodásban lát lehetőséget. Az ASTAR Institute of Materials Research and Engineering laboratóriumi robotjai a közlemény szerint érintőképernyőket olvashatnak, centrifugát tölthetnek be, és mintákat mozgathatnak egy laborban. A fejlesztés célja a teljes kísérleti kampányok automatizálása lehet, a szintézistől az elválasztásig.

A Gemini Robotics ER 2 már kipróbálható előzetes verzióban a Gemini platform Model Garden felületén. A Google dokumentációt, mintakódot és kétirányú adatfolyamot bemutató fejlesztői útmutatókat is kínál hozzá.