A Gemini 4 Argon robotokat irányít, és szimulációkat épít fel

Fizikai problémák megoldására készült

A Google Developers Blog október 13-i bejegyzése szerint a Gemini 4 Argon általános célú, fizikai következtetésre épülő modell. A vállalat a robotikai életciklus teljes területén alkalmazhatónak mutatja be, a robotok irányításától a szimulációk felépítésén át a kutatási és önfejlesztési feladatokig.

A modell képességeit az Embodied Reasoning, vagyis ERQA benchmark méri. Ez a teszt azt vizsgálja, hogy egy modell mennyire képes háromdimenziós környezetekben fizikai és térbeli problémákat megérteni és megoldani. A Google szerint Argon 87 százalékos eredményt ért el, amellyel minden más vizsgált élvonalbeli modellt megelőzött.

Robotirányítás valós és szimulált környezetben

A bemutatott példák egyike egy Boston Dynamics Spot négylábú robot. A robot 12 szabadságfokú lábakkal és 6 szabadságfokú karral rendelkezik, Argon pedig arra irányítja, hogy üdítősdobozokat dobjon ki egy pedálos szemetesbe. A modell először egy artikulált MuJoCo digitális ikermodellt készít a kukáról, majd ebben gyakorolja a mozdulatokat, mielőtt a fizikai robot rálépne a pedálra.

A feladat része a robot egyensúlyának ellenőrzése háromlábas támaszban, a pedál helyzetének vizsgálata az elülső kamerák alapján, valamint annak ellenőrzése, hogy a robot keze megfelelően igazodik-e a kuka nyílásához. A bemutatóban egy kétügynökös ellenőrzési rendszer, egy láb- és egy kézellenőrző is szerepel.

Egy másik példa egy egyszerű robotkar vezérlése. Argon vizuális koordinátarendszer és előre megadott műveleti primitívek segítségével állít fel egy felborult bögrét, majd beletesz egy összegyűrt szalvétát. A modell több lépésben figyeli a robot állapotát, mozgásparancsokat küld, és minden forduló után vizuálisan ellenőrzi az eredményt.

A Gemini Omni világmodellben Argon öt, szétszórt Scrabble-betűt rendez sorba. A G, R, A, N és O betűkből az A-R-G-O-N sorrendet alakítja ki. A modell nem egyetlen statikus utasítást ad, hanem a köztes képkockákat vizsgálva, időbélyegzett cselekvési utasításokkal, zárt vizuális visszacsatolási körben finomítja a folyamatot.

Valós felvételekből készít digitális ikert

A Google szerint Argon egy robot távvezérléses epizódját megvizsgálva MuJoCo-szimulációt is fel tud építeni. A cél egy olyan digitális iker létrehozása, amelyben a robot és a feladat tárgyai a valós környezethez hasonlóan néznek ki és viselkednek, amikor a robot kezei hozzájuk érnek.

A modell iteratív vizuális következtetéssel hangolja a szimuláció elemeit. Ellenőrzi, hogy a szimulált kameraképek illeszkednek-e a valós robot három kamerájának felvételeihez, valamint azt is, hogy a szimulált érintkezési erők és forgatónyomatékok időzítése, nagysága és iránya megfelel-e a rögzített tapintási adatoknak.

A bemutató alapján a hangolás kiterjedhet a tárgyak geometriájára, ütközési alakjára, tömegére, tehetetlenségére, súrlódására, csuklóira és kezdeti helyzetére. A robotparancsok módosítása csak azokban a képkockákban történhet, amelyekben a valós ujjvégek közel vannak egy tárgyhoz. A szimulációban a tárgyak csak a robot kezeivel és a környezettel létrejövő, valódi MuJoCo-érintkezés hatására mozdulhatnak el.

A robotikai fejlesztés több szintjén használható

A bejegyzés négy fő alkalmazási területet emel ki. Ezek a robotvezérlés, a valós környezetből szimulációba történő átültetés, a fizikai megértés, valamint a kutatás és az önfejlesztés. Az utóbbi területen Argon szimuláció segítségével javíthatja a cselekvéseket, illetve iteratív módon fejlesztheti a működését hardveren.

A felhasználók számára ez olyan robotikai munkafolyamatokat jelenthet, amelyekben a modell a feladat értelmezését, a mozgás megtervezését, a végrehajtás közbeni ellenőrzést és a szimulációs gyakorlást is összekapcsolja. A Google bemutatója alapján Argon különböző robotokkal, kameraképekkel, fizikai adatokkal és világmodellekkel dolgozik, miközben a feladatokat több lépésben, visszacsatolással oldja meg.