Öt perc videóból tanulhatnak összetett feladatokat a robotok

A robotoknak a változó környezethez is alkalmazkodniuk kell

A mindennapi használatra szánt robotoknak ellenőrzött környezeteken kívül is működniük kell. Ehhez fel kell ismerniük, ha megváltoznak a körülmények, kezelniük kell a hibákat, és biztonságosan kell együttműködniük az emberekkel és a környezetükben lévő tárgyakkal.

Nadia Figueroa, a Penn Engineering gépészmérnöki és alkalmazott mechanikai tanszékének Shalini and Rajeev Misra Presidential Assistant Professora olyan megközelítést kutat, amely a robotok tanítását nem kizárólag egyre nagyobb adathalmazokra építi. A módszer a mozgás fizikáját, a robot testének térbeli mozgását és az ezeket meghatározó korlátokat is figyelembe veszi.

Figueroa szerint a cél olyan rendszerek létrehozása, amelyek hatékonyan, biztonságosan és skálázható módon tanítják a robotokat az emberi interakciókra.

A SymSkill több lépésből álló feladatokat tanít

A SymSkill: Symbol and Skill Co-Invention for Data-Efficient and Reactive Long-Horizon Manipulation nevű kutatás azt vizsgálja, hogyan lehet az egyedi mozdulatokból összetett feladatokat felépíteni. A rendszer két szintet kapcsol össze. Az első a feladat lépéseinek sorrendjét és az objektumok közötti kapcsolatokat kezeli, a második azt határozza meg, hogyan hajtsa végre fizikailag a robot az adott mozdulatot.

Egy banán lefedett serpenyőből tányérra helyezésénél az első szint például meghatározza, hogy először a fedelet kell eltávolítani, ezután fel kell venni a banánt, végül a tányérra kell helyezni. Ha egy ember elmozdítja a fedelet, a rendszer újratervezheti a feladatot. A dinamikus rendszerekre épülő második szint a mozdulatok végrehajtásában segít, és akkor is reagál, ha valaki a robot útjába kerül.

A kutatók szerint a SymSkill mindössze öt perc videóbemutatóból tanulja meg az egyedi készségeket, majd ezeket új kombinációkban is felhasználja. Szimulációban és valódi roboton is tesztelték, ahol a rendszer legfeljebb 12 lépésből álló feladatokat teljesített további bemutatók nélkül. A robot egy sikertelen lépés vagy emberi beavatkozás után is képes volt helyreállni.

A robot korábbi mozdulataiból térképet épít

A másik bemutatott kutatás, a Zero-Shot Generalization from Motion Demonstrations to New Tasks, a már megtanult mozgások újrafelhasználásával csökkenti az új tanítások szükségességét. A kutatók, köztük Kilian Freitag és Alvin Combrink, azt vizsgálták, hogy egy közös munkatérben megtanult mozdulatokból létrehozható-e útvonalterv olyan célokhoz is, amelyeket a robot korábban nem látott.

A módszer egy Gaussian Graph nevű struktúrát használ. A különböző feladatok bemutatóit kisebb mozgástartományokra bontják, amelyek a gráf pontjaivá, úgynevezett csúcsaivá válnak. Ezek összekapcsolásával a robot olyan útvonalat is megtalálhat két hely között, amelyet nem mutattak be neki közvetlenül.

A kutatók szerint a robot a megtanult mozdulatokat közvetlen útvonallá kombinálhatja, vagy több mozdulatot összefűzve összetettebb feladatot végezhet el. Ha közben megváltozik valami, a mozgását módosíthatja, miközben megtartja az eredeti célt.

A két megközelítés a fizika, a matematika és a számítástechnika módszereit kapcsolja össze. A kutatók a következő lépések között a nyelvi modellek bevonását, a kétkarú és humanoid robotok alkalmazását, valamint a tárgyakat mozgató, közben térben navigáló robotok fejlesztését vizsgálják. A SymSkill elnyerte a 2026-os IEEE International Conference on Robotics and Automation Planning and Control kategóriájának Best Paper Award díját, a kapcsolódó munka pedig a 2025-ös Conference on Robot Learning LEAP Workshop Best Paper Award elismerését kapta.