Egyetlen videóból tanulhat új feladatokat a Skild AI robotmodellje

Videó mint utasítás a robotnak

A gyártósorok, raktárak és termelési környezetek gyakran változnak, miközben a legtöbb robot jelentős újraprogramozás nélkül nehezen alkalmazkodik. A 2026. szeptember 10-én közzétett NVIDIA-blogbejegyzés szerint a Skild AI S1 nevű robot alapmodellje erre kínál megoldást: egyetlen videós bemutatóból próbálja megérteni és végrehajtani a korábban nem látott, hosszabb feladatokat.

Az S1 a videót bemenetként használja, és a feladatot a modell súlyainak módosítása, illetve feladatspecifikus utótanítás nélkül értelmezi. Ezt a megközelítést a forrás kontextuson belüli tanulásnak nevezi. A működés lényege, hogy az operátor felveszi a kívánt feladatot, majd ezt adja meg a modellnek promptként. Az S1 értelmezi a bemutatott szándékot, az objektumokat és a lépések sorrendjét, majd mindezt a robot számára végrehajtható műveletekké alakítja.

Deepak Pathak, a Skild AI társalapítója és vezérigazgatója az NVIDIA közlése szerint így fogalmazott: „A tapasztalatból való tanulás, és nem az előre programozás, az a lépésváltás, amely a robotikában megtörtént.” Hozzátette, hogy az NVIDIA Isaac Lab és az NVIDIA Cosmos technológiái segítenek a Skildnek olyan skálázható és változatos tapasztalatokat létrehozni, amelyekre a robotoknak sokféle helyzetben és testfelépítésben szükségük van.

Többlépéses feladatok és gyári próba

Az NVIDIA szerint az S1 akár 10 percig tartó, ismeretlen feladatokat is képes végrehajtani. A példák között szerepel növények cserépbe ültetése, palacsintakészítés, filteres kávé készítése és készlet-összeállítás. Ezek a feladatok több tucat manipulációs lépésből állhatnak, és olyan készségek egymás utáni kombinálását igénylik, amelyeket a robot korábban nem ebben a sorrendben hajtott végre.

Egy növényültetési tesztben a Skild AI csapata a bemutató rögzítésétől az önálló hardveres végrehajtásig 11 perc alatt jutott el. A forrás szerint a modell akkor is képes alkalmazkodni, ha tárgyak elmozdulnak, hibákból is vissza tud térni, és olyan készségsorozatokat is össze tud kapcsolni, amelyeket nem programoztak be kifejezetten.

A Skild tesztjeiben az S1 új, több lépésből álló feladatoknál lépésenként körülbelül 66 százalékos sikerarányt ért el, míg egy hasonló AI-rendszer 9 százalékot. Ez az NVIDIA megfogalmazása szerint több mint hétszeres javulás. A Skild becslése alapján egy rövid videós példa nagyjából annyit érhet, mint körülbelül 380 kézi betanítási példa, amelyek manuális összegyűjtése 50 és 100 óra közötti időt vehetne igénybe.

A technológia már gyári környezetben is megjelent. A Skild, az NVIDIA és a Foxconn a Skild Brain rendszert kétkarú manipulátorokon alkalmazza NVIDIA Blackwell rendszerek nagy pontosságú összeszereléséhez. Egy bemutatott munkafolyamatban a robot busbart és limit block alkatrészt szerel be, 16 csavart rögzít, és a több lépésből álló feladat közben zavarásokhoz is alkalmazkodik.

NVIDIA technológia a fejlesztési láncban

A Skild az S1 fejlesztését és kutatását NVIDIA AI infrastruktúrán végezte. Az együttműködés a szintetikus adatok előállítására, a modellképzésre, a szimulációra és a valós fizikai AI telepítésére is kiterjed. Az NVIDIA gyorsított számítástechnikai megoldásai a forrás szerint skálát adnak a Skild közös robotagyának betanításához, szimuláció, emberi videó, teleoperáció és, ahol ez megengedett, telepítési adatok felhasználásával.

Az NVIDIA Cosmos nyílt világ alapmodelljei a tréningadatok változatosabbá tételében és a videók strukturált leírásokká alakításában segítenek, a Cosmos Curator pedig az adatok annotálását, szűrését és rendszerezését támogatja nagy léptékben. A Skild az NVIDIA nyílt szimulációs keretrendszereit is használja a robotagy tanítására és validálására, mielőtt valós környezetbe kerülne.

Az NVIDIA Omniverse könyvtárak és az NVIDIA Isaac Sim keretrendszer fizikailag megalapozott virtuális környezeteket biztosítanak adatgeneráláshoz, szélső esetek teszteléséhez és viselkedések validálásához. A Skild az Isaac Lab moduláris robot tanulási keretrendszerben megerősítéses tanulással erősíti a rendszer képességeit. Az Isaac Lab a Newton fizikai motorra épül, amely az NVIDIA szerint segít a különböző fizikai paraméterek, például erők, érintkezés, ütközés és nyomás modellezésében, valamint a szimuláció és a valóság közötti különbség csökkentésében.

A Skild és az NVIDIA új, GPU-gyorsított szimulációs megoldókat is közösen fejleszt, amelyek azt modellezik, hogyan érintenek, fognak meg és manipulálnak szilárd tárgyakat a robotok. Ezeket a forrás szerint hamarosan minden fejlesztő számára elérhetővé teszik a Newton részeként. A gyártás felé haladva az NVIDIA Nsight eszközök a tanítás közbeni teljesítményszűk keresztmetszetek megtalálását, az NVIDIA TensorRT szoftverfejlesztő készlet pedig az inferencia optimalizálását segíti, hogy a robotok gyorsan reagálhassanak a fizikai világban.

Mit jelenthet ez a felhasználóknak és a piacnak

Az S1 jelentősége a forrás alapján abban áll, hogy a robotok betanítása közelebb kerülhet a mindennapi üzemeltetők munkamódszeréhez. Ahelyett, hogy minden új termékhez, folyamathoz vagy elrendezéshez új adathalmazra és tanítási futásra lenne szükség, az operátor közvetlenül bemutathatja a feladatot videón.

Ez különösen olyan környezetekben lehet fontos, ahol a feladatok, az elrendezések és a termékek gyakran változnak. A Skild már több mint 60 telepítési partnerséget épített ki gyártás, logisztika, ellenőrzés, biztonság, ételkészítés és más alkalmazások területén. A vállalat az első kereskedelmi telepítése után 10 hónappal 100 millió dolláros éves bevételi ütemet ért el az NVIDIA közlése szerint.

A forrás azt is jelzi, hogy ahol az ügyfélmegállapodások engedik, a kereskedelmi telepítések tapasztalatai a szélesebb modell fejlesztését is segíthetik, és gyorsíthatják a későbbi bevezetéseket. A hír így nem csak egy kutatási eredményről szól, hanem arról is, hogy a Skild, az NVIDIA és partnereik a laborból gyári környezetekbe próbálják átvinni az alkalmazkodó robotintelligenciát.