A MolmoAct 2 egy hangvezérelt robot hackathonprojektjét hajtotta
A MolmoAct 2 egy San Franciscó-i robotikai hackathon győztes projektjének alapja lett. A LiveKit mérnöke, Binh Pham olyan hangvezérelt robotot épített, amely a modell megfigyelései alapján, előzetesen nem betanított feladatokat is végrehajtott.
- A MolmoAct 2-re épülő robot nyerte a South Park Commons San Franciscó-i hackathonját.
- Binh Pham hangvezérléssel kapcsolta a modellt a robothoz.
- A robot előzetesen nem betanított feladatokat is végrehajtott.
- A modell felismerte a tárgyakat, és megfigyeléseit a cselekvések irányítására használta.
- A kiadás modell-súlyokat, adatokat, tanítási kódot és finomhangolási szkripteket is tartalmaz.
Tíz nappal a megjelenés után már hackathonon szerepelt
Az Ai2 beszámolója szerint a MolmoAct 2 mindössze tíz napja volt nyilvános, amikor május 15-én elkezdődött a South Park Commons embodied AI hackathonja San Franciscóban. A hétvégi esemény győztes pályaműve egy, a MolmoAct 2-re épülő, hangvezérelt robot lett, amelyet Binh Pham, a LiveKit robotikai szoftvermérnöke készített.
Pham a modellt hangvezérlésű rendszerhez kapcsolta, majd olyan feladatokat adott a robotnak, amelyek végrehajtására a MolmoAct 2-t nem képezték ki célzottan. A mérnök szerint a rendszer használata azért volt figyelemre méltó, mert a robot nemcsak felismerte az előtte lévő tárgyakat, hanem a megfigyeléseit a cselekvései irányítására is felhasználta.
A modell a környezet értelmezésétől jut el a cselekvésig
Pham szerint a robotikai tanulás egyik legnehezebb része, hogy a rendszer összekapcsolja az utasítást a robot előtt látható jelenettel, következtessen a tárgyak helyére, majd a hardver számára értelmes műveleteket állítson elő. A MolmoAct 2 esetében azt tapasztalta, hogy a modell jól azonosítja a tárgyakat, és erős térbeli tájékozódást mutat.
„A modellnek valóban nagyon jó a térbeli érzékelése”, idézi Phamot az Ai2. A mérnök hozzátette: „A MolmoAct 2 nagyon jól képes azonosítani a tárgyakat.” Pham azt is elmondta, hogy amikor látta, hogy a rendszer működik, hangosan felkiáltott: „Hűha, ez tényleg működik?”
A beszámoló szerint a modell általánosítási képessége különösen fontos volt a projektben. Pham úgy fogalmazott, hogy először látott olyan modellt, amelyet nem az általa megadott feladatokra tanítottak, mégis képes volt ezeket végrehajtani. Szerinte a MolmoAct 2 a robotikában azt az általános célú viselkedést mutatja, amelyet a kutatók évtizedek óta próbálnak elérni.
A teljes fejlesztési csomag elérhető
Az Ai2 szerint a MolmoAct 2-höz nemcsak egyetlen modellállomány érhető el. A kutatók és fejlesztők hozzáférnek a modell súlyaihoz, az adatokhoz, a tanítási kódhoz és a finomhangolási szkriptekhez is. Ezeket a komponenseket a szervezet olyan eszközökként mutatja be, amelyekkel a modellt meg lehet vizsgálni, át lehet alakítani és testre lehet szabni.
A modell súlyai a Hugging Face-en tölthetők le, a tanítási kód és a finomhangolási szkriptek pedig a GitHubon találhatók. Az Ai2 külön kiadási bejegyzést is ajánl a MolmoAct 2 részletesebb megismeréséhez.
Pham szerint az ilyen hozzáférés fontos a közösség számára. „Valóban ezt a fajta általánosítást keressük a nyílt modellekben”, mondta, majd a MolmoAct 2 megjelenését a robotika „GPT-2-pillanatához” hasonlította. Az Ai2 értelmezésében a teljes fejlesztési csomag azért teszi hasznosabbá a kiadást egyetlen modell-ellenőrzőpontnál, mert a robotikai rendszereket így könnyebb lehet megvizsgálni, reprodukálni és továbbépíteni.
