Az InstructMesh kijavítja az AI által generált 3D modelleket
Az InstructMesh olyan 3D modelleket készít, amelyeket a felhasználók természetes nyelvű utasításokkal és kijelölésekkel javíthatnak a nyomtatás előtt. Az MIT, a Google és a Northeastern University kutatói szerint az eszköz a kezdőknek is segít kiszűrni a szerkezeti hibákat.
- Az InstructMesh természetes nyelvű utasításokkal és kijelölésekkel javítja a 3D modelleket.
- A rendszer a Microsoft TRELLIS és a GPT-4 képességeit kapcsolja össze.
- A Thingiverse modelljeinek újragenerálásakor csaknem 80 százalékban találtak szerkezeti hibát.
- A kezdő felhasználók a hibák azonosítását és javítását körülbelül 90 százalékos arányban végezték el sikeresen.
- A kutatók fizikaiszimulációkkal és kiterjesztett valóságra épülő használattal bővítenék az eszközt.
A látvány önmagában kevés
Az MIT Computer Science and Artificial Intelligence Laboratory, a Google és a Northeastern University kutatói olyan problémára kerestek megoldást, amely az AI által készített, 3D nyomtatásra szánt modelleknél gyakran felmerül. A generatív modellek képesek megérteni, hogyan nézzen ki egy tárgy, azt azonban nem feltétlenül tudják, hogyan működjön.
Ennek következménye lehet például egy olyan bögre, amely látványos, de nem alkalmas kávé tárolására. A meglévő modellek javítása ráadásul különösen nehéz lehet azoknak, akiknek nincs tapasztalatuk a 3D-tervezőprogramok használatában.
Az InstructMesh ezt a folyamatot egyszerűsíti. A felhasználó szöveges utasítással létrehozhat például egy szemüveget, majd kijelölheti a terv azon részeit, amelyeket módosítani szeretne. A rendszer ezután értelmezhető geometriai változtatásokat készít, amelyeket a felhasználó még a 3D nyomtatás előtt ellenőrizhet.
TRELLIS és GPT-4 együtt dolgozik
Az InstructMesh a Microsoft TRELLIS rendszerét kapcsolja össze a GPT-4 nagy nyelvi modellel. A TRELLIS szöveges és képi utasításokból készít 3D modelleket, a GPT-4 pedig a nyelvi értelmezésben és a felhasználói kérések feldolgozásában segít.
Az MIT közlése szerint a kutatók ezzel a 3D-generálás képességeit és a nagy nyelvi modellek következtetési készségeit akarták interaktív felületbe rendezni. A rendszerrel olyan tárgyakat készítettek, mint egy sárkánnyal körülölelt bögre, amelynél a sárkány farka tölti be a fül szerepét, egy kagylóra emlékeztető, fényes kék síp, valamint pillangószárnyakkal kiegészített szemüveg.
A kutatók egy polipszerű adagolót is létrehoztak, amelynek minden csápjából folyadék áramolhat több pohárba. Az InstructMesh használatával egy páciens farmernadrágjához illeszkedő, farmeranyag hatását keltő térdrögzítőt is készítettek. Robotok burkolatának tervezésére szintén kipróbálták a rendszert. Egy színes garnélára hasonlító, belső motorral működő bristle bot a bekapcsolása után felületeken csúszik.
A kezdők a hibák nagy részét megtalálták
A kutatók azt is vizsgálták, hogy az InstructMesh mennyire használható olyanok számára, akik korábban nem készítettek 3D modellt. Ehhez a TRELLIS rendszerrel a Thingiverse platformon található népszerű, 3D nyomtatható modelleket hoztak létre újra. A generált modellek csaknem 80 százalékánál valamilyen szerkezeti hibát találtak.
Ezután kezdő felhasználókat kértek meg arra, hogy az InstructMesh segítségével azonosítsák és javítsák ezeket a problémákat. Szakértői értékelés alapján a résztvevők mindkét feladatot az esetek körülbelül 90 százalékában sikeresen végezték el. A tesztelők telefonállványokhoz és vázákhoz hasonló tárgyakat is készítettek, és könnyen használhatónak találták az eszközt.
A felhasználók természetes nyelven írhatták le az elképzeléseiket, a csúszkák pedig pontosabb módosításokat tettek lehetővé, például egy modellrész megnagyobbítását vagy meghosszabbítását. Az MIT szerint a résztvevők olyan tárgyakat kaptak, amilyeneket kértek, és a kész darabok a tervezett módon működtek.
A kutatók további irányokat vizsgálnak
Faraz Faruqi, a projekt vezető szerzője jelenleg a Google-nél dolgozik, ahol az InstructMesh egy kiterjesztett valóságra épülő platformba is bekerülhet. Az elképzelés szerint a felhasználó a környezetére vonatkozó információk alapján adhatna utasítást, a rendszer pedig gyorsan elkészíthetné a kívánt tárgyat, például egy pénztárcához illő telefontokot.
A kutatók fizikaiszimulációk beépítését is tervezik. Ezek segítségével vizsgálható lenne, hogyan reagál egy modell bizonyos használati helyzetekre, például eltörik-e egy tál, ha leejtik, illetve milyen anyag lehet megfelelőbb hozzá. A szoftver a TRELLIS.2 rendszert is felhasználhatná a 3D modellek kisebb részleteinek finomítására.
Az InstructMesh-ről szóló tanulmányt novemberben mutatják be az ACM Symposium on User Interface Software and Technology rendezvényén. A projektet részben a Google és az MIT-HPI Collaborative Research Program támogatta.
