Az InstructMesh kijavíthatóvá teszi az AI által generált 3D modelleket
Az InstructMesh nevű eszköz AI által generált 3D modelleket készít, amelyek kijelölt részei természetes nyelvű utasításokkal és csúszkákkal módosíthatók. Az MIT, a Google és a Northeastern University kutatói szerint a rendszer laikusoknak is segíthet működő tárgyakat tervezni és 3D nyomtatni.
- Az InstructMesh AI által generált 3D modellek javítását segíti.
- A rendszer a Microsoft TRELLIS-t és a GPT-4-et kapcsolja össze.
- A modellek csaknem 80 százalékánál találtak szerkezeti hibát a tesztben.
- A kezdő felhasználók körülbelül 90 százalékos arányban ismerték fel és javították a hibákat.
- A fejlesztés AR-platformmal, fizikai szimulációkkal és a TRELLIS.2-vel bővülhet.
A látványos tárgy még nem feltétlenül használható
A generatív mesterséges intelligencia jól felismeri, hogyan kell kinéznie egy tárgynak, azt viszont kevésbé, hogyan működik. Emiatt egy AI által készített bögre például olyan kialakítású lehet, hogy nem tartja meg a kávét. A modellek javítása ráadásul általában nehéz, különösen azoknak, akik még nem dolgoztak 3D tervezőszoftverekkel.
Az MIT Computer Science and Artificial Intelligence Laboratory, a Google és a Northeastern University kutatói ezt a problémát célozzák az InstructMesh megközelítéssel. A felhasználó először szöveges vagy képi utasítással létrehozhat egy modellt, majd kijelölheti a terv azon részeit, amelyeket finomítani szeretne, mielőtt a tárgyat kinyomtatná.
A rendszerrel készítettek többek között sárkánnyal körülölelt bögrét, amelynél a sárkány farka tölti be a fül szerepét, kagylóra emlékeztető, fényes kék sípot, valamint pillangószárnyakkal díszített szemüveget. Egy polipszerű adagoló több pohárba is képes folyadékot juttatni a kutatók bemutatója szerint.
A TRELLIS és a GPT-4 képességeit kapcsolja össze
Az InstructMesh a Microsoft TRELLIS rendszerét párosítja a ChatGPT mögött álló GPT-4 nagy nyelvi modellel. A TRELLIS szöveges és képi utasításokból hoz létre 3D modelleket, míg a GPT-4 a nyelvi értelmezésben és a módosítások megfogalmazásában segít.
„A 3D-generátorok tehetségét és a nagy nyelvi modellek következtetési képességeit szerettük volna egy interaktív térben egyesíteni, hogy olyan tárgyakat készítsünk, amelyeket az emberek valóban szeretnének”, mondta Faraz Faruqi, a projektet bemutató tanulmány vezető szerzője. A kutató szerint a nyelvi modellek a szövegekben és képekben erősek, a TRELLIS pedig a 3D modellek készítésében.
Az eszközt nemcsak hétköznapi tárgyakhoz használták. A kutatók farmeranyag hatását utánzó térdrögzítőt is készítettek, valamint egy színes garnélára emlékeztető „bristle botot”. A robot burkolata egy motort rejt, bekapcsolás után pedig a felületen csúszik, hasonlóan egy felhúzható játékhoz.
A laikusok is felismertek és kijavítottak hibákat
A kutatók azt is vizsgálták, hogy az InstructMesh használható-e 3D modellezési tapasztalat nélkül. Ehhez a Thingiverse platformon található, népszerű nyomtatható modelleket a TRELLIS segítségével újra létrehozták. Az így generált modellek csaknem 80 százalékánál találtak valamilyen szerkezeti hibát.
Ezután kezdő felhasználókat kértek meg arra, hogy az InstructMesh segítségével ismerjék fel és javítsák ezeket a problémákat. Szakértői ellenőrzés alapján a résztvevők mindkét feladatot az esetek körülbelül 90 százalékában elvégezték.
A felhasználók telefontartóhoz és vázához hasonló tárgyakat is készítettek. A visszajelzések szerint az eszköz könnyen használható, a csúszkák pedig pontosabb módosításokat tesznek lehetővé, például egy modellrész megnagyobbítását vagy kiemelését. Faruqi megfogalmazása szerint „amit láttak, azt kapták, és a tárgyak a rendeltetésüknek megfelelően működtek”.
A következő lépés a környezethez igazodó tervezés lehet
Faruqi jelenleg a Google-nél dolgozik, ahol az InstructMesh egy kiterjesztettvalóság-platformba való beépítését is vizsgálhatja. Az elképzelés szerint a felhasználó a környezetére hivatkozva mondaná el, mire van szüksége, a rendszer pedig gyorsan létrehozná és 3D-ben kinyomtatná a tárgyat, például egy pénztárcához illő telefontokot.
A kutatók később fizikai szimulációkkal is bővítenék a szoftvert. Ezek azt modellezhetnék, hogyan viselkedik egy terv használat közben, például eltörik-e egy tál, ha leejtik, illetve mely anyagok lehetnek alkalmasabbak hozzá. A fejlesztésbe a TRELLIS.2 újabb változata is bekerülhet, hogy a rendszer kisebb 3D-s részleteket is pontosabban finomítson.
Az InstructMesh tanulmányát a kutatók novemberben mutatják be az ACM Symposium on User Interface Software and Technology konferencián. A munkát részben a Google és a MIT-HPI Collaborative Research Program támogatta.
