Az InstructMesh kijavítja az AI által készített 3D modelleket
Az InstructMesh nevű rendszerrel a felhasználók AI segítségével készíthetnek 3D modelleket, majd kijelölhetik és természetes nyelven módosíthatják a hibás részeket. Az MIT, a Google és a Northeastern University kutatói szerint az eszköz kezdők számára is megkönnyíti a tárgyak 3D nyomtatásra való előkészítését.
- Az InstructMesh AI-val létrehozott 3D modellek javítását teszi lehetővé.
- A rendszer a Microsoft TRELLIS és a GPT-4 képességeit kapcsolja össze.
- A Thingiverse-modellek újragenerált változatainak csaknem 80 százaléka hibás volt.
- A kezdő felhasználók a hibákat és a javításokat körülbelül 90 százalékos arányban azonosították helyesen.
- A fejlesztők AR-platformba és fizikai szimulációkba is beépítenék a technológiát.
A látványos modell még nem feltétlenül működőképes
A generatív AI-rendszerek képesek felismerni, hogyan néz ki egy tárgy, de gyakran nem értik, hogyan kell annak működnie. Emiatt egy AI által készített bögre például látványos lehet, mégsem biztos, hogy megtartja a kávét. A hibák kijavítása ráadásul a hagyományos 3D-tervező eszközökben komoly szaktudást igényelhet.
Az InstructMesh ezt a folyamatot alakítja át. A felhasználó szöveges utasítással létrehozhat például egy szemüveget vagy egy bögrét, majd a tervrajz egyes részeinek kijelölésével kérhet finomításokat. A rendszer az így kapott módosításokat a modell geometriáján hajtja végre, a felhasználó pedig még a 3D nyomtatás előtt ellenőrizheti az eredményt.
A TRELLIS és a GPT-4 együtt dolgozik
Az InstructMesh a Microsoft TRELLIS rendszerét kapcsolja össze a GPT-4 nagy nyelvi modellel. A TRELLIS szöveges és képi utasításokból készít 3D modelleket, míg a GPT-4 a nyelvi értelmezésben és a felhasználói kérések feldolgozásában segít. A kutatók szerint a vizuális és szöveges tudás kombinációja teszi lehetővé, hogy az eszköz a különlegesebb ötleteket is kezelje.
Az MIT CSAIL kutatói több kreatív példát is készítettek. Létrehoztak egy sárkánnyal körülölelt bögrét, amelynél a sárkány farka szolgál fogantyúként, egy kagylóra hasonlító, fényes kék sípot, valamint pillangószárnyakkal díszített szemüveget. Egy polipszerű adagoló több pohárba képes folyadékot juttatni a csápjain keresztül.
Az eszközt funkcionális tárgyakon és robotokon is kipróbálták. Készült például farmeranyag hatását keltő térdrögzítő, illetve egy színes garnélára hasonlító bristle bot. Utóbbiban egy motor rejtőzik, amely bekapcsolás után a játékokhoz hasonlóan végigcsúsztatja a szerkezetet a felületeken.
A kezdők is felismerhetik és javíthatják a hibákat
A kutatók azt is vizsgálták, hogy az InstructMesh használható-e korábbi 3D-modellezési tapasztalat nélkül. Ehhez a Thingiverse platformon található népszerű, 3D nyomtatható modelleket generáltatták újra a TRELLIS rendszerével. A létrehozott modellek csaknem 80 százaléka valamilyen szerkezeti hibát tartalmazott.
Ezután kezdő felhasználókat kértek meg a hibák felismerésére és kijavítására. Szakértői ellenőrzés alapján mindkét feladatot az esetek körülbelül 90 százalékában sikeresen elvégezték. A résztvevők telefontartókat és vázákat is készítettek, és könnyen használhatónak találták a rendszert. A szöveges utasítások mellett csúszkákkal is pontosíthatták például egy modellrész nagyítását vagy kihúzását.
Az InstructMesh fejlesztését az MIT Computer Science and Artificial Intelligence Laboratory, a Google és a Northeastern University kutatói végezték. Munkájukat részben a Google és az MIT-HPI Collaborative Research Program támogatta. A kutatók novemberben mutatják be a projektet az ACM Symposium on User Interface Software and Technology konferencián.
A projekt vezető szerzője, Faraz Faruqi szerint a következő lépések között szerepelhet az InstructMesh beépítése egy kiterjesztettvalóság-platformba. A cél az lenne, hogy a rendszer a környezet alapján értelmezze a kérést, majd gyorsan elkészítsen például egy pénztárcához illő telefontokot. A kutatók fizikai szimulációkat is hozzáadnának, amelyek megmutathatják, hogyan viselkedik egy tárgy használat közben, és milyen anyag lehet hozzá megfelelő.
MIT Schwarzman College of Computing: New tool lets users repair AI-generated 3D models, then fabricate them just the way they want
