Az NVIDIA agentikus AI-val alakítaná át a grafikai és szimulációs munkát

A neural rendering és a fizikai AI kerültek a középpontba

Az idei SIGGRAPH konferencia július 23-ig tart Los Angelesben. Az NVIDIA július 20-i előadásán Neil Ashton, Edward Liu és Ming-Yu Liu, a vállalat kutatási és mérnöki vezetői, a neural rendering, a világmodellek és az AI számára készített szimulációk legújabb eredményeiről beszéltek.

Edward Liu, az NVIDIA alkalmazott mélytanulási kutatásért felelős igazgatója a 3D-vezérelt neural rendering lehetőségeit mutatta be. A vállalat kutatása három fő problémára összpontosít: a művészi szándék megőrzésére, a képkockák közötti időbeli stabilitásra, valamint a 4K-s tartalmak valós idejű megjelenítésére.

Neil Ashton az AI-alapú fizikáról beszélt, amelyet többek között időjárás-előrejelzésben, autóipari aerodinamikában és hőtechnikai tervezésben alkalmaznának. Az NVIDIA szerint az Earth-2 nyílt modellek a szimulációs adatokon betanított AI-modellekkel nagyobb felbontású szimulációkat tesznek lehetővé, miközben a pontosságuk eléri vagy meghaladja a hagyományos megközelítésekét.

Ashton szerint az NVIDIA Research és partnerei olyan modellarchitektúrákat fejlesztettek, amelyek a modell-ellenőrzőpontokat néhány száz megabájtra tömörítik. A vállalat ezt egymilliószoros tömörítésként írja le, amely fizikailag pontos vizualizációk elkészítését teszi lehetővé egy másodpercen belül.

A Cosmos 3 Edge helyben futó világmodell

Ming-Yu Liu a fizikai AI-rendszerek fejlesztését gyorsító NVIDIA Cosmos platform újdonságait ismertette. A Cosmos világmodellekből álló családja különböző fizikai feladatokhoz, köztük a világ megértéséhez, előrejelzéséhez, szimulációjához és a cselekvéshez használható. Az NVIDIA szerint a modellek közös alapot használnak, hogy ezeket a feladatokat egyaránt kezeljék.

A vállalat bemutatta a Cosmos 3 Edge modellt is. A 4 milliárd paraméteres modell valós időben, közvetlenül az eszközön való futtatásra készült. A Cosmos modelljei különböző méretekben érhetők el, így az NVIDIA többféle telepítési felhasználásra szánja őket.

Liu a Cosmos-Dreams nevű, zárt hurkú szimulátorokból álló gyűjteményt is bejelentette. A bemutatott autonóm járműszimulátor egyetlen képkockából teljes világot generált, és egyetlen NVIDIA RTX PRO 6000 GPU-n futott. A fejlesztők a rendszert modellek ellenőrzésére, illetve olyan AI-generált helyzetek létrehozására használhatják, amelyeket a valóságban nehéz lenne előállítani.

Az MCP összeköti az AI-ügynököket a kreatív alkalmazásokkal

Az NVIDIA szerint a vezető kreatív alkalmazások egyre több Model Context Protocol, röviden MCP-kapcsolatot nyitnak meg. Ezek lehetővé teszik, hogy az AI-ügynökök közvetlenül azokban az eszközökben dolgozzanak, ahol a jelenetek, beállítások, idővonalak, eszközök és vágások készülnek, miközben a kreatív döntések az alkotók kezében maradnak.

Egy MCP-kapcsolattal rendelkező eszközben az ügynök például ellenőrizheti a hiányzó textúrákat, jelezheti az eltérő színkezelést, exportváltozatokat készíthet, playblastokat generálhat a napi ellenőrzésekhez, vagy összevetheti a beállítást a munkafolyamat szabályaival.

Az NVIDIA Agent Toolkit MCP-integrációt is támogat. A csomagban MCP-kliens található távoli MCP-szerverekhez való kapcsolódáshoz, valamint MCP-szerver, amely eszközöket tesz közzé bármely MCP-kliens számára. Az NVIDIA RTX PRO munkaállomásokat, a DGX Sparkot és a DGX Station rendszereket olyan megoldásokként mutatta be, amelyek közelebb vihetik a helyi AI-futtatást a művészekhez, fejlesztőkhöz és stúdiók munkafolyamataihoz.

Az NVIDIA szerint a helyben futó modellek és ügynökök javíthatják a válaszidőt, csökkenthetik a külső szolgáltatásoktól való függést, és segíthetnek a bizalmas kreatív adatok ellenőrzött környezetben tartásában. Az Adobe, az Affinity by Canva és a Blender is olyan MCP-kapcsolatokat vagy MCP-kompatibilis munkafolyamatokat mutatott be, amelyek természetes nyelvű automatizálást adnak a kreatív feladatokhoz.