A LangChain és az NVIDIA vállalati AI-ügynökplatformot épít

Egy platform a fejlesztéstől az üzemeltetésig

A vállalatok a LangChain és az NVIDIA közös technológiai csomagjával AI-ügynököket építhetnek, telepíthetnek és felügyelhetnek éles környezetben. Az együttműködés részeként a LangChain csatlakozik a Nemotron Coalition nevű kezdeményezéshez is, amely nyílt, fejlett AI-modellek fejlesztését támogatja megosztott szakértelemmel, adatokkal és számítási kapacitással.

A platform a LangChain LangSmith ügynökmérnöki rendszerét és nyílt forráskódú keretrendszereit, a Deep Agentst, a LangGraphet és a LangChaint kapcsolja az NVIDIA Agent Toolkit eszköztárához. Ebbe beletartoznak az NVIDIA Nemotron modellek, a NeMo Agent Toolkit profilozási és optimalizációs funkciói, az NVIDIA NIM mikroszolgáltatásai, az NVIDIA Dynamo, valamint az önállóan működő ügynököket elkülönített környezetben futtató NVIDIA OpenShell.

A LangChain szerint a vállalati fejlesztőcsapatok gyakran hónapokat töltenek egyedi infrastruktúra kiépítésével. A közös platform célja ennek az időnek a csökkentése, hogy a csapatok gyorsabban juthassanak el a prototípustól a működő termékig.

Gyorsabb futtatás és vállalati telepítés

A LangGraph állapotőrző, több ügynököt kezelő futtatókörnyezetet kínál összetett vezérlési folyamatokhoz és emberi közreműködést igénylő munkamenetekhez. A Deep Agents ehhez feladat tervezést, alügynökök indítását, hosszú távú memóriát és kontextuskezelést ad. Az erre épülő NVIDIA AI-Q Blueprint egy teljes, vállalati mély kutatási rendszer, amely a közlemény szerint első helyen áll a mély kutatási referenciaértékeléseken.

A LangChain NVIDIA szoftvercsomag fordítási időben alkalmaz NVIDIA-optimalizált végrehajtási stratégiákat, így a fejlesztőknek nem kell módosítaniuk a csomópontok logikáját vagy a gráf éleit. A párhuzamos végrehajtás az egymástól független lépéseket egyszerre futtatja, a spekulatív végrehajtás pedig feltételes elágazások esetén párhuzamosan indítja el mindkét ágat.

Az NVIDIA szerint a NIM mikroszolgáltatások a hagyományos telepítésekhez képest akár 2,6-szor nagyobb áteresztőképességet biztosítanak felhős, helyszíni és hibrid környezetekben. A NeMo Agent Toolkit hitelesítést, sebességkorlátozást és hibakereső felületet is kínál. A fürtméretezési kalkulátor a terhelés alatti profilozás alapján segít megbecsülni a szükséges hardvert egy felhasználótól több ezer párhuzamos munkamenetig.

Megfigyelhetőség, biztonság és modellértékelés

A LangSmith több mint 15 milliárd nyomkövetési eseményt és 100 billió tokent dolgozott fel. A rendszer elosztott nyomkövetést, költség- és késleltetésfigyelést, valamint az ismétlődő használati mintákat és hibamódokat automatikusan kereső Insights Agentet kínál. A Polly természetes nyelvű hibakeresést és promptmérnöki támogatást ad, a LangSmith CLI pedig a nyomkövetési adatok kezelésére használható.

A NeMo Agent Toolkit infrastruktúraszintű adatai, például a tokenhasználat, az időzítés és az áteresztőképesség, közvetlenül exportálhatók a LangSmithbe. Így egy felületen jelenhet meg az infrastruktúra profilozása és az alkalmazásszintű nyomon követés. Az NVIDIA NeMo Guardrails a LangChainnel együttműködve tartalombiztonsági és szabályozási korlátok beállítását is lehetővé teszi.

A két rendszer az ügynökök teljes életciklusának értékelését támogatja. A LangSmith emberi felülvizsgálatot, nyelvi modellel végzett bírálatot, páros összehasonlítást és folyamatos integrációs teszteket kínál. A NeMo Agent Toolkit RAG-specifikus értékelőkkel, ügynök-útvonalak elemzésével, valamint hiperparaméter- és promptoptimalizálóval egészíti ki ezeket.

A fejlesztők ugyanazt az ügynököt a Nemotron 3 Nano, a 30B, illetve 3B aktív paraméterrel, a Super, körülbelül 100B, illetve 10B aktív paraméterrel, és az Ultra, körülbelül 500B, illetve 50B aktív paraméterrel rendelkező modelleken is összevethetik. Így a pontosság, a késleltetés és a költség közötti kompromisszumokat mérhetik fel.

Elérhetőség és a következő fejlesztési irány

A LangChain és az NVIDIA integrációja a bejelentés szerint már elérhető. A LangGraph és a LangChain keretrendszer nyílt forráskódú, a LangSmith a smith.langchain.com oldalon érhető el, a NeMo Agent Toolkit pedig a GitHubon található meg. A Nemotron 3 Nano és Super modellek Hugging Face-en, NVIDIA NIM mikroszolgáltatásokon keresztül használhatók. A Nemotron 3 Ultra megjelenését 2026 első felére várják.

Az együttműködés későbbi célja, hogy a Deep Agents GPU-gyorsított, NVIDIA CUDA-X könyvtárakra épülő számítási környezetekben is fusson. A közlemény szerint ez nagy méretű strukturált adatok feldolgozását és petabájtos adattisztítást is támogathat olyan eszközökkel, mint az NVIDIA cuDF és a NVIDIA NeMo Curator.

A LangChain a Nemotron Coalition tagjaként adatokkal, értékelési keretrendszerekkel és utótréninggel járulhat hozzá a nyílt alapmodellek fejlesztéséhez. A vállalat szerint az együttműködés olyan modellek és eszközök kialakítását célozza, amelyek a gyártási környezetben működő AI-ügynökök megbízható eszközhasználatát, hosszú feladatok kezelését és koordinációját támogatják.