A deepset bővíti a Haystack platformot az AI-ügynökök költségkontrolljához
A deepset kibővítette a Haystack Enterprise Platformot, hogy egyetlen rendszerben kapcsolja össze az AI-ügynökök fejlesztését, éles futtatását, megfigyelését és optimalizálását. A vállalat szerint a platformmal a szervezetek követhetik az ügynökök viselkedését és költségeit, majd ezek alapján javíthatják a modelleket, a kontextust, az eszközöket és a munkafolyamatokat.
- A Haystack Enterprise Platform fejlesztési és termelési funkciókat kapcsol össze.
- A nyomkövetés az ügynökök működésének és hibáinak vizsgálatát támogatja.
- A költségjelentések modell, ügynök, szolgáltatás és munkaterület szerint bontanak.
- A platform menedzselt, szuverén felhős és saját infrastruktúrán is telepíthető.
- A deepset későbbre értékelési és automatizált optimalizálási javaslatokat tervez.
A fejlesztéstől az éles működésig
A bejelentés az NVIDIA GTC Berlin 2026 rendezvényen hangzott el, a deepset október 28-i közleménye szerint. A Haystack Enterprise Platform négy, egymáshoz kapcsolódó területet fog össze: az ügynökök fejlesztését és futtatását, a termelési nyomkövetést és költségadatokat, az optimalizálást, valamint az irányítást.
A platform nyílt forráskódú Haystackre épül. A csapatok munkafolyamatokat tervezhetnek és tesztelhetnek, modelleket kapcsolhatnak vállalati adatokhoz és eszközökhöz, továbbá megvizsgálhatják azokat az összetevőket, amelyek meghatározzák egy ügynök viselkedését. Ide tartozik a kapott kontextus, az elérhető eszközök, a memória, valamint az utasítások és korlátozások rendszere.
A moduláris felépítés lehetővé teszi a modellek, a keresési stratégiák és más komponensek cseréjét anélkül, hogy az alkalmazást újra kellene építeni.
Nyomkövetés, költségjelentések és stabil végpontok
Az új termelési képességek között szerepel az ügynökök futásának nyomkövetése. Ezzel a fejlesztők megvizsgálhatják az egyes végrehajtásokat, és utánajárhatnak a hibáknak vagy a váratlan működésnek. A költségjelentések a mesterséges intelligenciára fordított kiadásokat modell, ügynök, szolgáltatás és munkaterület szerint bontják le, akár az egyes nyomkövetések mellett is.
Az adatok alapján a csapatok felderíthetik, mely ügynökök vagy modellek felelősek a legnagyobb kiadásokért, hol fordulnak elő felesleges végrehajtási lépések, illetve hogy a kontextus, a keresés, a modellválasztás vagy az eszközhasználat módosítása javíthatja-e a hatékonyságot. A deepset későbbre tervezi az értékeléseket és az automatizáltabb optimalizálási javaslatokat. Ezekkel a modell- és ügynök-keretbeli változtatásokat költség- és minőségi célok alapján lehetne tesztelni. A vállalat szerint idővel a rendszer termelési adatok alapján fejlesztéseket is javasolhat, de a bevezetéshez emberi jóváhagyásra lenne szükség.
A csapatok verziókezelt ügynököket tehetnek közzé stabil szolgáltatási végpontokon. Így az alkalmazások ugyanazt a végpontot hívhatják akkor is, ha a mögöttes ügynök frissül. A szerver nélküli futtatás a terheléshez igazítja a végrehajtási erőforrásokat, dedikált infrastruktúra külön-külön történő kezelésének szükségessége nélkül.
Szuverén infrastruktúra és szervezeti irányítás
A platform vezérlési síkja és átjáróalapú architektúrája a több ügynököt működtető szervezetek közös hozzáférési, használati és vállalati rendszerekkel való kapcsolati szabályait támogatja. A megosztott irányítási funkciók között szerepel a szerepköralapú hozzáférés-vezérlés, a munkaterületek kezelése és az üzemeltetési átláthatóság. Az ügynökök, eszközök és képességek szabványos interfészeken keresztül tehetők elérhetővé, közös jogosultsági, házirend- és használati kontrollokkal.
A Haystack Enterprise Platform kezelhető menedzselt felhőben, európai szuverén felhőkörnyezetekben, például a STACKIT infrastruktúráján, vagy saját üzemeltetésű infrastruktúrán. A deepset szerint a nyílt forráskódú, modellfüggetlen felépítéssel együtt ez rugalmasságot biztosít a modellek és az infrastruktúra kiválasztásában.
A platform bővítésével párhuzamosan a deepset egyedi modell-szolgáltatásokat is bemutatott kormányzati, védelmi és szabályozott iparágak számára. A vállalat Forward Deployed Engineers csapata döntéstámogató modellek és kis nyelvi modellek kiválasztásában, testreszabásában és utólagos tanításában segít. Ezek a modellek a Haystack Enterprise Platform LLM-jei mellett működhetnek, és a deepset közlése szerint az ügyfelek tulajdonába kerülnek.
A felhasználók számára a bővítés azt jelenti, hogy ugyanazon platformon követhetik az ügynökök működését, kiadásait és minőségét, miközben a telepítési környezet és a használt modellek felett is választási lehetőségük marad. A deepset a Haystack Enterprise Platformot a szuverén AI-ügynökök fejlesztésének, futtatásának, javításának és irányításának közös alapjaként építi tovább.
deepset: Haystack Enterprise Platform Expansion: Control AI Agent Costs and Improve Quality | deepset Blog
