A LangChain központi vezérlést ad az éles AI-ügynökökhöz

Központi réteg a modellhívásokhoz

A LangChain szerint a gyártási környezetben működő ügynököknek futás közbeni vezérlésre van szükségük, hogy elkerüljék a váratlan költségeket és a szolgáltatáskimaradásokat. A LangSmith LLM Gateway az ügynökök és az általuk használt modellek közé kerülő központi irányítási rétegként működik.

A vállalat példaként egy olyan helyzetet említ, amikor egy modellhívásokra épülő ügyfélszolgálati ügynök egy szolgáltatói leállás miatt hibákat ad vissza. Egy kódolási ügynök pedig ismétlődő próbálkozások miatt akár 10 000 LLM-hívást is indíthat egy éjszaka alatt, ami négy számjegyű számlát eredményezhet. A LangChain szerint ilyen esetekben nem elég utólag megvizsgálni a történteket, a szabályokat már a problémák előtt érvényesíteni kell.

A gatewayben egyszer beállított irányelvek több ügynökön, modellen és szolgáltatón keresztül alkalmazhatók. Ez csökkentheti annak szükségességét, hogy a fejlesztők minden alkalmazásban és minden szolgáltatóhoz külön vezérlési logikát írjanak.

Költségkorlátok, sebességlimitek és tartalékmodellek

A rendszer időszakhoz kötött költési plafonokat és használatkövetést kínál négy szinten: szervezeti, munkaterületi, API-kulcs- és felhasználói szinten. Ha egy korlát betelik, az ügynök 402-es választ kap egyértelmű hibaüzenettel.

A sebességlimitek ugyanilyen szinteken állíthatók be. Ezek célja, hogy a véletlen visszaélések vagy forgalmi kiugrások ne terheljék túl a szolgáltatói korlátokat, és ne rontsák más ügynökök vagy csapatok megbízhatóságát.

Több ügyfelet kiszolgáló környezetekben egyedi API-kulcsok nélkül is beállíthatók ügyfélszintű szabályok. Egy egyedi kérésfejléc azonosítja az ügyfelet vagy csapatot, ezután külön költési plafon és sebességkorlát rendelhető hozzájuk, miközben a hívások egyetlen API-kulcson keresztül haladnak.

A fejlesztők különböző modellek és hosztok között is beállíthatnak tartalékútvonalakat. Ha egy szolgáltató kiesik, eléri a sebességhatárát vagy más okból nem érhető el, az ügynök egy másik modellhez irányítható át anélkül, hogy minden alkalmazásban saját tartaléklogikát kellene kialakítani.

Adatvédelem és szolgáltatói rugalmasság

A LangSmith LLM Gateway képes felismerni, kitakarni és helyettesíteni a személyes adatokat, valamint a titkos kulcsokat a modellhez továbbított kérésekben. A LangSmithben rögzített nyomkövetésekből is eltávolítja az érzékeny adatokat. Ez a funkció jelenleg csak az Enterprise csomag felhasználói számára érhető el.

A gateway eseményei metaadatként jelennek meg a LangSmith nyomkövetéseiben. Így megvizsgálható, hogyan működtek a vezérlők éles forgalomban, és milyen környezetben blokkolt egy kérést például a költési vagy a sebességlimit.

A szolgáltatás támogatja többek között az OpenAI, az Anthropic és a Fireworks modelljeit, valamint az OpenAI- vagy Anthropic-kompatibilis végpontokat használó egyedi modelleket. A megoldás BYOK-alapú, vagyis a csapatok saját szolgáltatói kulcsaikat használhatják az útválasztáshoz és a szabályok érvényesítéséhez.

A LangSmith emellett Fireworks által biztosított, nyílt modellekhez használható hosztolt következtetést is kínál Gateway Credits révén. A LangChain szerint a nyílt súlyú modellek nagyobb kontrollt adhatnak a költség, a minőség, a késleltetés, az adatvédelem és a telepítési igények felett.

Elérhetőség és a felhasználók számára jelentett változás

A LangSmith LLM Gateway közvetlen API-hívással, valamint olyan kódolási környezetekkel is használható, mint a Claude Code, a Codex és a Deep Agents Code, vagyis a dcode. A kezdéshez az ügynököket a LangSmith Gateway végpontjára kell irányítani, LangSmith API-kulccsal kell hitelesíteni, a szolgáltatói kulcsokat pedig a munkaterület titkai között kell megadni. Ezután beállíthatók a tartalékok, a sebesség- és költési limitek, valamint az érzékeny adatok kezelésére vonatkozó szabályok.

A nyilvános béta a Plus és Enterprise csomagokban érhető el. A LangChain a következő fejlesztési irányok között szélesebb körű védelmi szabályokat, CI/CD-vezérlőket, prompt- és kontextustelepítést, A/B-teszteket, blue-green és shadow telepítéseket, valamint infrastruktúrakódként kezelhető szabályokat említ.

A felhasználók számára a legfontosabb változás, hogy az éles ügynökök költség-, forgalmi, adatvédelmi és rendelkezésre állási szabályai egy közös felületen kezelhetők. A LangChain által idézett Blueberry AI és Friday Digital Agency szerint a megoldás ügyfelenkénti költségkövetést, számlázási átláthatóságot és kemény költési plafonokat tesz lehetővé.