A Podium 90 százalékkal csökkentette a mérnöki beavatkozást

A Podium AI Employee terméke

A Podium olyan kommunikációs platformot működtet, amely telefonon, SMS-ben, e-mailben és közösségi médián keresztül segíti a kisvállalkozásokat az ügyfelekkel való kapcsolattartásban. A vállalat szerint az érdeklődők öt percen belüli megkeresése 46 százalékkal magasabb leadkonverzióval jár, mint az egyórás válaszidő.

A Podium ennek támogatására indította el az AI Employee nevű ügynökalapú alkalmazását. A termék helyi vállalkozások ügyfeleivel kommunikál, időpontokat egyeztet és értékesítési folyamatokat támogat. A kezdeti, egyfordulós használat után az alkalmazás egyre összetettebb feladatokat kezelt, ezért a Podiumnak nagyobb rálátásra volt szüksége a nyelvi modell hívásaira és az interakciókra.

A vállalat ezt a LangSmith segítségével oldotta meg. A LangChain eszköze a fejlesztés során rögzíti és megjeleníti a működés nyomait, így a Podium mérnökei követni tudták az ügynök viselkedését, és folyamatos visszacsatolási ciklusokat alakítottak ki.

Adathalmazokkal és tesztelési ciklusokkal javítottak

A Podium először alapadatkészletet állított össze az ügynök tipikus használati eseteiből és követelményeiből. Ezt offline értékelések követték, majd a csapat felhasználói visszajelzéseket és valós idejű, nyelvi modellekkel végzett ellenőrzéseket is bevont. Az eredmények alapján módosították az utasításokat, a lekérési folyamatokat és szükség esetén a modellt is finomhangolták.

Korábban nehéz volt megérteni, hogyan jut el az ügynök egy válaszig, mivel egyetlen interakció során 20 és 30 közötti számú nyelvimodell-hívás történhetett. A LangSmith naplózott nyomai ezt átláthatóbbá tették. A Podium különböző ügyfélprofilokkal, vállalkozástípusokkal és más üzleti paraméterekkel egészítette ki az adatokat, majd az összetartozó nyomokat azonosítók alapján csoportosította.

Az egyik konkrét probléma az volt, hogy az AI Employee nem mindig ismerte fel, amikor egy beszélgetés természetesen véget ért, ezért ismétlődő elköszönéseket produkált. A csapat különböző lezárási helyzetekből álló adathalmazt készített, majd egy nagyobb modell kimeneteit használta egy kisebb modell finomhangolásához. A LangChain szerint a finomhangolt modell F1 értéke 91,7 százalékról 98,6 százalékra nőtt, így meghaladta a 98 százalékos minőségi küszöböt.

A támogatási csapat is önállóbban vizsgálhatja a hibákat

A LangSmith a Podium műszaki termékspecialistái számára is hozzáférést biztosított az ügynök működésének nyomaihoz. Így a csapat gyorsabban meg tudta állapítani, hogy egy problémát alkalmazáshiba, hiányos kontextus, nem megfelelő utasítás vagy maga a nyelvi modell okoz.

Az alkalmazás integrációs hibái továbbra is mérnöki beavatkozást igényeltek. Hiányos kontextus esetén a termékspecialisták további tartalmat adhattak hozzá, az üzleti követelményekhez nem illeszkedő utasításokat pedig a tartalomszerző rendszerben módosíthatták. A LangSmith játszótere azt is lehetővé tette, hogy a csapat egy kimenet szerkesztésével ellenőrizze, megoldható-e a gond egy egyszerű adminisztrációs beállítással.

A LangChain 2026. augusztus 26-i esettanulmánya szerint ezzel 90 százalékkal csökkent a mérnöki beavatkozás szükségessége a hibakeresésben. A Podium beszámolója alapján a támogatási csapat gyorsabban és önállóbban oldotta meg a problémákat, miközben javultak a támogatási interakciók és az AI-alapú szolgáltatások ügyfélelégedettségi mutatói. A vállalat a LangGraphot is beépíti a munkafolyamatába az ügynökök vezérlésének egyszerűsítésére.