Az Intercom új rendszerrel tesztelné és felügyelné Fin működését
Az Intercom bemutatta az Evals és Releases funkciókat, amelyekkel a vállalatok tesztelhetik a Fin ügyfélszolgálati ügynök módosításait, szabályozhatják a bevezetést és ellenőrizhetik az éles beszélgetéseket. A Monitors rendszerrel együtt a teljes folyamatot lefedik a változtatás előtti teszteléstől a működés folyamatos felügyeletéig.
- Az Evals szimulált ügyfélbeszélgetésekkel ellenőrzi Fin működését.
- A Releases külön munkaterületen készíti elő és teszteli a módosításokat.
- A bevezetés fokozatosan, A/B teszttel vagy azonnali visszaállítási lehetőséggel történhet.
- A Monitors minden éles beszélgetésben keresi a minőségi problémákat.
- Az Operator javaslatként képes összeállítani a tartalmi módosítást, az Evalt és a Release-t.
Szimulált beszélgetésekkel tesztelhető a Fin
Az Intercom 2026. augusztus 13-i bejelentése szerint az Evals egy témák vagy problémák köré rendezett tesztkészlet. A vállalatok szimulációkat hozhatnak létre például a visszatérítési kérelmek, az eszkalációs szabályok vagy a Fin hangvétele alapján. A szimulációk többfordulós, valós ügyfélbeszélgetéseket utánzó tesztek.
Egy szimulációban szerepel a szimulált ügyfél nyitóüzenete és a beszélgetés közben megjelenő további információ, például a fiók adatai, a rendelés részletei vagy az ügyfél hangulatának változása. Megadható az is, hogy Fin milyen attribútumokhoz és adatkapcsolatokhoz férhet hozzá, valamint milyen feltételek alapján értékelje a rendszer a választ.
Egy Eval futtatásakor minden szimuláció megfelelt vagy nem felelt meg eredményt kap. Az értékelés meghatározott, egyértelmű ellenőrzéseket és egy nagy nyelvi modell alapú bírót kombinál. Ha akár egyetlen kritérium nem teljesül, a szimuláció sikertelen lesz. A részletes eredmény tartalmazza a teljes beszélgetést, az eseménynaplót és azt is, hogy Fin válaszolt, a csapathoz továbbította az ügyet, vagy munkafolyamatra adta át.
A Releases elkülöníti a módosításokat az éles verziótól
A Releases egy külön munkaterület, ahol a csapatok az éles Fin érintése nélkül szerkeszthetik a tartalmakat, új vagy frissített Procedures elemeket adhatnak hozzá, illetve módosíthatják vagy törölhetik a Guidance beállításait. A változtatások egy kiadásba csomagolhatók, a csapattagok pedig közösen véleményezhetik és tesztelhetik őket.
A kiadásban szereplő módosításokat Evals segítségével lehet ellenőrizni még közzététel előtt. A csapat lefuttathatja a tesztet, áttekintheti a hibákat, módosíthat a beállításokon, majd újraindíthatja az értékelést. Az Intercom szerint az Evalt minden Fin-módosítás után érdemes újrafuttatni, így észlelhetők azok a visszaesések, amelyeket egy másik változtatás okozhat.
Ha a kiadás elkészült, minden felhasználó számára közzétehető, vagy A/B teszt indítható a Fin jelenlegi konfigurációjával szemben. A kísérletek olyan mutatókat használhatnak, mint a megoldási arány, az eszkalációs arány és a CSAT. Ha a bevezetés közben probléma jelentkezik, a folyamat szüneteltethető, a hiba javítható, a teszt pedig újra lefuttatható. Szükség esetén a teljes kiadás egy lépésben visszaállítható.
A Monitors az éles beszélgetéseket figyeli
Az Evals, a Releases és a Monitors az Intercom szerint egyetlen folyamatos működési rendszert alkotnak. A Monitors minden éles beszélgetést a csapat által meghatározott minőségi szempontok alapján vizsgál, és jelzi, ha egy beszélgetés nem teljesíti ezeket.
A problémás beszélgetésből új szimuláció készíthető, amely bekerülhet a kapcsolódó Eval tesztjei közé. Így a csapat a következő Release előtt már ezt az esetet is ellenőrizheti. A megközelítést az Intercom „Eval-driven delivery” néven írja le. A vállalat szerint erre azért van szükség, mert Fin valószínűségi módon működik, ezért ugyanarra a kérdésre eltérő válaszokat adhat, miközben az ügyfelek ugyanazt a problémát sokféle módon fogalmazhatják meg.
A minőség nem csak a végső válasz helyességétől függ. Számíthat az is, hogy Fin követte-e a Procedures előírásait, a megfelelő tartalmat és adatforrást használta-e, jó időben adta-e át az ügyet, és megfelelt-e a márka hangvételének. Az Intercom szerint egy termék, szabályzat, súgócikk vagy eljárás módosítása más területeken is nem várt eltérést okozhat. A vállalat úgy látja, hogy a támogatási csapatoknak fejlesztő vagy gépi tanulási szakember nélkül is szigorúan tesztelniük kell tudniuk a változtatásokat.
Az Operator javaslatként készíti elő a változtatásokat
Az Intercom szerint az Operator, a customer operations feladatokra szánt ügynök, az Evals és Releases képességeit is használhatja. Például egy felhasználói utasítás alapján módosíthatja a visszatérítési szabályzatot, tesztet adhat a refund policy Evalhez, majd az egészet új Release-be csomagolhatja.
Az Operator ilyenkor elkészíti a tartalmi módosítást, létrehozza az Evalt és összeállítja a kiadást. Minden lépés javaslatként kerül vissza a csapathoz, amely áttekintheti a munkát és megadhatja a végső jóváhagyást. Az Intercom szerint ezzel a vállalatok a termékek, szabályzatok és tartalmak változása mellett is fenntarthatják a Fin működésére vonatkozó saját elvárásaikat.
