Két mérnök hatszor több visszajelzést kezelt a Cosmos ügynökével
Az Augment Code két mérnökből álló Cosmos Advisor csapata néhány hét alatt heti nagyjából öt visszajelzési szálról több mint 30-ra állt át. Egy Cosmosban létrehozott Feedback Triager ügynök vizsgálja a Slack-jelentéseket, rendszerezi a bizonyítékokat, és szükség esetén javítási folyamatot indít.
- A kétfős csapat heti több mint 30 visszajelzési szálat kezelt.
- A visszajelzések feldolgozása korábban az idő körülbelül 90 százalékát vitte el.
- A Feedback Triager kiváltó okot vizsgál, útválaszt, jegyet készít vagy javítást indít.
- A csapat a visszajelzésekre fordított időt körülbelül 30 százalékra csökkentette.
- Az emberek megtartják a termék- és rangsorolási döntéseket.
A növekedés új szűk keresztmetszetet hozott
A Cosmos Advisor csapata kész, több platformon használható automatizmusokat és az Advisor felhasználói élményét fejleszti. Munkájuk kiterjed többek között a GitHubra, a GitLabra, a Slackre, a Microsoft Teamsre és a Jirára épülő munkafolyamatokra.
Ahogy bővült a funkciók és az ügyfelek köre, a csapathoz érkező termékvisszajelzések száma is gyorsan nőtt. Egy két hetes időszakban 60 szálat kezeltek, ami heti átlagban 30 visszajelzést jelentett. Néhány héttel korábban ez a szám még körülbelül öt volt.
A beszámolók a go-to-market csapatoktól, külső ügyfelek visszajelzéseiből, illetve a vállalaton belüli tesztelésből érkeztek. A vizsgált 60 szál 68,34 százaléka kiadás előtti visszajelzés volt. A funkciókérések és a platformtámogatási ügyek egyaránt 8,33 százalékot tettek ki, a produkciós hibák aránya 6,67 százalék volt.
A jelentések feldolgozása gyakran a teljes beszélgetés elolvasását, a hiba reprodukálását, a kód és a dokumentáció átnézését, naplók és mérőszámok ellenőrzését, valamint a felelős megtalálását igényelte. Az Augment Code becslése szerint ez a csapat idejének nagyjából 90 százalékát emésztette fel, így a hosszabb távú fejlesztési ütemterv végrehajtása megtorpant.
A Feedback Triager vizsgál és a megfelelő irányba küldi az ügyet
A csapat ezért nem azonnal létszámbővítéssel próbálkozott, hanem létrehozott egy Feedback Triager nevű Cosmos-szakértőt, vagyis ügynököt. Minden új, a csapat Slack-csatornájára érkező fő üzenethez hosszú életű munkamenet indul. Ez a teljes szálat kezeli, így a válaszok, javítások és új bizonyítékok megjelenésekor nem kell minden alkalommal újra felépítenie a kontextust.
Az ügynök először elolvassa a bejelentést és a környezetét, visszajelez, majd legfeljebb egy célzott kérdést tesz fel, ha egy fontos információ hiányzik. Hibák és váratlan működés esetén a kódot, a konfigurációt, a teszteket, a dokumentációt, a naplókat, a mérőszámokat, a telepített állapotot, a korábbi feladatokat és a kapcsolódó Slack-szálakat is vizsgálhatja.
A következtetéseket megerősített, feltételezett vagy további bizonyítékot igénylő kategóriába sorolja. Ha kérdésről, egyszeri problémáról vagy elvárt működésről van szó, Slackben válaszol, és nem feltétlenül hoz létre jegyet. Másik csapathoz tartozó ügyet a bizonyítékokkal és a kiváltó ok elemzésével együtt továbbít, meglévő hibánál pedig a duplikált jegy létrehozása helyett a korábbi ügyet egészíti ki.
Ha a hiba oka és a javítás egyértelmű, az ügynök elindíthatja a PR Author nevű szakértőt a módosítás elkészítésére. Nyitott kérdés vagy bizonytalan kiváltó ok esetén Linear-feladat készül, amelyet a csapat az ütemterv részeként rangsorolhat és tovább vizsgálhat.
Az emberi döntés megmarad, a végrehajtás automatizálható
Az Augment Code szerint az ügynök hatékony működéséhez hozzá kell férnie azokhoz a forrásokhoz, amelyeket a mérnökök is használnak, például a kódhoz, a dokumentációhoz, a jegyekhez, a Slack-beszélgetésekhez, a naplókhoz és a mérőszámokhoz. A csapat saját szabályokat adhat a besoroláshoz, az útválasztáshoz, a jegykezeléshez, a bizonyítékokhoz és a kommunikációhoz.
A mérnökök megtartják a termékkel, a rangsorolással és a produkciós kockázattal kapcsolatos döntéseket. Az ügynökök ezután elvégezhetik a rutinfeladatokat, például a jegy létrehozását vagy a javítás elkészítésének elindítását. A rendszerben a Feedback Triager mellett PR Author, kódellenőrzési és ellenőrzési szakértők dolgoznak együtt, hogy a visszajelzésből ellenőrzött eredmény legyen.
A csapat a visszajelzésekre fordított időt így becslésük szerint 90 százalékról körülbelül 30 százalékra csökkentette. A vállalat közlése alapján a két mérnök újra elsősorban a hosszabb távú ütemtervre összpontosíthat, miközben a Feedback Triager a beérkező ügyek vizsgálatát és továbbítását, a többi szakértő pedig a javítás utáni munkát segíti.
A cél nem a több jegy, hanem a megfelelő kimenet
Az Augment Code tapasztalata szerint sok visszajelzésnek nem kell új jeggyé vagy pull requestté válnia. A kérdések, az ismert korlátozások, a duplikátumok és az egyszeri hibák közvetlen választ kaphatnak. A bizonytalan, nyitott problémák ezzel szemben tervezést, rangsorolást és további vizsgálatot igényelnek.
A vállalat szerint a munkafolyamat egy Slackből vagy Microsoft Teamsből, valamint Jira, Linear, GitHub Issues vagy GitLab Issues alapú rendszerből álló környezetben is kialakítható. A javasolt indulás egy csapat és egy visszajelzési csatorna, majd az alapidő mérését követően fokozatosan bővíthető az ügynök hatásköre.
A modell a felhasználók számára gyorsabb és rendezettebb visszajelzéskezelést jelenthet, a kis mérnöki csapatoknak pedig azt, hogy a növekvő terméktámogatási terhelés mellett is több idő marad a fejlesztési ütemtervre.
