A KDDI 38 százalékkal gyorsította Buffmee RAG-alkalmazását

Több mint 100 forrásból dolgozik a Buffmee

A KDDI, Japán egyik jelentős távközlési vállalata, Buffmee néven fejlesztett fogyasztói Retrieval-Augmented Generation, vagyis RAG-alkalmazást. A szolgáltatás célja az „AI, amely segít fejlődni” koncepció megvalósítása.

A Buffmee több mint 100 forrásból, köztük könyvekből, magazinokból és webes médiából építi fel válaszait. A felhasználók információkat kereshetnek, összefoglalókat kérhetnek, valamint személyre szabottan fedezhetik fel tanulási és hobbi témáikat. A válaszokhoz forrásokat is társít a rendszer, így a Google Cloud beszámolója szerint a felhasználók könnyebben ellenőrizhetik az információk megbízhatóságát.

A projekt egyik nehézségét a sokféle saját tartalom, köztük könyvek és magazinok feldolgozása jelentette. A KDDI, a fejlesztési partner KDDI iret, a Google Cloud Consulting és a Google Cloud mesterséges intelligenciával foglalkozó mérnökei együtt dolgoztak a válaszidővel és a pontossággal kapcsolatos problémák megoldásán.

Automatizált tesztekkel mérték a válaszok minőségét

A korábbi, manuális tesztelés nagy erőforrást igényelt, és nem volt alkalmas egy kiterjedt tartalomkönyvtár folyamatos ellenőrzésére. A fejlesztők ezért a Gemini Enterprise Agent Platform Evaluation Service használatával automatizált értékelési folyamatot alakítottak ki.

Az LLM-as-a-Judge és a Rule of Hundreds módszerekkel több száz automatikus tesztet készítettek. A dokumentumkorpuszt feldolgozták, majd benchmark-adatkészletet építettek, amelyben felhasználási esetenként mérhették a válaszok megbízhatóságát. A Google Cloud szerint ennek eredményeként 25 százalékkal javult a groundedness, vagyis a forrásokhoz való megalapozottság pontszáma.

A csapat a kritikus mutatóknál az 1-től 5-ig terjedő értékelést passz vagy fail, azaz 1 vagy 0 alapú rendszerrel váltotta fel. Ez csökkentette az értékelések közötti eltérést és a zajt. A tartalmakat fájlformátum és médiatípus szerint is csoportosították, majd minden kategóriából reprezentatív mintákat választottak. Így 75 százalékkal csökkentették az értékelési munkát, miközben megtartották a tesztelés lefedettségét.

A termékfelelős véletlenszerűen kiválasztott válaszokat is átnézett, és ezek alapján kalibrálta az automatizált pontszámok küszöbeit. Ezzel azt határozták meg, mi számít a felhasználói élmény szempontjából megfelelő, kiadásra kész válasznak.

A promptok és az ügynökök útvonalának átnézése gyorsított

A válaszidő javításához a KDDI BigQuery Agent Analytics eszközt és az Agent Development Kit logelemző ügynökét alkalmazta. A gyártási naplók elemzésével láthatóvá tették, hogyan befolyásolja az első tokenig eltelt időt, vagyis a TTFT-t, a készségek felosztása és a túlméretezett promptok használata.

A különösen összetett, több oldalas rendszerpromptok késleltetést okoztak. A csapat ezért átdolgozta a rendszerpromptot, beépítette a készségeket, és felülvizsgálta az alügynökök útválasztását. A 800 sornál hosszabb promptokat funkciók szerint ADK Skills egységekre bontották, így a rendszer csak a szükséges logikát töltötte be.

A Google Cloud közlése szerint a módosítások 38 százalékkal csökkentették az alkalmazás teljes válaszidejét, ezzel elérték a kitűzött teljesítménycélt. A TTFT közel 18 százalékkal javult. A fejlesztők a sebességnövekedést úgy érték el, hogy közben a válaszok pontosságát is megőrizték.

A Buffmee felhasználói így interaktív kérdés-válasz funkcióval és részletes elemzésekkel fedezhetik fel kedvenc médiatartalmaikat. A KDDI megközelítése azt mutatja, hogy a sokféle forrásra épülő RAG-szolgáltatásoknál az automatizált minőségmérés és a valós használati naplók elemzése együtt segíthet a megbízhatóbb, gyorsabb működés kialakításában.