AWS-ről CoreWeave-re költözött a Tarteel, csökkentek a költségei

Hangvezérelt Korán-tanuló alkalmazás

A CoreWeave október 2-án közzétett esettanulmánya szerint a Tarteel AI egy mesterséges intelligenciára épülő Korán-tanulmányozó alkalmazás. A szolgáltatás hangvezérelt és interaktív, így a felhasználók a forrás megfogalmazása szerint egy tanárhoz hasonlóan beszélgethetnek vele.

Az alkalmazás követi a felhasználó versmondását, a kimondott szavakat kiemeli, a hibákat pedig valós időben jelzi. Hangalapú keresésre is használható arab nyelven a Koránban és a kapcsolódó szövegekben. A Tarteel javítja a kiejtést és a mondatszerkezetet, felismeri a helytelen szóválasztást, valamint rámutat a hasonló versek közötti különbségekre.

A cégnek több mint 3 millió letöltése van, felhasználói bázisa növekszik, és havonta több mint 250 ezer órányi hanganyagot ír át. A Tarteel az alkalmazással világszerte több mint 2 milliárd muszlimot szeretne támogatni a hitük gyakorlásában és a vallással való kapcsolatuk elmélyítésében.

NVIDIA eszközök a beszédfeldolgozáshoz

A Tarteel korábban több eszközkészletet is kipróbált, de közlése szerint ezek közül több kutatási vagy speciális célokra készült. A vállalat szerint az eszközök egy része nem biztosított megfelelő következtetési késleltetést, nehezen lehetett velük megismételhető, korszerű eredményeket elérni, és nem voltak megfelelően optimalizálva éles környezetben történő modelltelepítésre.

„Sok beszédfelismerési eszközkészlet és programkönyvtár, amelyet megvizsgáltunk, nem teljesítette egyszerre az egyedi termékélményünkhöz szükséges teljesítmény- és pontossági követelményeket”, idézi Anas Abou Allabant, a Tarteel társalapítóját és vezérigazgatóját a CoreWeave. „Emellett nem voltak optimalizálva modellek éles környezetben történő telepítésére.”

A CoreWeave-en a Tarteel hozzáfér az NVIDIA Riva és NVIDIA NeMo eszközkészleteihez. A NeMo segítségével saját adatokon és egyedi hiperparaméterekkel tudott beszédfelismerési és beszédszintézis-modelleket, illetve ezek korszerű változatait betanítani és finomhangolni. A Riva révén ezeket a NeMo-modelleket Tritonnal telepítette, és a Tarteel a gyártási környezetben az audioblokk méretét, a kitöltést és a hangaktivitás-észlelést is módosíthatja.

Mérési eredmények a költözés után

A CoreWeave szerint a Riva és a NeMo használatával a Tarteel valós idejű éles teljesítményt, valamint megismételhető, korszerű eredményeket ért el. A rendszer a késleltetés optimalizálására és a hang streamelésére épít, az NVIDIA Triton pedig több GPU-ra is lehetővé teszi a modellek következtetési terhelésének skálázását.

• A rendszer átlagosan körülbelül 1600 kérést kezelt percenként.
• Ehhez átlagosan több mint 40 NVIDIA A4000 és A5000 GPU-t használtak.
• A késleltetés 22 százalékkal javult.
• A medián kéréskésleltetés 423,5 ezredmásodperc lett.
• A költségek mintegy 56 százalékkal csökkentek.

A Tarteel a jövőben új felhasználási területeken, köztük természetesnyelv-feldolgozásban és beszédszintézisben is használná az NVIDIA szoftverfejlesztői készleteit és eszközkészleteit.

A Zeet gyorsította a szolgáltatóváltást

A Tarteel több felhőszolgáltatónál és több régióban, az Egyesült Államokban, Európában és az ázsiai-csendes-óceáni térségben telepít szolgáltatásokat a Zeeten keresztül. A CoreWeave szerint a Zeet segített a terheléselosztás és a DNS beállításában, így a teljes migráció egy-két nap alatt lezajlott.

„A Zeet könnyűvé tette a CoreWeave-re váltást. Minimális kiesésünk volt, és nem volt szükségünk Kubernetes- vagy CoreWeave-szakértelemre, néhány gombra kattintottunk, és már működtünk”, mondta Anas Abou Allaban.

A Zeet az automatikus skálázást és a telepítést is egyszerűbbé tette a Tarteel szerint. A vállalat egy Docker-konténer megírása után telepítheti alkalmazását a Zeeten és a CoreWeave-en, a kapacitás növelését pedig néhány kattintással konfigurálhatja. A Tarteel következő tervei között szemantikus keresés, kérdések megválaszolása, a következő ismétlésre javasolt fejezet kiválasztása, valamint iszlám és arab irodalom digitalizálása szerepel.