Egy beállítással kétszer több hanghívást kezelhet ugyanaz a CPU

Nem új modell, hanem kisebb számábrázolás

A Krisp 2026. október 7-i beszámolója szerint a teljesítménynövekedést az enableLowPrecisionExecution SDK-flag bekapcsolása hozza. A beállítás a Voice Isolation modelljének FP16-os futtatását engedélyezi, ha a processzor natív hardveres támogatást kínál ehhez.

Az FP16 a számokat 16 biten tárolja a szokásos 32 bit helyett. A Krisp szerint ez a hangelkülönítéshez elegendő pontosságot biztosít, miközben csökkenti a memóriaforgalmat. A processzor ugyanakkora regiszterben kétszer annyi FP16-értéket tud kezelni, mint float32 formátumban. A cég állítása szerint a változtatás nem módosítja a modellt, az algoritmust vagy a hangfeldolgozási folyamatot, és nem rontja a minőséget.

137 hívás egy 16 vCPU-s Graviton3 gépen

A Krisp három processzorcsaládon mérte a párhuzamosan futtatható streamek számát: AWS Graviton3, Intel Sapphire Rapids és Intel Ice Lake rendszereken. A teszteket a Python SDK 1.12.0-s verziójával, Linux 6.17 alatt, 20 milliszekundumos hangkeretekkel és 100 százalékos zajelnyomással végezték.

A teljes Voice Isolation modell, a Krisp VI Balanced egy 16 vCPU-s Graviton3 példányon FP16 nélkül 76, bekapcsolva 137 élő hívást kezelt. Ez 80 százalékos növekedés. Négy vCPU-n 23-ról 43-ra, 32 vCPU-n pedig 86-ról 171-re nőtt a kapacitás.

Intel Sapphire Rapids esetén a 16 vCPU-s gép 44-ről 77 streamre javult. Intel Ice Lake-en viszont nem történt változás: a 16 vCPU-s konfiguráció FP16 nélkül és azzal is 38 streamet kezelt. Ennek oka, hogy ez a processzorcsalád nem rendelkezik natív FP16-hardverrel.

A könnyített modellnél is nőtt a kapacitás

A vizsgálatban a Krisp VI Balanced mellett a Krisp VI Default és a könnyített Krisp VI Lite modellt is tesztelték. A Graviton3 konzervatív mérési eredményei szerint a VI Default 16 vCPU-n 76-ról 138 streamre javult, a VI Lite pedig 209-ről 358-ra.

A 32 vCPU-s Graviton3 rendszeren a VI Lite FP16 nélkül 287, bekapcsolva legalább 508 streamet kezelt. Az 508-as érték a teszt biztonsági plafonja volt, ezért a Krisp szerint a tényleges felső határ ennél magasabb.

A Sapphire Rapids processzorokon a három modell szintén nagyobb kapacitást ért el FP16 mellett. A VI Balanced növekedése a különböző konfigurációkban 61 és 91 százalék között alakult, míg az Ice Lake eredményei változatlanok maradtak.

Mit jelent ez a Voice Isolation felhasználóinak?

A Krisp mérése nem egyetlen hívás késleltetését vizsgálta, hanem azt, hogy egy szerver hány élő hívást tud egy időben kiszolgálni. A vállalat szerint ez közvetlenül befolyásolja a nagy mennyiségű hívást futtató rendszerek szerverköltségét.

A tesztelés során akkor tekintették elértnek a kapacitást, ha a processzorhasználat 85 százalékos p95 érték alatt maradt, a valós idejű szorzó legfeljebb 0,85 volt, a kieső hangkeretek aránya pedig nem haladta meg az 1 százalékot. A Krisp ajánlása azoknak a fejlesztőknek szól, akik Voice Isolationt támogatott processzoron futtatják: az SDK-ban az enableLowPrecisionExecution flag bekapcsolásával ugyanazt a modellt és hangfeldolgozási folyamatot használhatják nagyobb párhuzamos kapacitással. A beállítás támogatás nélküli processzoron, például Intel Ice Lake-en, a cég mérései szerint nem hoz teljesítménynövekedést.