Két új PhoneLLM érkezett hangalapú AI-ügynökökhöz

Két modell, eltérő célokra

A PhoneLLM Mini az Alpha 1-ben is használt, 30B összesített és 3,5B aktív paraméteres MoE-architektúrára épül. A Daily ezt azoknak szánja, akiknél a sebesség és a kis méret a legfontosabb szempont.

A PhoneLLM Max nagyobb, 120B összesített és 12B aktív paraméteres modell. A vállalat szerint ez a változat erősebb intelligenciát és jobb pontosságot kínál, miközben a következtetés sebessége továbbra is iparági szinten magas marad.

Az Alpha 2 fő fejlesztései közé tartozik a kibővített adatkészletből származó pontosságjavulás, a Pipecat Flows támogatása, valamint az eltérő utasítási stílusokra való kisebb érzékenység. Ez utóbbi rugalmasabb használatot tesz lehetővé.

Rövid gondolkodással javítják az eszközhasználatot

A PhoneLLM Max újdonsága a „microthinking”, vagyis a mikrogondolkodás. A Daily szerint a legtöbb, következtetési tokeneket kibocsátó nyelvi modell több bekezdésnyi vagy akár több oldalnyi gondolatmenetet generálhat, ami növeli a költséget és a késleltetést.

Az Alpha 2 esetében a Max egyetlen mondatnyi érvelést generálhat. A vállalat tesztjei alapján ez mérhetően javítja annak esélyét, hogy a modell a megfelelő eszközt hívja meg, miközben a nagy sebesség miatt a válaszidőre gyakorolt hatás elhanyagolható.

A PhoneLLM Alpha 2-t szintetikus Pipecat Flows-munkameneteken is betanították. A Pipecat Flows strukturált beszélgetésekhez biztosít programozott keretet, amely összetett folyamatokat vezethet végig egyszerűbb lépésekkel. A Daily szerint a PhoneLLM Max valós ügyfelekkel végzett tesztjeiben a GPT-4.1-nél nagyobb arányban juttatta sikeres lezárásig a hívásokat Pipecat Flows-integrációban, körülbelül fele akkora késleltetés és töredéknyi költség mellett.

Elérhető felhőben és saját hardveren

A PhoneLLM nyílt súlyú modell. Az AWS, a Baseten, a Cloudflare és a Modal kattintással telepíthető modelleket, illetve hosztolt API-végpontokat kínál hozzá. A Cloudflare Workers AI platformján a PhoneLLM Mini ára 0,06 dollár egymillió bemeneti tokenenként és 0,24 dollár egymillió kimeneti tokenenként.

A modellek saját hardveren is futtathatók. A Daily szerint a PhoneLLM Mini NFVP4 változata elfér egy NVIDIA RTX 5090-en, a PhoneLLM Max NVFP4 pedig egy NVIDIA DGX Sparko n. A gyártó a termelési kiszolgáláshoz a Mini BF16 változatát NVIDIA B300, B200, H200 vagy RTX PRO 6000 GPU-kon, a Max BF16 verzióját pedig két NVIDIA B200 vagy B300 használatával ajánlja.

A Daily mérése szerint a Mini egy NVIDIA B200-on 17 milliszekundumos első tokenig tartó időt és 10 ezer token másodpercenkénti összesített dekódolást ért el. A Max két B200-as konfigurációban körülbelül 27 milliszekundumos első tokenig tartó időt és 6 ezer token másodpercenkénti dekódolást produkált. A Max támogatja az MTP-t is, amely kevés párhuzamos hívás mellett megduplázhatja a dekódolási sebességet.

A PhoneLLM új változatai teljes egészében szintetikus adatkészleteken készültek. A Daily különböző nyílt súlyú tanármodellek válaszait használta a tanításhoz, többféle utasítási stílussal, eszközkészlettel és vezérlési keretrendszerrel. A cég jelenleg megerősítéses tanulással is kísérletezik, és egy későbbi kiadásban ezt is beépítheti a képzési folyamatba.