A Personal AI a hálózatba költöztetné a személyes mesterséges intelligenciát

Az AI-szolgáltatást közvetlenül a hálózat kínálná

A Personal AI október 20-án, a berlini NVIDIA GTC előtt jelentette be a MODEL-4-et. A vállalat szerint a rendszer a számítási, hálózati és vezénylési infrastruktúrát egyesíti ahhoz, hogy a személyes intelligencia hálózati szolgáltatásként, szolgáltatói méretekben működjön.

A megoldás alapja egy minden előfizetőhöz és telefonszámhoz kötött személyes modell, amely idővel emlékszik, tanul és fejlődik. A SIM-kártya és a telefonszám szolgálna az ügynök azonosítójaként, így a használathoz a Personal AI szerint nem lenne szükség külön alkalmazásra vagy bejelentkezésre. Az előfizetők a már használt kommunikációs csatornákon, natív hívásokon és üzeneteken keresztül érhetnék el az ügynököket.

Kisebb modellek a hálózaton, tokencsomagok az előfizetésben

A MODEL-4 Tier-1 kategóriájú kis nyelvi modelljei a Personal AI állítása szerint a forgalom körülbelül 95 százalékát a szolgáltató hálózatán kezelik. Csak az összetettebb kéréseket irányítják nagyobb modellekhez, ami a vállalat szerint hatékonyabb működést és kedvezőbb gazdaságosságot tesz lehetővé.

A szolgáltatók tokencsomagként építhetik be az intelligenciát meglévő beszéd-, üzenet- és adatcsomagjaik mellé. A natív ügynökök hívásokat kezelhetnek, fogadhatják a nem fogadott hívásokat, üzeneteket küldhetnek az előfizető nevében, valamint emlékeztetőket adhatnak. Összetettebb feladatoknál az ügynök külső nagy nyelvi modellhez vagy webes kereséshez fordulhat, az úgynevezett Agent Store pedig olyan szolgáltatásokkal teremthet kapcsolatot, mint az utazásfoglalás, a rezerváció vagy a bankolás.

A Personal AI az NVIDIA-val és a Comcasttal közösen végzett, Intelligence Everywhere nevű kutatásra építve 16 milliszekundumos első tokenig eltelt időt, 405 milliszekundumos hangkésleltetést és egymillió tokenenként 0,02 dolláros költséget közölt. A vállalat szerint a szolgáltatók méretgazdaságosság mellett 90 százalék feletti bruttó árrést érhetnek el.

NVIDIA, Microsoft, Cisco és Rafay is része az ökoszisztémának

A MODEL-4 az NVIDIA, a Microsoft, a Rafay, a Cisco és a Telegent technológiáit fogja össze. Az NVIDIA a hálózathoz közeli következtetéshez biztosít gyorsított számítási infrastruktúrát. A Personal AI NVIDIA RTX PRO 6000 Blackwell szervereket használ 96 GB videomemóriával, valamint Multi-Instance GPU particionálással. A vállalat szerint egy GPU-szelet akár 40, desztillált kis nyelvimodell-példányt, továbbá beszédfelismerési és beszédszintetizálási folyamatokat is kiszolgálhat.

A Microsoft Azure Local lehetővé teszi, hogy a szolgáltatók saját hálózatukban, helyben futtassák a rendszert, miközben az Azure egységes kezelési környezetét használják. A Rafay az üzembe helyezést és a működtetést vezényli a szolgáltatói és peremhálózati környezetekben. A cég szerint ezzel a telepítés időtartama évekről hetekre csökkenthető.

A Cisco a hálózati és mobilitási infrastruktúra intelligenciához igazításán dolgozik, a Telegent pedig a mobilhálózati hangot, üzenetküldést és mobilkapcsolatot kapcsolja össze az üzleti kommunikációs rendszerekkel. A Personal AI szerint az előfizetői memória a hálózaton maradhat a meglévő CPNI-védelem vagy az adott ország vonatkozó jogszabályai mellett. A bejelentés alapján a MODEL-4 célja, hogy a szolgáltatók új, előfizetésben és tranzakciókban értékesíthető hálózati szolgáltatásként kínálják a személyes AI-t.