Together AI nagy inference-klasztert épít IBM Cloudon NVIDIA-val
A Together AI IBM-mel és NVIDIA-val együttműködésben bővíti vállalati mesterségesintelligencia-következtetési kapacitását. A vállalat egy NVIDIA B300 GPU-kból álló, IBM Cloudon működő, dedikált klasztert indít, amelyet a Spectrum-X Ethernet hálózat támogat.
- A Together AI dedikált NVIDIA B300 GPU-klasztert indít az IBM Cloudon.
- A rendszert NVIDIA Spectrum-X Ethernet hálózat támogatja.
- A Together AI működteti az inference-platformot, az IBM a felhőt, az NVIDIA a chipeket és a hálózatot biztosítja.
- A vállalat havonta több száz billió tokent szolgál ki több mint egymillió fejlesztő számára.
- A cél a nyílt modellek vállalati szintű, nagy léptékű futtatása.
Dedikált klaszter az IBM Cloudon
A Together AI október 6-i bejelentése szerint a közös projekt egy nagy méretű, kifejezetten következtetésre tervezett NVIDIA B300 GPU-klaszterrel indul az IBM Cloud infrastruktúráján. A vállalat állítása szerint ez az első ilyen dedikált, nagy léptékű inference-klaszter az IBM Cloudon, és a Together AI az első ügyfél, amely ezen fut.
A rendszer felépítése három szereplő feladataira oszlik. A Together AI működteti a következtetési réteget és biztosítja az inference-platformot, az IBM adja a felhőinfrastruktúrát, az NVIDIA pedig a számítási chipeket és a hálózati technológiát szállítja. A GPU-k közötti kommunikációt az NVIDIA Spectrum-X Ethernet hálózata támogatja.
A növekvő tokenigényre készülnek
A Together AI közlése szerint az együttműködés célja a vállalati szintű AI-következtetés nagy léptékű kiszolgálása. A cég a jövőbeli tokenigény növekedésére készül, amelyet saját megfogalmazása szerint parabolikus pálya jellemez.
A vállalat azt írja, hogy havonta több száz billió tokent szolgál ki több mint egymillió fejlesztő számára, miközben a kereslet tovább emelkedik. A Together AI szerint a vállalatok és az AI-ra építő cégek két okból választanak nyílt modelleket: az adataik feletti szuverenitás megmarad, miközben a zárt modellek költségének töredékéért érhetnek el élvonalbeli teljesítményt.
Három technológiai elem egy infrastruktúrában
A Together AI szerint az NVIDIA a B300 GPU-kkal és a nagy áteresztőképességű következtetéshez tervezett Spectrum-X Ethernet hálózattal járul hozzá a projekthez. Az IBM szerepe a vállalati szintű, kritikus infrastruktúrák üzemeltetésében szerzett évtizedes tapasztalatra épül. A Together AI ehhez az inference-platformot adja, amelyet a cég a nyílt modellek éles környezetben történő futtatására fejlesztett.
A vállalat szerint a három elem együtt nagy léptékű, vállalati szintű következtetési kapacitást eredményezhet. A cél több termelési környezetben feldolgozott token kiszolgálása olyan megbízhatósággal, biztonsággal és védelmi korlátokkal, amelyeket a vállalati ügyfelek elvárnak.
Mit jelent ez a felhasználóknak?
A Together AI állítása szerint az együttműködés a nyílt modellek vállalati használatának bővítését szolgálja. A vállalat úgy látja, hogy ezeknek a modelleknek mindenhol, nagy léptékben, gyorsan és megbízhatóan kell futniuk, a zárt modellekhez hasonló színvonalon.
Az IBM Cloudon létrehozott klaszter közvetlenül a Together AI ügyfelei által használt inference-kapacitást növeli. A cég szerint a fejlesztés egy fontos lépés afelé, hogy a nyílt modellek nagyobb termelési terhelés mellett is vállalati szintű infrastruktúrán működjenek.
Together AI: Expanding our enterprise inference capacity with IBM Cloud and NVIDIA
