A NovelAI az elsők között használhatja a CoreWeave H100 GPU-it

Második H100-ajánlatát indította el a CoreWeave

A CoreWeave március 21-én jelentette be, hogy általánosan elérhetővé tette az NVIDIA HGX H100 GPU-példányokat. A specializált felhőszolgáltató januárban indította el az NVIDIA H100 PCIe GPU-példányokat, így az új konstrukció a vállalat második H100-ajánlata.

A CoreWeave februárban kezdte el kínálni az új példányokat kiválasztott ügyfeleknek. Az Anlatan, a NovelAI fejlesztője, ezek között az első ügyfelek között lesz. A vállalat vezérigazgatója, Michael Intrator szerint fontos mérföldkő, hogy elsőként tették általánosan elérhetővé az NVIDIA HGX H100 platformokat. A vezető ezt a vállalat infrastruktúratervezési és üzembe helyezési képességével indokolta.

A bejelentés hátterében a generatív mesterséges intelligencia terjedése áll. A CoreWeave szerint ez a technológia nagy nyelvi modellek betanítását használja többek között szövegalkotáshoz, művészeti alkotások tervezéséhez és irodalmi művek létrehozásához.

A NovelAI modellfejlesztését támogatják az új GPU-k

A 2021 júniusában elindított NovelAI havi előfizetéses szolgáltatás, amely mesterséges intelligenciával segített szerzést, történetalkotást, szöveges kalandjátékokat és virtuális társaságot kínál. A szolgáltatás GPT-alapú homokozóként is működik alkotók és fejlesztők számára.

Az Anlatan leírása szerint a NovelAI algoritmusait valódi irodalmi műveken tanították. A rendszer a felhasználó írási stílusához igazítja a szöveget, és a bemenetek alapján igyekszik megőrizni a szerző nézőpontját és hangját. A szolgáltatás teljes titkosítást is használ, amelyet a vállalat a felhasználói adatvédelem részeként emel ki.

Az NVIDIA HGX H100 AI-szuperszámítógépes platformok az Anlatan termékfejlesztési és üzemeltetési folyamatának fontos elemei lesznek. A CoreWeave szerint a fürt használatával a fejlesztők rugalmasabban alakíthatják a modelleket, gyorsabban ismételhetik meg a betanítási folyamatokat, és a NovelAI-n keresztül havonta több millió felhasználónak szolgálhatják ki modelljeiket.

Eren Doğan, az Anlatan vezérigazgatója szerint az NVIDIA H100 GPU-k előnyt adnak a gépi tanulási iparágban, a modellbetanítástól a következtetésig. A vezető hozzátette, hogy a CoreWeave Kubernetes-központú, felhőnatív környezete csökkenti az infrastruktúrával kapcsolatos terheket és időt takarít meg.

Akár 16 384 H100 GPU egyetlen klaszterben

A CoreWeave a modellbetanítás teljesítményének javítására különleges felépítést alkalmaz az NVIDIA HGX H100 fürtöknél. A Kubernetes-alapú infrastruktúrára épülő klaszterek sínoptimalizált kialakítást kaptak, és az NVIDIA Quantum-2 InfiniBand hálózati platformját használják.

A vállalat adatai szerint a rendszer csomópontonként 3,2 Tbps sávszélességet biztosít. Az NVIDIA HGX H100 infrastruktúra egyetlen InfiniBand Fat-Tree Non-Blocking hálózati szöveten belül akár 16 384 H100 SXM5 GPU-ra is skálázható. A CoreWeave Cloud emellett NVIDIA BlueField adatfeldolgozó egységeket használ a H100-példányok biztonságos és rugalmas kiosztásához.

Ian Buck, az NVIDIA hiperskálázási és nagy teljesítményű számítástechnikai területért felelős alelnöke szerint a CoreWeave-hez hasonló fejlesztőkkel folytatott együttműködés segíti a nagy nyelvi modelleken és más mesterségesintelligencia-terheléseken dolgozó fejlesztőket.

Mit jelent ez a felhasználóknak?

Az Anlatan számára az új infrastruktúra elsősorban a NovelAI mögötti modellek fejlesztését és kiszolgálását támogatja. A forrás szerint a nagyobb rugalmasság, a gyorsabb betanítási iteráció és a skálázható klaszter lehetővé teszi, hogy a szolgáltató hatékonyabban dolgozzon a modelljein, majd azokat a NovelAI felhasználói számára elérhetővé tegye.

A bejelentés egyben azt mutatja, hogy a CoreWeave a nagy nyelvi modellekhez és más mesterségesintelligencia-feladatokhoz szabott GPU-felhőinfrastruktúrával bővíti kínálatát. Az NVIDIA szerint az együttműködés a fejlesztők számára teszi elérhetőbbé a HGX H100 GPU-kat, miközben az Anlatan az AI-alapú alkotói szolgáltatásának fejlesztésére koncentrálhat.