32 ezres kontextusú modellek és új RunPod-funkciók érkeztek
A RunPod második RoundUp-összefoglalója a 32 ezres tokenkontextusú nagy nyelvi modelleket, a Global Volumes bétáját és új StabilityAI-ajánlatokat emel ki. A bejegyzés egy OpenJev-telepítési útmutatót, valamint az AI-számítási kapacitás felhasználásáról szóló adatokat is bemutat.
- Bétában elérhető a Global Volumes a RunPod Serverless végpontjaihoz.
- A modell súlyai egyszer tárolhatók, majd több adatközpontból olvashatók.
- Az OpenJev egy 27 milliárd paraméteres döntési modell strukturált válaszokkal és konfidenciapontszámokkal.
- Az ügynökök a felhasználók 8, a bevétel 24 százalékát adják a RunPod szerint.
- Az alacsonyabb precizitás egyre inkább éles környezetben használt stratégia nagy modelleknél.
Bétában a Global Volumes a Serverless végpontokhoz
A RunPod szerint a Global Volumes már bétaállapotban használható a Serverless végpontokhoz. A funkcióval egy Global Volume kapcsolható egy RunPod Serverless-végponthoz, így a munkavégzők azon adatközpontok bármelyikében elindulhatnak, ahol elérhetők a szükséges GPU-típusok.
A megoldás lényege, hogy a modell súlyait egyszer kell eltárolni, ezután azok bárhonnan olvashatók. A RunPod ezt úgy foglalja össze, hogy a felhasználók egyszer tárolják a modell súlyait, majd bármelyik helyről hozzáférhetnek. A bejegyzés a Global Volumes funkciót kifejezetten a Serverless végpontokkal összefüggésben mutatja be.
Útmutató az OpenJev telepítéséhez
Az összefoglaló külön útmutatót közöl arról, hogyan telepíthető az OpenJev a RunPod Serverless rendszerében. Az OpenJev egy 27 milliárd paraméteres döntési modell, amely strukturált válaszokat és konfidenciapontszámokat ad vissza.
Az útmutató egy Serverless terheléselosztó-végpont, vagyis load balancer endpoint létrehozását ismerteti. A RunPod leírása szerint ezt követően a felhasználó cURL-lel és Pythonnal is elküldheti az első kérését. A bejegyzés így a modell telepítését és az első lekérdezés elindítását egyaránt a bemutatott folyamat részévé teszi.
Mit mutat a State of AI Compute?
A RunPod az idei AI-fejlesztési tapasztalatait is összefoglalja a State of AI Compute című anyagban. A közlés szerint az ügynökök a felhasználók 8 százalékát teszik ki, ugyanakkor a bevétel 24 százalékát hozzák.
A RunPod további megállapítása szerint egy új modellverzió körülbelül egy hónap alatt átveheti a saját modellcsaládja munkaterheléseit. Az összefoglaló arra is kitér, hogy a kisebb pontosságú számábrázolás, vagyis az alacsonyabb precizitás, egyre inkább éles környezetben alkalmazott stratégia a nagy modellek esetében.
Mit jelent ez a RunPod felhasználóinak?
A bejelentett funkciók és útmutatók alapján a RunPod három területet emel ki. A Global Volumes a modellfájlok több adatközpontból történő elérését célozza, az OpenJev-útmutató konkrét telepítési és lekérdezési lépéseket mutat be, a State of AI Compute pedig arról közöl adatokat, hogy a csapatok milyen AI-munkaterheléseket futtatnak.
A 2026. október 10-én közzétett RoundUp címe a 32 ezres tokenkontextusú nagy nyelvi modelleket és az új StabilityAI-ajánlatokat is kiemeli. A megadott összefoglaló ezekről további részleteket nem közöl.
RunPod: Runpod RoundUp 2: 32k Token Context LLMs, StabilityAI
