RunPod: globális kötetek és batch inference a Serverlesshez
A RunPod Global Volumes néven bétatesztel egy olyan tárolási funkciót, amely Serverless-végpontokhoz kapcsolva több adatközpontból is elérhetővé teszi a modell súlyait. A Q3 2026-os bejelentés emellett a Flash CLI Nix-támogatását és egy Axolotlra épülő LLM-finomhangolási útmutatót is bemutat.
- A Global Volumes béta már csatolható RunPod Serverless-végpontokhoz.
- A modell súlyai több, támogatott adatközpontból is olvashatók.
- A Flash CLI első osztályú Nix flake-et kapott.
- Az Axolotl-útmutató 27B Qwen és 128B Mistral Medium 3.5 modelleket használ.
- A finomhangolt modellek SillyTavern, KoboldCpp és text-generation-webui alatt is használhatók.
A modell súlyai több adatközpontból is elérhetők
A RunPod közlése szerint a Global Volumes jelenleg bétaállapotban érhető el a Serverless-végpontokhoz. A felhasználó egy Global Volumet csatolhat a végponthoz, ezután a munkavállalók bármely olyan adatközpontban elindulhatnak, ahol a választott GPU-típusok rendelkezésre állnak.
A tárolási megoldás lényege, hogy a modell súlyait egyszer kell elhelyezni, majd azok több helyről is olvashatók. A RunPod ezt úgy fogalmazza meg, hogy a súlyokat egyszer kell tárolni, és bárhonnan hozzáférhetők. A forrás nem közöl további adatokat a béta elérhetőségéről, korlátairól vagy a használat költségeiről.
A Flash CLI első osztályú Nix-támogatást kapott
A Flash mostantól első osztályú Nix flake-et tartalmaz. A parancssori eszköz közvetlenül a GitHubról futtatható a nix run github:runpod/flash paranccsal.
A közlemény szerint a felhasználók rögzített fejlesztői környezetet is kaphatnak, majd GPU-s feladatokat küldhetnek a RunPod Serverless szolgáltatására. A bejelentés nem részletezi, milyen további változások érkeztek a Flashbe, illetve milyen feltételek mellett használható a funkció.
Útmutató LLM-ek finomhangolásához Axolotllal
A RunPod egy gyakorlati útmutatót is közzétett az első LLM-finomhangolás elvégzéséhez Axolotl használatával, majd a modell hosztolásához. Az útmutató olyan nyílt súlyú nyelvi modellekre összpontosít, amelyek egy adott személy vagy szerep stílusát tanulhatják meg. A forrás példaként említi a szlenget, a válaszok hosszát, a humort, valamint a szerepjátékokban és kreatív írásban használt kommunikációt.
A folyamathoz a közlemény szerint szintetikus vagy valódi beszélgetési naplók, néhány órányi adat-előkészítés és egyetlen GPU-pod szükséges. Az útmutató a nyers üzenetektől a használható modellig vezeti végig az olvasót.
A bemutató két alapmodellt használ: egy 27B paraméteres Qwen-modellt és a 128B paraméteres Mistral Medium 3.5 modellt. Az elkészült modell a forrás szerint SillyTavern, KoboldCpp vagy text-generation-webui használatával is chatelhető. A RunPod azt írja, hogy a teljes folyamatot elejétől a végéig tesztelték, és a tapasztalt hibákat is feltüntették a hibaelhárítási részben.
Mit jelent ez a felhasználóknak?
A Global Volumes a Serverless-végpontokat használó fejlesztők számára azt jelentheti, hogy ugyanazokat a modellfájlokat több, eltérő adatközpontból induló munkavállaló is elérheti. A Flash Nix-integrációja közvetlenebb fejlesztői munkafolyamatot kínálhat azoknak, akik Nix-alapú környezetben dolgoznak.
Az Axolotl-útmutató közben a saját beszélgetési adatokkal végzett modellfinomhangolást mutatja be, a nyers üzenetektől a három megnevezett klienssel használható modellig. A RunPod Q3 2026-os közleménye mindhárom újdonságot a GPU-s feladatok futtatásához és az LLM-ek kezeléséhez kapcsolódó fejlesztésként ismerteti.
