A Modal új eszközöket jelentett be az AI-ügynökök és modellek számára
A Modal több új futtatási és infrastruktúra-funkciót jelentett be első konferenciáján. A csomagban virtuális gépet kínáló Sandboxok, elkülönített Sidecar konténerek, többgépes klaszterek és rugalmasabb végpontkezelési eszközök is szerepelnek.
- A VM Sandbox teljes Linux-környezetet biztosít az AI-ügynököknek.
- A Sidecar konténerek elkülönítik a hitelesítő adatokat és a megbízható műveleteket.
- A Modal Clusters többgépes feladatokat támogat az @modal.clustered dekorátorral.
- A Sticky Sessions ugyanahhoz a futó konténerhez köti az ügyfél munkamenetét.
- Az Endpoint Candidates segítségével több kiszolgálási beállítás hasonlítható össze.
Teljes Linux-környezet az AI-ügynököknek
A Modal október 1-jei összefoglalója szerint a vállalat első Runtime konferenciáján mutatta be a VM Sandbox funkciót. Ez az AI-ügynökök számára teljes Linux-számítógéphez biztosít hozzáférést, így az ügynökök Docker-környezeteket, helyi adatbázisokat és fejlesztői szervereket futtathatnak.
A környezet grafikus felületek és mobil-szimulátorok futtatására is használható, sőt a Modal példája szerint az ügynökök magával a Linux-kernellel is dolgozhatnak. A vállalat szerint a VM Sandboxokat már a Linear, a Legora és a Snorkel is használja kódolási ügynökökhöz és tesztelési feladatokhoz.
A Modal dokumentációjában szereplő példa a runtime="vm" beállítással hoz létre Sandboxot, amelyben az uname parancs a Linux 7.2.6 verziót írja ki.
A Sidecar elkülöníti a megbízható műveleteket
A Sandbox Sidecars olyan konténerek, amelyek a fő Sandbox mellett, ugyanazon a gépen futnak, miközben a különálló Sandboxokhoz hasonló elszigetelést kapnak. Ez lehetővé teszi, hogy az ügynök által létrehozott kód a fő Sandboxban fusson, a hitelesítő adatok, a proxyk és az egyéb megbízható műveletek viszont egy olyan Sidecarban maradjanak, amelyhez az ügynök közvetlenül nem fér hozzá.
A konténerek közös gépen futnak, ezért a közöttük zajló kommunikáció helyben marad. A Modal szerint ezzel elkerülhetők a hálózati körutak, amelyek a sok végrehajtási lépést tartalmazó ügynöki folyamatokban összeadódhatnak.
Többgépes klaszterek egyetlen dekorátorral
A Modal Clusters több összehangolt konténeren futó feladatokat támogat. A vállalat másfél éve teszteli ezt az alapvető futtatási elemet, amely mostantól általánosan elérhető az @modal.clustered dekorátoron keresztül.
A klaszterek olyan munkákhoz készültek, amelyek több gépen futnak, például billió paraméteres modellek kiszolgálásához vagy tanításához. A Modal közlése szerint a technológiát a Decagon utólagos tanításhoz, az 1x előtanításhoz, a Runway pedig valós idejű következtetéshez használja.
Állapotmegőrzés és tesztelhető végpontjelöltek
A Sticky Sessions funkcióval az ügyfél interakciói ugyanahhoz a futó Modal-konténerhez köthetők. Az alkalmazás a kérésekhez munkamenet-azonosítót ad át, így a forgalom visszairányítható ahhoz a konténerhez, amelyen a munkamenet elindult. Ez az alkalmazások számára lehetővé teszi az állapot megőrzését a kérések között, a felhasználóknak pedig zökkenőmentes újracsatlakozást kínálhat. A Modal külön kiemeli a hangmodellek kiszolgálását, ahol fontos a konténerek gyors elérése.
Az Endpoint Candidates az inference-szerverek optimalizálását segíti. A fejlesztők a produkciós forgalmat egy alternatív kiszolgálási beállításra tükrözhetik, majd összehasonlíthatják a minőséget, a késleltetést, az áteresztőképességet és a költséget. Több jelölt is előkészíthető, mielőtt valamelyiket éles környezetbe emelnék. Ez a funkció jelenleg kiválasztott ügyfeleknél privát bétában érhető el, és a Modal szerint hamarosan általánosan hozzáférhető lesz.
