A Modal új eszközöket mutatott be az ügynökalapú rendszerekhez
A Modal több új futtatási és infrastruktúra-funkciót mutatott be, köztük teljes Linux-környezetet biztosító VM Sandboxokat, többcsomópontos klasztereket és munkamenethez kötött kapcsolatokat. A bejelentéseket a cég első Runtime konferenciáján ismertette.
- A VM Sandbox teljes Linux-környezetet ad az ügynökalapú alkalmazásoknak.
- A Sidecarok elkülönítve kezelhetik a hitelesítő adatokat és a megbízható műveleteket.
- A Modal Clusters több csomóponton futó feladatokat támogat, és általánosan elérhetővé vált.
- A Sticky Sessions ugyanahhoz a konténerhez kötheti egy kliens kéréseit.
- Az Endpoint Candidates alternatív kiszolgálási beállítások összehasonlítását teszi lehetővé.
Teljes Linux-gépet kapnak az ügynökök
A Modal 2026. október 1-jei összefoglalója szerint a VM Sandboxes teljes Linux-számítógéphez adnak hozzáférést az ügynökalapú alkalmazásoknak. A környezetekben Docker-veremek, helyi adatbázisok és fejlesztői szerverek futtathatók, emellett grafikus környezetek és mobil-szimulátorok is használhatók. A Modal szerint az ügynökök akár magát a Linux-kernelt is vizsgálhatják vagy módosíthatják.
A szolgáltatás már olyan ügyfeleknél is használatban van, mint a Linear, a Legora és a Snorkel. A vállalat példakódja egy vm futtatási környezetű Sandbox létrehozását, majd egy Linux-rendszerinformációkat lekérő parancs végrehajtását mutatja be. A példában a kimenet: Linux modal 7.2.6.
Külön konténerek a megbízható műveletekhez
A Sandbox Sidecars olyan konténerek, amelyek a fő Sandbox mellett, ugyanazon a gépen futnak. A Modal szerint elkülönítésük megegyezik a különálló Sandboxokéval. Így az ügynök által létrehozott kód a fő Sandboxban dolgozhat, miközben a hitelesítő adatok, a proxyk és a vezérlési logika egy Sidecarban maradnak, amelyhez az ügynök közvetlenül nem férhet hozzá.
A konténerek közös gépen futnak, ezért a közöttük zajló kommunikáció helyben marad. Ez elkerüli a hálózati oda-vissza utakat, amelyek a sok végrehajtási ciklust használó ügynökalapú folyamatokban összeadódhatnak.
Elérhetővé váltak a többcsomópontos klaszterek
A Modal Clusters több összehangolt konténeren futó feladatokat támogat. A cég közlése szerint a technológiát másfél éven át tesztelték, most pedig egyetlen dekorátoron, az @modal.clustered használatával általánosan elérhetővé tették.
A klaszterek olyan munkákhoz készültek, amelyek több csomóponton futnak, például billió paraméteres modellek kiszolgálásához vagy tanításához. A Modal szerint a megoldást a Decagon utótréninghez, az 1x előtréninghez, a Runway pedig valós idejű következtetéshez használja.
Munkamenetek és tesztelhető végpontjelöltek
A Sticky Sessions funkció lehetővé teszi, hogy egy kliens kérései ugyanahhoz a futó Modal-konténerhez kapcsolódjanak. Az alkalmazás a kéréssel együtt munkamenet-tokent ad át, a rendszer pedig ennek alapján ugyanahhoz a konténerhez irányítja vissza a kapcsolatot. Ez a Modal szerint zökkenőmentes újracsatlakozást biztosíthat a felhasználóknak. A gyors konténerirányítás különösen fontos valós idejű használatnál, például hangmodellek kiszolgálásakor.
Az Endpoint Candidates az inference szerverek optimalizálását segíti. A fejlesztők a produkciós forgalmat egy alternatív kiszolgálási beállításra tükrözhetik, majd összevethetik a minőséget, a késleltetést, az áteresztőképességet és a költséget. Több jelöltet is előkészíthetnek, végül teljesítménymérés alapján dönthetnek a produkcióba emelésről. A funkció jelenleg kiválasztott ügyfelek zárt bétatesztjében érhető el, és a Modal szerint hamarosan általánosan hozzáférhető lesz.
