A Modal új eszközzel tesztelhetővé teszi az alternatív inference végpontokat
A Modal elérhetővé tette az Endpoint Candidates funkciót, amellyel a Dedicated Endpoints alternatív telepítései tesztelhetők éles forgalom egy mintáján. A felhasználók összehasonlíthatják a minőséget, a késleltetést, az áteresztőképességet és a költséget, majd a kiválasztott jelöltet a kezelőfelületről élesíthetik.
- Az Endpoint Candidates Dedicated Endpointek alternatív telepítéseit teszteli.
- A jelöltek a termelési forgalom konfigurálható mintáját kapják meg.
- A felhasználók a minőséget, a késleltetést, az áteresztőképességet és a költséget mérhetik.
- A kiválasztott Candidate a dashboardról élesíthető.
- A lassú tükrözések megszakíthatók, így a termelési forgalom folytatódik.
Modellek és telepítések kockázatmentesebb összevetése
A Modal 2026. október 12-i közlése szerint az Endpoint Candidates általánosan elérhető minden Modal-munkaterületen. A funkció a meglévő Dedicated Endpointekhez kínál alternatív telepítéseket, amelyek egy konfigurálható mintát kapnak a termelési forgalomból, miközben az infrastruktúrát a Modal működteti.
Az eredeti termelési végpont minden kérést továbbra is feldolgoz, és a felhasználók az ott előállított választ kapják. A Candidate ezzel párhuzamosan másolatot kap a forgalomból, így új modell-ellenőrzőpontok, illetve teljesen eltérő modellek is vizsgálhatók anélkül, hogy a fejlesztőknek saját forgalomtükrözési és telepítési infrastruktúrát kellene kialakítaniuk.
A Modal szerint a cél az inference, vagyis a modellek futtatásának teljesítményhangolása. A mérés négy fő szempontja a minőség, a késleltetés, az áteresztőképesség és a költség.
Saját modellek és terheléses mérések
Új Candidate létrehozásához egy meglévő Dedicated Endpointből kell kiindulni. A kezelőfelületen a felhasználó választhat a Modal katalógusában szereplő nyílt modellek közül, vagy saját súlyokat is betölthet egy Hugging Face-tárházból, illetve egy Modal Volume-ból.
A jelölt elkészülte után beállítható, hogy a termelési forgalom mekkora mintája jusson el hozzá. A dashboardon megtekinthetők a jelölt inference-mutatói, köztük a késleltetés és az áteresztőképesség, továbbá teljesítménytesztek futtathatók a terhelés alatti viselkedés vizsgálatához.
Minden Candidate saját URL-lel rendelkezik. Ezen keresztül a meglévő értékelések is lefuttathatók, így a fejlesztők a kimeneti minőséget külön is felmérhetik. Ha a jelölt bizonyul megfelelőnek, a dashboardról élesíthető. A Modal ekkor a meglévő Endpoint URL-en indítja el a termelési bevezetést, miközben a többi Candidate továbbra is elérhető marad a különálló teszteléshez.
A lassú jelöltek nem állíthatják meg a termelést
A forgalomtükrözés egyik technikai kihívása az volt, hogy egy lassú Candidate ne késleltesse az eredeti kérést. Különösen nagy kéréseknél az eltérő sebességgel olvasó jelöltek miatt a proxy jelentős mennyiségű adatot pufferelhetett.
A Modal ezért a Pingora-alapú proxyját úgy bővítette, hogy minden tükrözött Candidate számára külön, korlátozott méretű puffert hozzon létre. Ha egy puffer megtelik, a proxy megszakítja az adott tükrözött kérést, miközben a termelési kérés és a többi tükör tovább futhat.
A proxyfolyamatokban a tükrözések által megtartott törzsadatokra közös felső korlát is vonatkozik. A megosztott kérésdarabokat csak egyszer számítják bele a keretbe, és egy darab akkor szabadul fel, amikor az utolsó tükör is elengedte. Ha a következő adatdarab túllépné a keretet, a proxy megszakítja az adott kérés tükrözéseit, az eredeti kérés viszont folytatódik. A tükrözés ezért szándékosan best effort, vagyis nagy terhelés alatt a másolatok eldobhatók.
Az Endpoint Candidates standard Modal számítási díjszabással működik, beleértve a tükrözött kérésekhez felhasznált számítási kapacitást is. A vállalat további vezérlési lehetőségeket, több telepítési receptet és részletesebb összehasonlító mérőnézeteket tervez, valamint az ilyen kísérletek további automatizálásán dolgozik.
