A Fireworks AI globális telepítést kínál egyetlen végponttal

Egy telepítés több régió kapacitásával

A Fireworks AI szeptember 28-án ismertette több régiót kezelő telepítési rendszerét. A vállalat több mint 30 régióban, több tucat felhőszolgáltatón keresztül működteti infrastruktúráját, de a korábbi ütemező egy telepítést mindig egyetlen régióhoz kötött.

Ez mesterséges kapacitáskorlátot hozott létre. Ha egy munkaterhelés nyolc csomópontot igényelt, Virginia pedig négy, Iowa pedig további négy megfelelő csomóponttal rendelkezett, a régi rendszer mégis elutasította a kérést, mert egyik régió sem tudta önállóan biztosítani mind a nyolc csomópontot. Az új architektúrában a két régió kapacitása egyetlen végpont alatt összeadható.

A GLOBAL beállítás mellett a rendszer figyelembe veszi a gyorsítótípusokat és hardverkövetelményeket, a kvóta- és költségkorlátokat, a megbízhatósági szinteket, a megfelelési szabályokat, valamint az adatkezelési és földrajzi elhelyezési feltételeket.

A kérésenkénti útvonalon nincs globális ütemezői kör

A Fireworks AI közlése szerint a GLOBAL mód nem indít minden kérésnél külön globális ütemezői kört, és nem vizsgálja végig az összes régiót. A DNS a közelség alapján egészséges átjárókhoz irányítja a kéréseket, az átjáró pedig előre elkészített útválasztási információ alapján választja ki az első célpontot.

Minősített hiba esetén az átjáró újabb célpontra próbálhat továbbítani, ha ezt az útválasztási szabályzat és a kérés újrapróbálhatósága lehetővé teszi. A fizikai hálózati távolság továbbra is számít, ezért a közeli átjáró nem feltétlenül küld közeli számítási kapacitáshoz. A kialakítás a kérésenkénti globális útválasztási lépést hagyja el, a földrajzi késleltetést nem szünteti meg.

A Fireworks AI szerint Ishan Gupta, a Juicebox vezérigazgatója úgy fogalmazott: „A Fireworksnél nem kellett a késleltetést a megbízhatóságért cserélnünk.”

A vállalat 99,992 százalékos sikerarányt mért

A Fireworks AI egy hétnapos élesüzemi vizsgálatban hasonlította össze az egy- és több régiós telepítéseket. A külső ügyfelekhez kötött, globálisan elhelyezhető csoportban azoknál a telepítésnapoknál, amikor legalább két kiszolgálóklaszter működött, a kérésenkénti sikerarány 99,269 százalékról 99,992 százalékra emelkedett az egyrégiós telepítéshez képest.

A cég ezt a globálisan elhelyezhető ügyféltelepítésekre kitűzött 99,99 százalékos megbízhatósági céljához kapcsolja. A közlemény ugyanakkor hangsúlyozza, hogy megfigyeléses adatokról van szó, nem A/B tesztről vagy általános üzemidő-ígéretről. A kiszolgálóklaszterek infrastruktúra-klasztereket jelölnek, nem egységesített régiókat, a forgalom pedig néhány fiókra koncentrálódott.

A felhasználó választja ki a földrajzi határt

A Fireworks többféle hatókört támogat: GLOBAL, US, EUROPE, APAC és CANADA. A vállalat azt javasolja, hogy az ügyfelek a munkaterhelésük helyi és adatelhelyezési követelményei által megengedett legszélesebb határt válasszák. Ha nincs ilyen korlátozás, a GLOBAL több kompatibilis kapacitást adhat az ütemezőnek, és lehetővé teheti az újratervezést, ha egy megfelelő csomópont máshol érhető el.

A felhasználók a régiókatalógusban ellenőrizhetik az elérhető helyszíneket és hardvereket. A Fireworks AI szerint a több régiós működés egyetlen végpontot és egységes telepítési identitást biztosít, miközben a globális infrastruktúra kezelésének összetettségét a szolgáltató oldala kezeli.