A Fireworks AI egy végpont mögé szervezi a több régiós inferenciát
A Fireworks AI bevezette a GLOBAL opciót, amellyel egyetlen telepítés több földrajzi régió kompatibilis kapacitását használhatja. A vállalat szerint a megoldás a globális ütemezést leveszi a valós idejű következtetési kérések útvonaláról.
- A Fireworks AI bevezette a GLOBAL több régiót lefedő opciót.
- Egy telepítés több régió kompatibilis GPU-kapacitását használhatja egy végpont mögött.
- A rendszer előre készített útválasztással tartja távol a globális ütemezést a kérés útvonalától.
- A közölt vizsgálatban a többklaszteres csoport sikeraránya 99,269 százalékról 99,992 százalékra nőtt.
- A Fireworks szerint az eredmények megfigyeléses jelek, nem A/B-tesztből származó általános ígéret.
Egy telepítés több régió kapacitásával
A Fireworks AI szeptember 28-án ismertetett megoldása azoknak a csapatoknak szól, amelyek több régióban szeretnék futtatni munkaterheléseiket anélkül, hogy külön végpontokat és egyedi átirányítási logikát kellene kezelniük. A GLOBAL beállítás egy telepítési identitás és egy végpont mögé szervezi a földrajzilag szétszórt infrastruktúrát.
A vállalat több mint 30 régióban, több tucat felhőszolgáltatón át működtet GPU-kapacitást. A Fireworks szerint egyetlen régió kapacitása önmagában korlátot jelenthet, miközben a szükséges, kompatibilis gyorsítók egy másik adatközpontban is elérhetők lehetnek az Egyesült Államokban, Európában, Kanadában vagy az ázsiai és csendes-óceáni térségben.
A GLOBAL mellett a szolgáltatás az US, EUROPE, APAC és CANADA több régiót lefedő határokat is támogatja. A felhasználó választja ki az adatkezelési és lokalitási követelményeknek megfelelő keretet, az ütemező pedig ezen belül keres működőképes elhelyezést.
A kérés feldolgozásakor nem kérdezik végig a régiókat
A Fireworks architektúrája előre készíti el az elhelyezési tervet. A DNS a közelség és az állapot alapján egészséges átjáróhoz irányítja a kérést, az átjáró pedig az előre közzétett útválasztási információból választja ki az első célpontot. Bizonyos hibák esetén, ha a szabályzat és a kérés újrapróbálása ezt lehetővé teszi, egy másik célpontra is átirányíthatja a kérést.
Ez nem jelenti azt, hogy a földrajzi távolság hatása eltűnik. A kiválasztott számítási kapacitás hálózati távolsága továbbra is számít, a megoldás viszont elkerüli a kérésenkénti globális ütemezési lépést és az összes régió egyenkénti vizsgálatát.
A rendszer közben figyelembe veszi a gyorsítók típusát és hardverkövetelményeit, a kvóta- és költségkorlátokat, a megbízhatósági szinteket, a megfelelőségi határokat, valamint az adatok tartózkodási helyére és az elhelyezésre vonatkozó feltételeket.
A Fireworks mérésében javult a kérésenkénti sikerarány
A Fireworks egy hétnapos éles környezetben végzett vizsgálatot is közölt. A globálisan elhelyezhető, külső ügyfelekhez kötött csoportban azoknál a telepítési napoknál, amelyek legalább két kiszolgálóklasztert érintettek, a kérésenkénti sikerarány 99,269 százalékról 99,992 százalékra nőtt az egy régióban működő telepítésekhez képest.
A vállalat ezt a globálisan elhelyezhető ügyféltelepítésekre kitűzött 99,99 százalékos megbízhatósági cél támogatásaként értékeli. Ugyanakkor a Fireworks hangsúlyozza, hogy megfigyeléses jelekről van szó, nem A/B-tesztről vagy általános rendelkezésre állási ígéretről. A kiszolgálóklaszterek nem egységesített régiókat jelölnek, a forgalom néhány fiókra koncentrálódott, és az összevetett ügyfélpárok eredményei vegyesek voltak.
A vállalat egy egyszerű példával magyarázza a változást: ha egy telepítésnek nyolc csomópontra van szüksége, Virginiában pedig négy, Iowában további négy megfelelő hely áll rendelkezésre, a régi, egyetlen régióhoz kötött ütemező elutasította a kérést. Az új modell a 4+4 kapacitást együtt képes felhasználni. Ez a felhasználóknak egy végpontot és kevesebb kézi tartalékkezelést jelent, miközben a tényleges régióválasztást a megadott korlátok között a rendszer végzi.
Fireworks AI: Fireworks AI
