A Mercor 12 óráról 2 órára gyorsította AI-feladatait a Vercellel

A modellkapacitás közvetlenül határidővé vált

A Mercor több százezer szakértőt kapcsol össze vezető AI-laborokkal, amelyek emberi adatokat használnak modellek betanításához és értékeléséhez. A vállalat emellett automatizált osztályozási feladatokat is futtat laborok és vállalatok számára.

A kereslet időszakosan megugorhat, ilyenkor a modellforgalom napokig elérheti a szolgáltatók kapacitásának csúcsát. Egy-egy értékelési vagy címkézési feladatnak közben 24 órás határideje lehet. A Mercor korábbi, közvetlen integrációkból és külső átjárókból álló rendszere nem biztosított elegendő, percenkénti tokenkapacitást a nyílt modellekhez. Amikor a kérések elérték a szolgáltatói korlátokat, újrapróbálkozási sorokba kerültek, a kötegelt feladatok pedig 12 óránál is tovább tarthattak.

A Vercel közlése szerint az AI Gateway további következtetési kapacitást és szolgáltatók közötti tartalék útvonalat biztosított. Így a kérések a korlát elérésekor nem feltétlenül várakoznak a sorban. A Mercor beszámolója alapján a feladatok jelenleg 2-3 óra alatt futnak le, így több idő marad a megrendelői munka többi részére.

63 milliárd token tíz nap alatt

A Mercor az AI Gateway első 10 napjában 18 millió kérést és 63 milliárd tokent irányított át úgy, hogy közben nem ütközött sebességkorlátokba. A vállalat továbbra is több átjárót és szolgáltatót használ, a Vercelt pedig a modellhozzáférés, a vezérlési lehetőségek és a kapacitásbővítéshez nyújtott támogatás kombinációja miatt alkalmazza.

A mérnökök egyetlen API-n keresztül érhetnek el vezető alapmodelleket és egyre bővülő nyíltmodell-katalógust. Ez lehetővé teszi számukra, hogy új modellt próbáljanak ki anélkül, hogy minden szolgáltatóhoz külön integrációt kellene építeniük.

A Mercor több száz mérnöke személyenkénti kulcsokkal használja a nyílt modelleket. Ezekhez lejárati idő, tokenkorlát és költési limit rendelhető. A biztonsági csapat így kísérletezési keretet és végdátumot adhat, miközben a használati adatok alapján láthatja, melyik felhasználó, projekt vagy munkafolyamat generálja a fogyasztást.

Kétezernél több belső projekt

A Mercor üzleti csapatainak néhány száz tagja már alkalmazásokat készít a Vercelen. A projektek száma kevesebb mint egy tucatról nagyjából 2000-re nőtt, és sok közülük egy-egy ügyfélmegbízáshoz létrehozott ideiglenes környezet.

Az egyik éles használati esetben a szakértők részletesen láthatják feladataikat és azok állapotát. Az üzleti csapatok maguk készítik el és osztják meg ezeket a felületeket, így nem kell minden megbízás kezelőfelületét a központi platformba beépíteni.

A hozzáférés kezeléséhez a Mercor a Vercel Passportot használja. A megoldás egy meglévő személyazonosság-szolgáltatón keresztül kezeli a Vercelen telepített alkalmazásokba való bejelentkezést. A vállalat identitáscsapata létrehozta az Audiences nevű terméket, amely automatizálja a hozzáférés kiosztását. A megfelelő szakértők kiválasztása után létrehozza az identitásszolgáltatói csoportot, a Vercel-kapcsolatot és a Passport-beállítást.

A Mercor szerint ez a folyamat néhány másodperc alatt ad hozzáférést néhány tucat vagy akár több tízezer szakértőnek. A jogosultság visszavonása ugyanígy működik: a megbízás végén az identitásszolgáltatói csoport törlése megszünteti a projekt elérését.

Szűk jogosultságok az ügynököknek

A Mercor ügynököket használ a szakértők kérdéseinek megválaszolására, HR-folyamatok automatizálására és a belső rendszerekben való eligazodás támogatására. A vállalat minden ügynöknek a feladatához illeszkedő, szűk jogosultságokat ad, ahelyett hogy az őt elindító személy teljes hozzáférését biztosítaná.

Az AI Gatewayen keresztül használt nyílt modelleknél az elérhető modellek köre, a lejárati idő és a költési limit is szabályozható. A Mercor szerint a következő időszakban több nyílt modell kerülhet a belső ügynökök és rendszerek mögé, miközben egyre több, mérnökségen kívüli csapat készít eszközöket a szakértők számára. A céljuk, hogy a modellintegrációk és az alkalmazás-hitelesítés beállítása kevesebb időt vegyen igénybe, miközben a biztonsági munka ne növekedjen ugyanilyen ütemben.