A Vercel Drainsen keresztül exportálhatók az AI Gateway nyomkövetései
A Vercel AI Gateway minden kéréshez OpenTelemetry nyomkövetést készít, amelyet a Pro és Enterprise csapatok a Vercel Drains segítségével külső megfigyelési rendszerekbe exportálhatnak. A trace-ek a teljes kérésfeldolgozást bemutatják, a prompt és a válasz tartalma nélkül.
- Az AI Gateway minden kéréshez OpenTelemetry trace-t készít.
- A Pro és Enterprise csapatok Vercel Drainsen exportálhatják a trace-eket.
- Natív integráció érhető el a Braintrust, a Dash0, a Kubiks, a Sentry és a Statsig számára.
- A trace-ek nem tartalmazzák a promptok és a válaszok szövegét.
- A díj 1000 kézbesített trace-enként és drainenként 0,05 dollár, plusz 0,50 dollár gigabájtonként.
Minden AI Gateway-kéréshez trace készül
A Vercel augusztus 5-én jelentette be, hogy az AI Gateway mostantól minden kéréshez OpenTelemetry trace-t, vagyis szabványosított nyomkövetési adatot készít. Ezek a trace-ek a kérés teljes életciklusát rögzítik, így egy helyen követhető, hogyan történt a modell- és szolgáltatói útválasztás, illetve sor került-e tartalék szolgáltató használatára vagy újrapróbálkozásra.
A nyomkövetések tartalmazzák a tokenhasználatra és a költségre vonatkozó adatokat, továbbá az első token megérkezéséig eltelt időt, a kérés teljes időtartamát és a válasz állapotát. Az egyes események projekt, telepítés, API-kulcs, környezet és egyedi címkék alapján is azonosíthatók.
A Vercel közlése szerint a Trace Drains nem tartalmazza a promptok vagy a modellválaszok szövegét. Ez azt jelenti, hogy az exportált adatok a működés és a teljesítmény megfigyelésére szolgálnak, miközben a kérés tartalma nem kerül bele a trace-ekbe.
Külső megfigyelési rendszerekbe küldhetők az adatok
A Pro és Enterprise csapatok az AI Gateway trace-eit Vercel Drainsen keresztül bármely OTLP/HTTP-kompatibilis végpontra továbbíthatják. A Vercel natív integrációkat is felsorol a Braintrust, a Dash0, a Kubiks, a Sentry és a Statsig szolgáltatásához.
A beállításhoz a csapat Drains beállításai között kell létrehozni egy AI Gateway Trace Drain konfigurációt. Itt kiválaszthatók a projektek, valamint megadható a mintavételezési arány. A mintavételezés szabályozza, hogy az adott drain mennyi forgalmat exportáljon, így a csapatok meghatározhatják az egyes külső végpontokra továbbított trace-ek mennyiségét.
A Vercel szerint a kézbesített AI Gateway-események darabszám, projekt, drain vagy forrás alapján tekinthetők meg. A részletes trace-adatokkal ellenőrizhető a szolgáltatói útválasztás, a tartalék útvonalak használata, a tokenfelhasználás és a válaszok állapota.
A díjazás a kézbesített trace-ekhez kapcsolódik
Az AI Gateway trace-einek díja 1000 trace-enként és drainenként 0,05 dollár. Ehhez hozzáadódik a Drains szokásos, az átvitt adatmennyiség gigabájtjára számított 0,50 dolláros díja.
Egy kérés akkor számít egy trace-nek, ha a kézbesítés sikeresen megtörtént az adott drain felé. Ez akkor is egyetlen elszámolt trace-et jelent, ha az AI Gateway a feldolgozás során több szolgáltatói próbálkozást hajtott végre. A sikertelen kézbesítések után a Vercel nem számít fel trace-díjat.
A felhasználók számára a bejelentés olyan megfigyelési lehetőséget ad, amellyel az AI Gateway-kérések útja és költsége külső rendszerekben is vizsgálható. A mintavételezési beállítások és a promptok, valamint a válaszok kizárása meghatározza, milyen mennyiségű és milyen tartalmú adat kerül továbbításra.
Vercel: Export AI Gateway traces with Vercel Drains
