Az OpenRouter Batch API-ja akár féláron dolgozza fel a kéréseket

Nagyobb feladatokhoz készült a Batch API

Az OpenRouter szeptember 22-én jelentette be a Batch API-t, amely aszinkron módon kezeli a kéréseket. A felhasználó egyetlen kötegben küldheti el a feldolgozandó feladatokat, a szolgáltató pedig maga választhatja meg, mikor végzi el ezeket a következő 24 órában.

A konstrukció olyan munkafolyamatokra alkalmas, ahol a válaszidő jelentősen változhat, és nem szükséges azonnali eredmény. A példák között szerepel egy szövegkorpusz címkézése, a beágyazások utólagos létrehozása, egy értékelési adathalmaz pontozása, a felhalmozódott ügyfélszolgálati jegyek összefoglalása, valamint ugyanazon felszólítás lefuttatása több ezer soron egy éjszaka alatt.

Az OpenRouter közlése szerint a Batch API már több mint 70 modellen működik. A kedvezmény a tokenenkénti díjra vonatkozik, mértéke modellenként eltérő. A webes keresések a normál díjszabás szerint számlázódnak.

A kötegek többsége percek alatt elkészül

Az OpenRouter a két héten át tartó bétaidőszakban több mint 230 ezer befejezett köteget vizsgált meg. Ezek medián feldolgozási ideje 7 perc volt, 90 százalékuk pedig egy órán belül elkészült. A 99. percentilis 10,3 órát ért el.

A feldolgozási időre a benyújtás időpontja nagyobb hatással volt, mint a kérések száma. A Csendes-óceáni idő szerint reggel 5 és dél között elküldött kötegek jelentősen lassabbak voltak. A leglassabb 10 százalék feldolgozása 2 és 4,5 óra között tartott. Más időpontokban a 90. percentilis 1,1 óra alá csökkent, este 6 óra után pedig 50 perc alatt maradt.

Egyetlen kérést tartalmazó köteg az időponttól függően 5 és 11 perc alatt készült el. Az ezer vagy annál több kérést tartalmazó kötegek 12 és 21 perc között fejeződtek be. A több mint 100 kérésből álló, éjfél és dél között benyújtott kötegek leglassabb tizedének feldolgozása akár 6,8 órát is igénybe vehetett.

Így működik, és ezek a korlátozásai

A fejlesztők a POST /api/v1/batches végponton küldhetik el a kérések listáját, és megadhatják a használni kívánt végpont formátumát. A rendszer támogatja a chat completions, responses, messages és embeddings végpontokat is. A feldolgozás után a köteg állapotát a GET /api/v1/batches/:id lekérdezéssel lehet ellenőrizni, amíg az állapot completed, failed, expired vagy cancelled nem lesz. A befejezett kötegek eredményei ugyanabban a válaszban jelennek meg.

Minden köteget egyetlen szolgáltató hajt végre. Alapértelmezésben az OpenRouter a modellhez elérhető legolcsóbb kötegelt végpontot választja ki, miután figyelembe vette a szolgáltatói engedélyezési listát, az adatkezelési szabályokat és a BYOK-beállításokat. Beállított szolgáltatói kulcs esetén az ezt támogató szolgáltatóknál a kérés a felhasználó kulcsán keresztül fut, és csak a BYOK-díjat kell megfizetni.

Az eredmények kérésenként külön érkeznek, így néhány hibás sor nem állítja le a teljes feladatot. A bemeneteket és az eredményeket a rendszer 30 napig őrzi, vagy addig, amíg a felhasználó nem törli a köteget. Minden köteg megjelenik a naplók Batches lapján, a modellel, a szolgáltatóval, az állapottal és a költséggel együtt.

A képeknek és fájloknak nyilvános URL-ről kell elérhetőnek lenniük. A kötegelt feldolgozás jelenleg nem támogatja a hangot, a videót és az OpenRouter saját webes keresési bővítményét. A használathoz egy Batch API-kompatibilis modell, egy API-kulcs és az első köteg elküldése szükséges az OpenRouter végpontjára.