Batch inference: akár 50 százalékkal olcsóbb AI-feldolgozás
A batch inference nagy mennyiségű AI-kérést egyetlen aszinkron feladatként dolgoz fel, így az eredmény nem azonnal, hanem később érkezik meg. A DigitalOcean szerint az OpenAI és Anthropic modelljeihez indított kötegelt kérések akár 50 százalékkal olcsóbbak lehetnek a valós idejű feldolgozásnál.
- A batch inference nagy számú AI-kérést egyetlen aszinkron feladatként dolgoz fel.
- A DigitalOcean szerint az OpenAI és Anthropic modelljeinél akár 50 százalékkal alacsonyabb lehet a költség.
- A DigitalOcean batch feladatai 24 órás teljesítési ablakban futnak.
- A kötegelt forgalom külön sebességkorlátokat használ a valós idejű forgalomhoz képest.
- A megoldás dokumentumfeldolgozásra, osztályozásra és értékelésekre alkalmas, interaktív funkciókra kevésbé.
Tömeges feladatokhoz készült
A batch inference, más néven offline vagy aszinkron következtetés, azt jelenti, hogy egy AI-modell egyszerre nagy számú kérést dolgoz fel. A felhasználó egy fájlban adja át a kéréseket, a rendszer pedig sorba állítja és feldolgozza őket. Az eredmények később, egy eredményfájlban érkeznek meg.
Ez azoknál a feladatoknál lehet hasznos, amelyeknél nem szükséges néhány másodpercen belül választ kapni. Ilyen lehet például dokumentumok adatainak kinyerése, ügyfélszolgálati jegyek osztályozása, termékértékelések címkézése, értékelési tesztek futtatása vagy szintetikus tanítási adatok létrehozása.
A DigitalOcean Inference Engine szolgáltatásában a batch kérések az OpenAI és Anthropic szöveges modelljeit támogatják. A nyílt súlyú modellek jelenleg nem támogatottak.
Akár 24 órás feldolgozási ablakkal
A valós idejű következtetés minden kérést külön kezel, miközben az alkalmazás vagy a felhasználó a válaszra vár. A batch inference ezzel szemben több ezer kérést dolgoz fel párhuzamosan, az eredményeket pedig a feladat befejezésekor adja vissza.
A DigitalOcean esetében a kötegelt feladatok teljesítési ablaka 24 óra. A batch forgalomhoz külön sebességkorlátok tartoznak, így a futó feladat nem fogyasztja a valós idejű forgalom kvótáját. A kész eredmények külön fájlba kerülnek, a hibás kérések pedig egy másik hibafájlba. Ezeket a fájlokat a szolgáltatás legfeljebb 30 napig tartja meg.
A használat öt fő lépésből áll: a bemenetek összegyűjtése JSONL formátumban, a kötegelt feladat létrehozása, a rendszer általi sorba állítás és feldolgozás, az eredmények átvizsgálása, végül az eredmény- és hibafájlok letöltése. Minden kéréshez egyedi azonosító tartozik, így az eredmény visszakapcsolható a bemenethez.
Költség, kapacitás és gyakorlati példák
A DigitalOcean közlése szerint a batch kérések az OpenAI és Anthropic modelleknél akár 50 százalékkal kevesebbe kerülnek a valós idejű díjaknál. A szolgáltató csak a befejezett kérések után számláz, a sikertelen vagy lejárt feladatok feldolgozatlan része nem jelenik meg a számlán.
A platform az átmeneti hibákat, köztük a 429, 408 és 5xx válaszkódokat, legfeljebb két alkalommal újrapróbálja. Egyetlen sikertelen kérés nem állítja le az egész köteget. A feladatok alacsonyabb ütemezési prioritással, megosztott, csúcsidőn kívüli GPU-kapacitáson futhatnak, így a rendszer az alacsonyabb költséget a gyorsaság feladásával éri el.
A DigitalOcean mérnökei 250 000 fogyasztói panaszt dolgoztak fel hét batch feladatban. A legnagyobb, 40 000 kérésből álló feladatok 1,4 és 2,2 óra alatt készültek el. A számított költség 7,04 dollár volt, szemben az azonos tokenmennyiség szerver nélküli díjszabás szerinti 14,07 dollárjával.
A megoldás azoknak a fejlesztőknek lehet megfelelő, akik nagy mennyiségű, egymástól független kérést futtatnak, és meg tudják várni az eredményeket. Interaktív csevegéshez, ügynökökhöz, kereséshez vagy olyan feladatokhoz, amelyek perceken belüli választ igényelnek, a DigitalOcean útmutatója szerint a valós idejű feldolgozás illik jobban.
DigitalOcean: Whats is Batch Inference? (2027)
