A DigitalOcean akár 90 százalékkal csökkenti a gyorsítótárazott tokenek díját
Általánosan elérhetővé vált a promptgyorsítótárazás a DigitalOcean Serverless Inference szolgáltatásában. A vállalat szerint a már feldolgozott bemeneti tokenek díja modellenként akár 90 százalékkal is csökkenhet, miközben az első tokenig eltelt idő akár 80 százalékkal rövidülhet.
- A promptgyorsítótárazás általánosan elérhető a DigitalOcean Serverless Inference szolgáltatásában.
- A gyorsítótárazott bemeneti tokenek díja modellenként akár 90 százalékkal csökkenhet.
- A cache affinity a korábbi kontextust tároló replikához irányítja a kéréseket.
- A szolgáltatás 256 ezer tokenes és annál nagyobb kontextusablakokat támogat.
- Új vezérlőpult mutatja a találati arányt, a modellbontást és a becsült megtakarítást.
A rendszer a korábban feldolgozott kontextust használja újra
A DigitalOcean október 23-i közleménye szerint a funkció a támogatott modelleken, a vállalat nyíltmodell-katalógusában érhető el. A használatához nincs szükség a kérések kódjának módosítására, a promptgyorsítótárazás automatikusan érvényes minden jogosult kérésre.
Az ügynökök minden új hívásnál hozzáadják az előző eszközhívás eredményét egy már meglévő kontextushoz. Ebben szerepelhet a rendszerutasítás, az eszközdefiníció, a beolvasott fájlok, valamint a korábbi műveletek és eredmények. A DigitalOcean szerint az ügynökök által küldött bemeneti tokenek több mint 90 százalékát a modell már korábban feldolgozta.
A gyorsítótárból kiszolgált bemenetekre modellenként akár 90 százalékos kedvezmény vonatkozik. A kedvezmény csak akkor érvényesül, ha a kérés ahhoz a replikához kerül, amely a megfelelő gyorsítótárat tárolja.
A cache affinity a megfelelő replikához irányítja a kéréseket
A DigitalOcean cache affinity nevű útválasztása megkeresi azokat a replikákat, amelyek már tartalmazzák a kérés kontextusának nagy részét. Ezután a terheléselosztás csak a meleg replikák között választ, mégpedig a kevésbé terhelt példányt részesítve előnyben. Ha egyik replika sem rendelkezik a kontextussal, a rendszer a teljes készlet között osztja el a kérést.
A vállalat szerint nincs szükség munkamenet-azonosító kezelésére, mert egy beszélgetés második üzenete már tartalmazza az elsőt, így az útválasztó önállóan felismeri az egyezést. A DigitalOcean októberi belső tesztjeiben a kiemelt modelleken a találati arány a 30 százalékos tartomány közepéről 90 százalék fölé emelkedett.
A GLM 5.3 esetében a vállalat 88 és 95 százalék közötti értékeket mért, míg a Kimi K3 benchmarkjában a prefix újrahasznosítása rövid promptoknál 84, hosszúaknál legalább 92 százalékos volt. A DigitalOcean hangsúlyozza, hogy ezek saját, 2026 októberében végzett tesztjeinek adatai, és a tényleges eredmények eltérhetnek.
Új vezérlők, nagyobb kontextusablak és mérési felület
Az általános elérhetőség két új fejlesztői vezérlőt is hoz. A prompt_cache_key segítségével egy DigitalOcean-fiókon belül külön lehet választani a forgalmi csoportokat. Így például a jogi és a marketingcsapat, illetve különböző ügyfelek gyorsítótárazott kontextusai nem osztoznak ugyanazon a gyorsítótáron. A különböző kulcsű kérések nem osztják meg a cache-t, a kulcs használata pedig opcionális.
A promptgyorsítótárazás mostantól a Chat Completions mellett a Responses API-ban is működik. Minden válasz jelzi, hány token származott a gyorsítótárból, és mennyi volt a nem gyorsítótárazott mennyiség. A szolgáltatás kontextusablakai 256 ezer tokenre és afölé emelkednek, így hosszabb kódbázisok, dokumentumok és beszélgetések nagyobb része használható újra egyetlen prefixként.
Az új vezérlőpult megjeleníti a találati arány időbeli alakulását, a modellenkénti bontást és a becsült dollárban kifejezett megtakarítást. A felhasználók így azonosíthatják azokat a promptokat, amelyek kevésbé profitálnak a gyorsítótárazásból. A funkció ma elérhető a DigitalOcean nyíltmodell-katalógusában, a lefedettséget a vállalat idővel bővíti.
DigitalOcean: Prompt Caching is GA on DigitalOcean Serverless Inference: Up to 90% Off the Context Your Agents Resend
