Az OpenAI javította a GPT-6 promptgyorsítótárát
Az OpenAI fejlesztette a GPT-6 család promptgyorsítótárát, amely alapértelmezés szerint magasabb találati arányt ígér. A fejlesztők most műszerfallal, hibakereső eszközzel és új vezérlési lehetőségekkel követhetik és optimalizálhatják a gyorsítótárazást.
- A GPT-6 promptgyorsítótára alapértelmezés szerint magasabb találati arányt kínál.
- A jogosult közös előtagok 30 perces időablakban újra felhasználhatók.
- A fejlesztők akár 90 százalékos kedvezményt kaphatnak a gyorsítótárazott bemeneti tokenekre.
- Új műszerfal és diagnosztikai eszköz segít a gyorsítótár teljesítményének vizsgálatában.
- A fejlesztők előmelegíthetik a gyorsítótárat, és szabályozhatják a gyorsítótárazott prompt-előtagokat.
A gyorsítótár a hosszú feladatoknál segít
Az OpenAI szerint a GPT-6 lehetővé teszi, hogy a tartósan működő ügynökök órákon át dolgozzanak összetett feladatokon. Ilyen lehet egy kódbázis átszervezése, illetve alaposan kutatott dokumentumok és prezentációk elkészítése.
Az ezek mögött álló alkalmazások egymásra épülő API-kéréseket küldenek. A kérések gyakran ugyanazokat az utasításokat, eszközdefiníciókat és korábbi kontextuselemeket viszik tovább. Az OpenAI ezt a közös kontextust gyorsítótárazza, így a rendszer újra felhasználhatja a korábban elvégzett számításokat.
Ez rövidebb válaszidőt eredményezhet, a fejlesztők pedig az OpenAI közlése szerint akár 90 százalékos kedvezményt kaphatnak a gyorsítótárból kiszolgált bemeneti tokenekre. A GPT-6 családdal bevezetett rendszerben a jogosult, közös előtagok 30 perces időablakon belüli újrafelhasználására is jár a kedvezmény.
Műszerfal és diagnosztika a gyorsítótár figyeléséhez
Az új Prompt Caching Dashboard azt mutatja meg, hogy az alkalmazás bemenetének mekkora része érkezik a gyorsítótárból. A fejlesztők időben követhetik a találati arányokat, az inputösszetételi grafikonon pedig összehasonlíthatják a gyorsítótárazott és a gyorsítótár nélküli tokeneket.
Az adatok segítségével észrevehetők a találati arány csökkenései, valamint megvizsgálható, hogy egy alkalmazás módosításai milyen hatással vannak a gyorsítótárazás teljesítményére. Váratlan gyorsítótárhiba esetén a prompt caching diagnosztikai eszköz összeveti a kérést egy korábbi, friss válasszal.
A vizsgálat feltárhatja, hogy a modell, az eszközök, a beállítások vagy a bemenet változása akadályozta meg az újrafelhasználást. A fejlesztő azt is megbecsülheti, hány token érintett. Az OpenAI példája szerint egy eszközváltozás miatt 5629 újrafelhasználható token maradt ki a gyorsítótárból.
A fejlesztők szabályozhatják, mi maradjon gyorsítótárban
Az OpenAI lehetővé teszi explicit gyorsítótár-határpontok megadását, így a fejlesztők kiválaszthatják, mely prompt-előtagokat szeretnék újra felhasználni. A frissített útmutató ismerteti a használat módját, a gyorsítótárazott előtagok jogosultságának időtartamát, valamint azt, hogyan befolyásolják az újrafelhasználást az eszközök és a bemenetek változásai.
GPT-6 modelleken a válaszok között módosítható a gondolkodási erőfeszítés anélkül, hogy ez megszakítaná a gyorsítótár használatát. A fejlesztő egy configuration_update hozzáadásával növelheti az erőfeszítést nehezebb feladatnál, vagy csökkentheti egy rutinszerű folytatásnál, miközben a kérés szintjén változatlanul hagyja ezt a beállítást.
Az OpenAI azt javasolja, hogy az ügynökök eszközdefiníciói, sémái és sorrendje maradjon stabil. Az allowed_tools csak a szükséges eszközöket teheti elérhetővé, a tool_choice pedig none értékkel kikapcsolhatja az eszközhasználatot a definíciók eltávolítása nélkül. Új utasítások a kontextus végére fűzhetők, hogy felülírják a korábbiakat.
A gyorsítótár előmelegítése szintén választható lehetőség. Az alkalmazás indulásakor előkészítheti a közös utasításokat, az eszközdefiníciókat vagy a referenciaanyagokat, így ez a feldolgozás még az első felhasználói kérés előtt megtörténhet. A bejelentést az OpenAI 2026. szeptember 22-én tette közzé. A fejlesztők a műszerfalat, a diagnosztikai eszközt és a gyorsítótárazási útmutatót használhatják a beállításaik javításához, illetve a Codex segítségével is felülvizsgálhatják a kódjukat és mérhetik az eredményeket.
OpenAI: Better prompt caching for GPT-6
