A SambaCloud gyorsítja és olcsóbbá teszi a MiniMax M3 hosszú kéréseit

Automatikus gyorsítótárazás a hosszú kontextusokhoz

A SambaNova október 7-i bejelentése szerint a prompt caching, amelyet a vállalat korábban a MiniMax M2.7 mellett vezetett be a SambaCloudon, most a MiniMax M3-mal is használható. A funkció az Automatic Prefix Caching rendszerére épül, és a fejlesztőknek nem kell hozzá kódot módosítaniuk.

Azok a kérések jogosultak gyorsítótárazásra, amelyek elején legalább 4096 token hosszú, stabil előtag található. A legnagyobb gyorsítótárazható hossz 192 000 token. Ha egy új kérés kezdő tokenjei megegyeznek egy nemrég feldolgozott előtaggal, a SambaCloud a már eltárolt részt használja fel, és csak az új tokeneket dolgozza fel.

Ez olyan munkafolyamatoknál lehet fontos, amelyek ismételten ugyanazt a hosszú kontextust küldik el. Ilyen lehet egy teljes kódtár, kutatási dokumentumok gyűjteménye, illetve egy rendszerutasításokból és eszközdefiníciókból álló állandó készlet.

Akár nyolcszor gyorsabb első token

A SambaNova mérései szerint 8000 és 192 000 token közötti kontextusoknál a cache-találatok 35 és 88 százalék közötti mértékben csökkentik a time to first token, vagyis az első tokenig eltelt időt. A medián gyorsulás 4,7-szeres.

8000 tokenes kontextusnál a gyorsítótár nélküli TTFT 0,52 másodperc, gyorsítótárral 0,34 másodperc volt. 32 000 tokennél ezek az értékek 1,38 és 0,46 másodpercet, 64 000 tokennél 2,71 és 0,58 másodpercet jelentettek. 128 000 tokennél 5,42 másodpercről 0,81 másodpercre, 192 000 tokennél pedig 8,36 másodpercről 1,04 másodpercre csökkent a mérési eredmény.

A vállalat táblázata szerint a legnagyobb vizsgált kontextusnál ez nyolcszoros gyorsulásnak felel meg. A tényleges eredmény a cache-találatok gyakoriságától függ.

A gyorsítótárazott tokenek díja 0,06 dollár milliónként

A MiniMax M3 esetében a gyorsítótárból kiszolgált tokenek díja 90 százalékkal alacsonyabb a normál bemeneti díjnál. A SambaNova által közölt ár a gyorsítótárazott bemenetnél 0,06 dollár millió tokenenként, míg a standard bemeneti díj 0,60 dollár millió tokenenként. A kimeneti tokenek díja 2,40 dollár millió tokenenként marad.

A kedvezmény kizárólag a ténylegesen gyorsítótárból kiszolgált tokenekre vonatkozik. A megtakarítás ezért attól függ, milyen hosszú a stabil előtag, és milyen gyakran található meg a gyorsítótárban. A SambaNova szerint tartós forgalomnál a találati arány jellemzően 90 százalék fölé emelkedik.

A találatok ellenőrizhetők, de a gyorsítótár nem állandó

A fejlesztők minden válaszban megkapják a prompt_tokens_details objektumot. A cached_tokens mező mutatja, hány token érkezett a gyorsítótárból, míg a prompt_tokens és a cached_tokens különbsége jelzi az újonnan feldolgozott mennyiséget. A cache_creation_tokens mező azon a kérésen nem nulla, amely létrehozza a gyorsítótár-bejegyzést, és a SambaNova szerint ezért nincs külön díj.

A magas találati arányhoz az állandó tartalmat kell a kérés elejére helyezni, például a rendszerüzenetet, dokumentumokat, példákat és eszközdefiníciókat. Az előtagnak bájtszinten azonosnak kell maradnia. Egy átírt rendszerüzenet, egy beszúrt korábbi üzenet vagy a tartalom átrendezése új cache-bejegyzést indít.

A gyorsítótár állapota kiszolgálócsomópontonként helyi. Több példány használatakor az előtag minden csomóponton külön gyorsítótárba kerül. A bejegyzések eltávolítása a legutóbb használt elemeket először törlő, LRU-szabályt követi, a megőrzési idő pedig a terheléstől függ, ezért nincs rögzített élettartam.