A Cloudflare új Clef-modellje már hangot és videót is értelmez

Egyetlen API-hívásban kezeli a különböző médiatípusokat

A Cloudflare 2026. október 9-én jelentette be a Clef-omnit, a vállalat nyílt súlyú döntési modellcsaládjának új tagját. A modell szöveges és képi bemenetek mellett WAV vagy MP3 hangfájlokat, illetve MP4 vagy WebM videókat is fogad.

A Clef-omni célja, hogy a fejlesztőknek ne kelljen külön modelleket használniuk a beszéd leiratozására, illetve a videó hang- és képcsatornájának szétválasztására. A Cloudflare példája szerint egyetlen kérésben lehet egy berendezés fényképét, működés közben rögzített hangját és a ventilátorról készült videót elemezni, majd ezek alapján előre meghatározott válaszokat kapni.

A modell nyílt súlyai elérhetők a Hugging Face-en, a használatához pedig a Cloudflare fejlesztői dokumentációja tartalmaz útmutatót.

Qwen3-alapokra épül, strukturált döntésekre készült

A Clef-omni a Qwen3-Omni-30B-A3B-Instruct szakértőkeverékes modellre épül. A Cloudflare a modell elsődleges megértési komponensét használja, a szövegfelolvasó kimeneti részeket viszont elhagyta. A vállalat szerint ez lehetővé teszi, hogy a bemeneti médiaelemek egy közös sorozatba kerüljenek, miközben a videó és a hang összehangoltan, a képkockákkal együtt dolgozható fel.

A Clef-modellek nagy nyelvi modellek helyett strukturált, sémához kötött döntéseket adnak vissza. A Clef-omni a lehetséges válaszokat a bemenetből választja ki, majd az egyes mezőkhöz tartozó bizonyossági értékeket számít. A Cloudflare szerint a beépített nyelvtani szabályok megőrzik a válaszlehetőségek jelentését, és a modell a séma, a mezők sorrendje, valamint a prompt szerkezetének változásai mellett is ellenálló.

A vállalat mérései szerint a szöveges döntések medián válaszideje körülbelül 130 ezredmásodperc, képbemenetnél körülbelül 150 ezredmásodperc. A hangklippek feldolgozása néhány száz ezredmásodpercet vesz igénybe, egy teljes, hangot is tartalmazó, 21 másodperces videó kiértékelése pedig körülbelül 1,5 másodperc egyetlen API-hívásban.

Olcsóbb lett a Clef-flash, rövidebb a hosztolt kontextus

A Cloudflare a Clef-flash árát is módosította. A modell korábbi, egymillió bemeneti tokenenkénti 0,09 dolláros ára 0,038 dollárra csökkent. A Clef ára 0,24 dollár maradt, a most bemutatott Clef-omni pedig 0,15 dollárba kerül egymillió bemeneti tokenenként.

Az árcsökkentésért cserébe a Clef-flash hosztolt változatának kontextusablaka 64 ezerről 24 ezer tokenre csökkent. A Hugging Face-en elérhető modell súlyait ez nem érinti, azok továbbra is 256 ezer tokenes kontextusablak támogatására készültek önálló üzemeltetés esetén.

A Cloudflare közlése szerint használati adataik alapján a kérések 0,24 százaléka haladta meg a 24 ezer bemeneti tokent. A nagyobb kontextust igénylő felhasználóknak a vállalat a 64 ezer tokenes kontextusablakkal rendelkező Clefet javasolja.

A Clef kiszolgálását is felgyorsították

A Cloudflare a Clef hosztolt változatán végzett optimalizálást a Workers AI infrastruktúráján. Körülbelül 800 tokenes bemenetnél a medián válaszidő 262-ről 152 ezredmásodpercre csökkent, a 95. percentilis pedig 438-ról 351 ezredmásodpercre változott. Ez a vállalat által közölt adatok szerint 1,7-szeres medián gyorsulás.

Körülbelül 3400 tokennél a medián érték 616-ról 305 ezredmásodpercre esett, ami 2,0-szeres gyorsulás. Körülbelül 16 ezer tokenes bemenetnél 2721-ről 1635 ezredmásodpercre csökkent a medián, a gyorsulás itt 1,7-szeres.

A fejlesztések jelentős része a kiszolgáló infrastruktúrát érinti, ezért a Cloudflare nem adott ki új Clef-modellsúlyokat. A vállalat az SGLang csapatával együtt dolgozott a támogatáson, amely a közlés szerint az SGLang 0.5.22-es kiadásában jelenik meg. A Clef súlyai önálló üzemeltetéshez is elérhetők.