A Baseten nyílt modelleket tesz elérhetővé az OpenAI ügyfeleinek

Nyílt modellek az OpenAI vállalati keretén belül

A Baseten szeptember 29-i bejelentése szerint partnerséget kötött az OpenAI-jal. A vállalat az OpenAI B2B Marketplace egyik első nyíltmodell-inferencia-szolgáltatójaként jelenik meg, és natív integrációt kap a Codexben.

Ez azt jelenti, hogy az OpenAI vállalati ügyfelei a már meglévő OpenAI-keretüket használhatják a Baseten infrastruktúráján futó nyílt modellekhez. Az elérés a Codex mellett a Responses API-n keresztül is lehetséges. A Baseten szerint így a szervezetek egyetlen munkafolyamaton belül kombinálhatják a nyílt és zárt modelleket, és az egyes feladatokat a hozzájuk legjobban illő modellhez irányíthatják.

A cég az ügynöki kódolást jelenleg a legelterjedtebb AI-felhasználási esetként írja le. A közlemény szerint az OpenAI Codex és a GPT-modellek a kódgenerálási munkafolyamatok skálázásának legnépszerűbb választásai közé tartoznak.

A többmodellű kódolás infrastruktúrája

A Baseten szerint az AI-ban élen járó vállalatok egyre több modellt használnak, és a választást az intelligencia, a költség, a késleltetés és a kapacitás közötti kompromisszumok alapján végzik. A feladatokat statikus vagy alkalmazkodó útválasztók továbbíthatják ahhoz a modellhez, amely az adott munkához a legjobb költség, minőség és teljesítmény kombinációját kínálja.

A kódgenerálás az inferencia szempontjából különösen megterhelő. A többfordulós interakciók, a nagy kódtárakhoz tartozó hosszú promptok és a nagy kontextusablakok az infrastruktúra több rétegét is terhelik. A Baseten ezért az eszközöktől a modellmotorokig terjedő teljes verem teljesítményén dolgozik.

A szolgáltató közlése szerint infrastruktúrája több mint 90 klaszteren, több mint 20 felhőben működik, a telepítések pedig aktívaktív kialakításúak. Ha egy szolgáltató vagy régió kiesik, a forgalom átirányítható, így a munkafolyamat nem áll le. A Baseten több mint 200 számítási kapacitásszolgáltatóval ápol kapcsolatot.

Gyors modellhozzáférés és vállalati kontroll

A Baseten azt ígéri, hogy a jelentősebb nyílt modelleket a megjelenésük napján elérhetővé teszi a Model APIs szolgáltatásban. A közlemény szerint a legújabb modellek értékelése egyetlen kódsor módosításával elvégezhető.

A kódoló ügynököknek a modell futtatásán túl környezetre is szükségük van, ahol végrehajthatják az általuk írt kódot. Ezt a cégnél a Blaxel biztosítja, amely a Baseten része lett, és minden ügynöknek saját homokozót ad.

A Baseten szerint az inferencia egyesült államokbeli infrastruktúrán fut, minden prompthoz nulla adatmegőrzést, vagyis ZDR-t kínálva. A szigorúbb megfelelési igényekhez régióhoz rögzíthető telepítések, részletes hitelesítési és jogosultságkezelési beállítások, valamint modellenkénti, felhasználónkénti és kulcsonkénti használati áttekintés is rendelkezésre áll.

Mit jelent ez az OpenAI ügyfeleinek?

A partnerség az OpenAI vállalati ügyfelei számára közvetlen hozzáférést ad a Baseten által kiszolgált nyílt modellekhez, a meglévő OpenAI-keret felhasználásával. Ez lehetővé teszi, hogy a szervezetek a Codexen vagy a Responses API-n keresztül több modell között osszák meg a kódolási feladatokat.

A Baseten közlése szerint a vállalat a teljesítmény, a megbízhatóság, a kapacitás és a fejlesztői élmény együttes javításán dolgozik. A szolgáltató saját felhőben vagy az ügyfél felhőjében is garantált kapacitást kínál, és beágyazott mérnöki, valamint alkalmazott kutatási támogatást biztosít a telepítések hangolásához és a modell-utótréninghez.