Fireworks AI modellek érhetők el Microsoft Foundryban startupoknak

Nyílt modellek Azure-környezetben

A Microsoft szerint sok startup egyetlen zárt modellel kezdi az AI-termék fejlesztését, mert ez gyors prototípus-készítést tesz lehetővé. A vállalat ugyanakkor arra hívja fel a figyelmet, hogy a modellválasztás a termék teljes életciklusa alatt hat a költségekre és a megkülönböztethetőségre.

A Fireworks AI on Microsoft Foundry általánosan elérhetővé vált, így a startupok a Microsoft közlése szerint nagy teljesítményű, alacsony késleltetésű nyílt modell inferenciát futtathatnak közvetlenül Azure-ban. A Fireworks a modelleket Foundryn keresztül szolgálja ki, ezért a cégeknek nem kell saját inferencia-infrastruktúrát építeniük a nyílt modellek futtatásához.

Az új erőforrások kifejezetten AI-native startupoknak szólnak, és azt mutatják be, hogyan lehet Fireworks modelleket telepíteni és kiszolgálni Foundryban, majd a prototípustól a termelési használatig skálázni.

Mit tartalmaz az architekturális terv

Az útmutató alapgondolata, hogy a csapatok egyszerű felállással induljanak, majd a rendszer az igényekkel együtt bővüljön. A Microsoft szerint a teljes stack a startup saját Azure-környezetében fut, és az alkalmazás-infrastruktúrának vagy tesztkörnyezetnek csak egy modellvégpontra van szüksége.

A javasolt indulás egyetlen modell telepítése, a forgalom API Managementen keresztüli irányítása, valamint a késleltetés, a használat és a költségmutatók követése. Később a skálázás része lehet az Azure Cache for Redis használata az ismétlődő inferencia csökkentésére, a terheléshez igazított teljesítményhangolás, valamint több modellváltozat bevezetése A/B teszteléshez.

A bejegyzésben felsorolt komponensek között szerepel a Microsoft Foundry és a Fireworks AI models, az Azure Container Apps, az Azure Container Registry, az Azure Key Vault, valamint opcionálisan az Azure Monitor. A Foundry a telepítéshez, irányításhoz és számlázáshoz ad Azure-natív platformot, a Fireworks pedig az inferenciaréteget biztosítja a nyílt modellekhez.

Költség, rugalmasság és skálázás

A Microsoft szerint az inferencia az AI-native cégek egyik legnagyobb, kontrollálható költségtényezője. A korai döntések hosszú távon befolyásolhatják a költséget, a késleltetést és a rugalmasságot, ezért a bemutatott architektúra ezeket a kérdéseket már a fejlesztés elején kezeli.

A cég több költségoptimalizálási elemet emel ki: a Foundryn keresztüli szervermentes, tokenalapú inferenciát nyílt modellekkel, a munkaterheléshez illesztett modellválasztást, az ismétlődő kérések Redis-alapú gyorsítótárazását, valamint a millió tokenre jutó költség mérnöki mutatóként való követését.

A bejegyzés szerint a megközelítés csökkenti az infrastruktúra-terhet is, mivel nincs szükség GPU-klaszterek felállítására vagy üzemeltetésére. A Fireworks nagy áteresztőképességű inferenciát ad, míg a Foundry az irányítást, a biztonságot és az életciklus-kezelést biztosítja. A csapatok egységes API-kon és telepítési folyamatokon keresztül kísérletezhetnek modellekkel, illetve válthatnak közöttük.

Mit jelent ez a startupoknak

A Microsoft for Startups programban részt vevő csapatok a bejegyzés szerint Startup creditjeiket Fireworks modelltelepítésekre használhatják Data Zone Standard esetén, valamint a támogató Azure-infrastruktúrára is. A provisioned throughput units, vagyis a PTU-k fenntartott kapacitásnak számítanak, és ezekre nem vonatkoznak a Startup creditek.

Ez a Microsoft szerint lehetőséget ad arra, hogy a startupok termelési szintű AI-alkalmazásokat építsenek és teszteljenek, több modellel kísérletezzenek, és még a skálázás előtt megtalálják, hol adnak megfelelő költség- és teljesítményelőnyt a nyílt modellek. A program leírása alapján a Microsoft for Startups Startup crediteket, Azure AI infrastruktúrát, technikai útmutatást és piacra lépési erőforrásokat kínál, a bejegyzésben pedig legfeljebb 150 000 dollárnyi Startup credit szerepel.