A Vercel AI Gatewayre érkezett a Microsoft Decision-1
Elérhetővé vált a Microsoft Decision-1 modell a Vercel AI Gateway szolgáltatásában. A modell szöveges kérdésekre válaszol, és a döntésekhez valószínűségeket, választási lehetőségeket vagy pontszámokat ad.
- Elérhetővé vált a Microsoft Decision-1 a Vercel AI Gatewayen.
- A modell igen vagy nem választ, kategóriát és pontszámot is adhat.
- A Choice és Score válaszok minden lehetőséghez valószínűséget tartalmaznak.
- A használathoz AI Gateway API-kulcs kell, külön Azure-fiók nem.
- A Decision-1 hívásai megjelennek a naplókban és beleszámítanak a költségkeretekbe.
Strukturált válaszok szöveges kérdésekre
A Vercel október 9-i közleménye szerint a Microsoft Decision-1 az AI Gatewayen keresztül használható. A modell gépileg feldolgozható válaszokat ad szöveges bemenetekre, ezért egy alkalmazás nem kizárólag szabad szöveges választ kaphat.
A Decision-1 háromféle kérdést támogat. Igen vagy nem típusú kérdésekre válaszolhat, előre megadott kategóriák közül választhat, illetve egy rendezett szempontrendszer alapján pontozhatja a bemenetet. Egyetlen kérésben több kérdés is vonatkozhat ugyanarra a szövegre.
A Vercel példái között szerepel a támogatási kérelmek osztályozása, a munkafolyamat következő lépésének kiválasztása, valamint egy mesterségesintelligencia-válasz értékelése egy előre meghatározott szempontrendszer szerint.
Valószínűségek segítik a bizonytalan esetek kezelését
A választási és pontozási típusú válaszok minden lehetőséghez valószínűséget is tartalmaznak. Ez lehetőséget ad arra, hogy az alkalmazás egy meghatározott bizonyossági szint felett automatikusan cselekedjen, a bizonytalan eredményeket pedig felülvizsgálatra küldje.
A közleményben bemutatott példában egy sikertelen számlafizetésről szóló ügyfélüzenetet kell a megfelelő csapathoz irányítani. A megadott kategóriák a számlázási, illetve a technikai és integrációs ügyek. A kód a microsoft/microsoft-decision-1 modellt, egy szöveges állapotot és a választható kategóriákhoz tartozó leírásokat adja át.
Az eredmény a kiválasztott csapatként jelenik meg, így az alkalmazás felhasználhatja a munkafolyamat következő lépésében.
Több API-n keresztül is elérhető
A Decision-1 az AI SDK döntési API-ján, az OpenAI-kompatibilis Decisions API-n, valamint a TypeSafe-kompatibilis API-n keresztül hívható. A Vercel szerint a használathoz elegendő egy AI Gateway API-kulcs, külön Azure-fiókra vagy Azure-beli telepítésre nincs szükség.
A modell használatának megkezdéséhez a kérésekben a microsoft/microsoft-decision-1 modellnevet kell megadni. A Vercel dokumentációt kínál a Choice, Score és Boolean típusú kérdésekhez, valamint külön felsorolja az AI Gatewayen elérhető döntési modelleket.
A hívások bekerülnek a használati nyilvántartásba
Az AI Gateway egységes hozzáférést biztosít a modellekhez, és követi a használatot, valamint a költségeket. A Decision-1 hívásai megjelennek a naplókban, és az egyéb modellkérésekhez hasonlóan beleszámítanak a költségkeretekbe.
Ez a felhasználók számára azt jelenti, hogy a strukturált döntési feladatok ugyanabban a követési és költségkezelési környezetben jelenhetnek meg, mint a többi, AI Gatewayen keresztül indított modellkérés.
Vercel: Microsoft Decision-1 now available on AI Gateway
