A LangChain adatai szerint a lekérés uralta 2023 LLM-alkalmazásait
A lekéréses megoldások bizonyultak a leggyakoribb módnak arra, hogy a fejlesztők saját adatokat kapcsoljanak a nagy nyelvi modellekhez 2023-ban. A LangChain anonim LangSmith-adatai alapján az OpenAI vezette a szolgáltatók rangsorát, miközben az LLM-alkalmazások tesztelése továbbra is komoly kihívást jelentett.
- A komplex lekérdezések 42 százalékában szerepelt retrieval.
- Az OpenAI vezette az LLM-szolgáltatók rangsorát, az AzureOpenAI a második lett.
- A komplex lekérdezések körülbelül 17 százalékában használtak ügynököt.
- A tesztfuttatások 83 százalékához kapcsolódott valamilyen visszajelzés.
- Az értékelők csaknem 40 százaléka egyedi értékelő volt.
A lekérés lett az elsődleges építési minta
A LangChain december 21-én közzétett State of AI 2023 jelentése a LangSmith felhőplatform anonim metaadatai alapján vizsgálta, mit építenek, hogyan fejlesztenek és miként tesztelnek a csapatok. A statisztikák 2023. július 2. és december 11. közötti használatból származnak.
A jelentés szerint a lekérés, vagyis a releváns információk kikeresése és átadása a nyelvi modellnek, a saját adatok és az LLM-ek összekapcsolásának meghatározó módszerévé vált. A komplex lekérdezések 42 százalékában szerepelt valamilyen lekérési folyamat. A LangChain több mint 60 vektortárolóval kínált integrációt, és fejlettebb lekérési stratégiákat is támogatott.
Az ügynökök a komplex lekérdezések körülbelül 17 százalékában jelentek meg. Ezekben a rendszerekben a nyelvi modell dönti el, milyen lépéseket kell végrehajtani. A LangChain szerint az ügynökök ekkor még nem voltak elég megbízhatók vagy teljesítőképességek ahhoz, hogy szélesebb körben elterjedjenek.
Az OpenAI vezette a szolgáltatók rangsorát
A legtöbb felhasználót az OpenAI szolgáltatásai vonzották, közvetlenül mögöttük az AzureOpenAI következett. A LangChain szerint az OpenAI volt 2023 vezető LLM-szolgáltatója, az Azure pedig a vállalati garanciák révén jól használta ki ezt a lendületet.
A saját modelleket kínáló szolgáltatók között az Anthropic a harmadik, a Vertex AI a negyedik, az Amazon Bedrock pedig a nyolcadik helyen szerepelt. A nyílt forrású modellekhez a Hugging Face, a Fireworks AI és az Ollama voltak a leggyakrabban használt kapcsolódási pontok. A rangsorok azoknak a felhasználóknak a számán alapultak, akik az adott szolgáltatót használták.
A nyílt forrású modellek futtatásánál a helyi megoldások kerültek előtérbe. A Hugging Face, a LlamaCpp, az Ollama és a GPT4All egyaránt magas helyezést ért el. API-hozzáférést kínáló szolgáltatók között a Fireworks AI állt az élen, mögötte a Replicate, a Together és az Anyscale következett.
A teszteléshez több mérőszámot használtak
A LangChain adatai szerint az LLM-alkalmazások értékelése és tesztelése a fejlesztők egyik legnagyobb problémája volt. A tesztfuttatások 83 százalékához valamilyen visszajelzés kapcsolódott, egy-egy futtatásnál pedig átlagosan 2,3 különböző visszajelzéstípust alkalmaztak. Ez arra utal, hogy a csapatok nehezen találtak egyetlen, minden helyzetben használható mérőszámot.
A rögzített visszajelzések többségét egy másik nyelvi modell készítette. Az értékelők csaknem 40 százaléka egyedi, az adott alkalmazásra szabott értékelő volt. A fejlesztők leginkább az alkalmazás helyességét vizsgálták, miközben a mérgező tartalom, a prompt kiszivárgása és más védelmi szempontok kisebb figyelmet kaptak. Az egzakt egyezés ritka használata azt jelezte, hogy a helyesség megítélése általában összetettebb a kimenetek egyszerű összehasonlításánál.
A LangChain szerint a LangSmith abban segít, hogy a csapatok a prototípustól a működő termékig jussanak el, például nyomkövetéssel, regressziós teszteléssel és értékeléssel. A használat mintegy 15 százaléka olyan felhasználóktól érkezett, akik nem használták a LangChaint, ezért a platform adatai a vállalat ökoszisztémáján kívüli fejlesztésekről is képet adtak.
LangChain: LangChain State of AI 2023
