A LangChain szerint 2024-ben az AI-ügynökök és a több lépéses munkafolyamatok erősödtek

Az OpenAI maradt a leggyakrabban használt szolgáltató

A LangChain 2024. december 19-én közzétett jelentése a LangSmith felhasználási adataira támaszkodik. A vállalat szerint havonta csaknem 30 ezer új felhasználó regisztrál a platformra, amelyen a fejlesztők nyomon követhetik, kiértékelhetik és javíthatják LLM-alkalmazásaikat.

A LangSmith szervezeti használata alapján az OpenAI továbbra is a leggyakrabban használt LLM-szolgáltató. Használata több mint hatszorosa az Ollamáénak, amely a második legnépszerűbb szolgáltató lett. Az Ollama és a Groq egyaránt bekerült az öt legnépszerűbb szolgáltató közé. A LangChain szerint ez a rugalmasabb telepítési lehetőségek és a testreszabható AI-infrastruktúrák iránti növekvő érdeklődést jelzi.

A nyílt forrású modelleket kínáló szolgáltatók közül az Ollama, a Mistral és a Hugging Face szerepel a legfontosabbak között. Együttes használatuk a húsz legnépszerűbb LLM-szolgáltató szervezeti használatának 20 százalékát adta.

Több ügynöki folyamat és összetettebb alkalmazások

A vektoradatbázisok és visszakeresési rendszerek továbbra is fontosak a generatív AI-munkafolyamatokban. A három legnépszerűbb vektortároló nem változott az előző évhez képest, a Chroma és a FAISS továbbra is a leggyakoribb választások között van. A Milvus, a MongoDB és az Elastic vektoradatbázisai szintén bekerültek a tízes toplistába.

A LangSmith nyomkövetéseinek 15,7 százaléka 2024-ben nem a LangChain keretrendszeréből érkezett. Ez a LangChain szerint azt mutatja, hogy a megfigyelhetőségre a fejlesztett keretrendszertől függetlenül szükség van.

A Python SDK adta a használat 84,7 százalékát, miközben a JavaScript SDK részesedése 15,3 százalékra nőtt, ami háromszorosa az előző évinek. A LangChain ezt a webközpontú alkalmazások iránti érdeklődéssel hozza összefüggésbe.

A márciusban kiadott LangGraph használata is bővült: a LangSmith-szervezetek 43 százaléka küldött LangGraph-nyomkövetéseket. A nyomkövetések átlagosan 21,9 százalékában szerepeltek eszközhívások, szemben a 2023-as 0,5 százalékkal. Ez azt jelzi, hogy a modellek egyre gyakrabban hívnak meg önállóan függvényeket vagy külső erőforrásokat.

A fejlesztők több lépést kezelnek kevesebb modellhívással

Egy nyomkövetés átlagos lépésszáma több mint kétszeresére nőtt, a 2023-as 2,8-ről 2024-ben 7,7-re. A LangChain egy lépésnek tekinti például az LLM, a visszakereső vagy egy eszköz meghívását. A vállalat szerint a növekedés arra utal, hogy a fejlesztők több feladatot kapcsolnak össze, például információt keresnek vissza, feldolgozzák azt, majd végrehajtható eredményt állítanak elő.

Eközben az egy nyomkövetésre jutó átlagos LLM-hívások száma csak 1,1-ről 1,4-re emelkedett. A LangChain ezt úgy értékeli, hogy a fejlesztők összetettebb működést próbálnak elérni kevesebb, költséges modellhívással.

A minőség ellenőrzése is fontosabbá vált. Az LLM-as-Judge értékeléseknél a fejlesztők leggyakrabban a relevanciát, a helyességet, a pontos egyezést és a hasznosságot vizsgálták. A kézzel annotált futtatások száma egy év alatt 18-szorosára nőtt, az egy futtatásra jutó visszajelzések átlagos száma pedig 2,28-ről 2,59-re emelkedett.

A felhasználók számára ez olyan LLM-alkalmazásokat jelenthet, amelyek több külső rendszerrel dolgoznak, összetettebb feladatokat hajtanak végre, és fejlesztésük során egyre nagyobb szerepet kap a tesztelés, a visszajelzés és a teljesítmény figyelése.