A LangSmith nyomkövetéseiből saját modelleket lehet finomhangolni
A LangChain új munkafolyamata a LangSmithben rögzített ügynökfutásokból készít felügyelt finomhangolási adatkészletet, majd Baseten Loops segítségével betanítja a modellt. A folyamat végén a kész ellenőrzőpont Baseten Dedicated Inference környezetbe telepíthető.
- A smithtune a LangSmith sikeres ügynökfutásaiból finomhangolási adatkészletet készít.
- A tanítás Baseten Loops segítségével, dedikált GPU-kon fut.
- A kész ellenőrzőpont Baseten Dedicated Inference környezetbe telepíthető.
- A smithtune nyílt forráskódú CLI-ként érhető el a GitHubon.
- A Loops használatához korai hozzáférésre lehet szükség.
A sikeres ügynökfutásokból lesz tanítóadat
A LangChain szeptember 24-i bejelentése szerint a LangSmith Fine-Tuning munkafolyamat mostantól bárki számára elérhető, aki LangSmithre épít. A vállalat ezt a megoldást a New Yorkban rendezett Interrupt 26 konferencián jelentette be.
A folyamat központi eszköze a smithtune, egy nyílt forráskódú parancssori felület. A felhasználó ezt saját maga is futtathatja, de egy kódoló ügynökre is rábízhatja. A CLI beolvassa a LangSmithben tárolt nyomkövetéseket, majd a sikeres futásokból felügyelt finomhangolási adatkészletet készít.
A Baseten közlése szerint a LangChain alkalmazott kutatási csapata ugyanezen a munkafolyamaton keresztül tanítja a LangSmith Engine mögött működő modelleket. A csapat korábban egy nyílt modellt finomhangolt LangSmith-ügynöknyomkövetéseken.
A tanítás és a telepítés egy Baseten-munkaterületen zajlik
A tanítás a Baseten Loops szolgáltatásán keresztül fut. A smithtune a Loops Python SDK-ját használja, a futtatás pedig a felhasználó saját Baseten-munkaterületén, dedikált GPU-kon történik. A modell ellenőrzőpontjait a rendszer menet közben a Basetenen menti el.
Ennek köszönhetően egy ellenőrzőpont telepítéséhez nem kell a súlyokat letölteni, majd egy másik helyre feltölteni. Miután a LangSmith kiértékelte az új ellenőrzőpontot, a smithtune deploy parancs Baseten Dedicated Inference telepítésbe helyezi a modellt.
A CLI a futtatás ütemezése előtt ellenőrzi, hogy a felhasználó munkaterülete mely modellek tanítására van engedélyezve. Ez különösen akkor hasznos, ha a parancsokat egy kódoló ügynök írja be, mivel az eszköz így látja az elérhető lehetőségeket, és nem indít olyan munkát, amely nem tudna elrajtolni.
Saját API-kulcs és korai hozzáférés szükséges
A smithtune használatához a felhasználó a saját Baseten API-kulcsát adja meg. A tanítás és a következtetés költségei a felhasználó Baseten-fiókját terhelik.
A kód a github.com/langchain-ai/smithtune címen érhető el. A Basetenen történő tanításhoz Loops-kompatibilis fiókra van szükség. Mivel a Loops korai hozzáférésű, a felhasználóknak előfordulhat, hogy először hozzáférést kell kérniük a munkaterületükhöz.
Ha a smithtune-t egy kódoló ügynök futtatja, a GitHub-tárolóban található ügynökkészség a Baseten beállítási oldalára, a docs.baseten.co/agent-setup címre irányít. Ez az oldal az ügynököt a Baseten ügynökkészségeivel és a Baseten dokumentációs MCP-szerverével készíti fel.
Közvetlen út a gyártási nyomkövetésektől a saját modellig
A bejelentés azoknak a LangSmith-felhasználóknak szól, akik már jelentős mennyiségű ügynökfutást rögzítenek a rendszerben. A LangChain szerint sok felhasználónak már több ezer ilyen nyomkövetése van, a smithtune célja pedig az, hogy ezekből egyszerűen lehessen saját ügynökökhöz készült modellt tanítani.
A munkafolyamat a forrásban ismertetett lépések alapján a nyomkövetések feldolgozásától a tanításon és kiértékelésen át a Basetenen futó modell telepítéséig terjed. Így a LangSmithben gyűjtött termelési adatok közvetlenül felhasználhatók egy adott ügynök működéséhez igazított modell létrehozására, miközben a tanítás és a következtetés ugyanahhoz a Baseten-fiókhoz kapcsolódik.
Baseten: Fine-tune on your LangSmith traces with Baseten Loops
