40-szer több önkiszolgáló adatelemzési kérdés a LangChain AI-ügynökével

A modellnek meg kell tanítani a vállalat nyelvét

A dbt Labs október 27-én közzétett beszámolója szerint a LangChain csapata abból indult ki, hogy egy AI-ügynök csak annyira lehet pontos, amennyire jó kontextust kap. Egy nyelvi modell önmagától nem ismeri egy vállalat adatait, üzleti szabályait és belső fogalmait.

Az első kontextusréteg maga a dbt-projekt. A LangChain a táblák és oszlopok leírásait a dbt-ből a BigQuerybe szinkronizálja, így a Hex és minden más, BigQueryből olvasó belső ügynök ugyanazokat a meghatározásokat használhatja.

Ez a dokumentáció készítését is megváltoztatta. Míg egy szakértő ember számára elég lehetett egy olyan leírás, mint „a fiók állapota”, az ügynöknek pontosabb magyarázatra van szüksége. A csapat példája szerint meg kell adni, hogy az állapot a Salesforce-ban szereplő aktuális életciklus, és mit jelent benne az aktív, a megszűnt, illetve a még nem ügyfél státusz.

Négy réteg egészíti ki a dbt-projektet

A Hexben működő ügynök közvetlen hozzáférést kap a dbt-kódtárhoz és a DAG-hoz is. Így nemcsak az oszlopneveket látja, hanem az adatmodellek közötti függőségeket és az adott modell mögötti SQL-logikát is értelmezheti.

Erre három további réteg épül. A munkaterületi útmutatók Markdown-fájlok, amelyek az üzleti fogalmakat, például az ARR mérését és a vállalat belső termékszókincsét magyarázzák. Ezeket a csapat a dbt-kódtárban írja meg, majd GitHub Action segítségével importálja a Hexbe. A dokumentáció így verziókövetett marad, és más ügynökök számára is elérhető lehet.

A szemantikai réteg kódban rögzíti a legfontosabb modellek mérőszámait és kapcsolatait. Ennek célja, hogy egy bevételi mutatóra vonatkozó kérdés mindig ugyanúgy oldódjon fel. A jóváhagyások pedig megjelölik a megbízható forrásnak számító martmodelleket és irányítópultokat. A LangChain szándékosan kevés elemet jelöl meg így, és egy jóváhagyott irányítópult módosítása adatcsapati felülvizsgálathoz kötött.

A csapat a válaszadás helyett a kontextusért felel

A rendszer bevezetése után a LangChain adatokkal foglalkozó csapata másként határozza meg a szerepét. Ahelyett, hogy minden beérkező kérdésre közvetlenül válaszolna, azt a kontextust gondozza, amely lehetővé teszi, hogy más részlegek önállóan kérdezzék az ügynököt.

A csapat szerint ez akkor is működhet, amikor az üzlet gyorsabban változik, mint ahogy a dokumentáció frissül. Egy árazási modell módosítása több területre is hatással lehet, és egy üzleti területnek nem kell teljesen lezárt mérőszám-definíciókkal rendelkeznie ahhoz, hogy az ügynök hasznos legyen. A kontextust ezért folyamatosan dokumentálják, nem egyszeri projektként kezelik.

A LangChain közlése szerint az önkiszolgáló elemzési kérdések száma 40-szeresére nőtt. A növekedéshez a változó kontextus folyamatos dokumentálása, a felhasználók ügynökkel való munkára oktatása és a hatás mérése is hozzájárult. A következő lépések között az értékelések bevezetése, valamint a Hex CLI használata szerepel a kontextus további bővítésére.