A szemantikai réteg 80-ról 96 százalékra javíthatja az AI-elemző pontosságát
Jelentősen pontosabb válaszokat adott egy AI-modell, amikor szemantikai rétegen keresztül kapott kérdéseket, derül ki a dbt Labs saját benchmarkjából. A különbség a vállalat szerint abból adódik, hogy a modell így nemcsak a szavakat, hanem az üzleti jelentésüket is megkapja.
- A szemantikai rétegen keresztül kérdezett modell 96 és 100 százalék közötti pontosságot ért el.
- Közvetlen nyers SQL-lekérdezéseknél ugyanez a modell 80 és 91 százalék között teljesített.
- A dbt Labs három megközelítést emel ki az AI-elemzők megalapozására.
- A megbízhatósághoz adatminőség, dokumentáció és következetes adatmodellezés is kell.
- A dbt-felhasználók körülbelül fele társalgásos adatelemzésen dolgozik.
A nyelvi modellek már értik a kérdést, de a jelentés hiányozhat
A dbt Labs október 27-én közzétett blogbejegyzése szerint Alex Noonan, a vállalat senior fejlesztői élményért felelős képviselője a dbt Summit 2026 rendezvényén a természetes nyelvű önkiszolgáló adatelemzés hosszú történetét tekintette át. Példaként egy 1971-es, holdkőzetekre vonatkozó természetes nyelvű lekérdező rendszert, az 1990-es évek OLAP-kockáit és az utóbbi évek természetes nyelvű üzletiintelligencia-funkcióit említette.
Noonan szerint a mostani próbálkozás azért lehet más, mert a nagy nyelvi modellek megoldották a gép szavainkra tanításának problémáját. A következő feladat annak megtanítása, hogy ezek a szavak pontosan mit jelentenek az adott vállalat működésében. Ehhez a rendszernek ismernie kell az üzleti fogalmakat, a mérőszámokat és az adatok közötti kapcsolatokat.
96 és 80 százalék között az adatértelmezés a különbség
A dbt Labs fejlesztői élményért felelős csapatának benchmarkjában egy modell 96 és 100 százalék közötti pontosságot ért el, amikor szemantikai rétegen keresztül válaszolt a kérdésekre. Ugyanez a modell 80 és 91 százalék közötti eredményt produkált, amikor közvetlenül az adatbázis sémája alapján írt nyers SQL-lekérdezéseket.
A szemantikai réteg előre meghatározott mérőszámokkal és üzleti jelentésekkel látja el a modellt. Noonan szerint a különbség minden egyes százalékpontja egy magabiztosan közölt, de hibás számot jelenthet, amely akár egy vállalati Slack-csatornában is megjelenhet. „A legrosszabb, amit tehetsz, hogy valakinek magabiztosan rossz választ adsz” , idézi a blogbejegyzés Noonan megfogalmazását.
A dbt Labs három, az AI-elemzők megalapozására használt megközelítést emel ki: a rögzített mérőszámokra épülő szemantikai réteget, a Palantir megoldásaihoz hasonló entitás- és kapcsolatmodellt, valamint az úgynevezett ügynökkontextus-réteget. Utóbbi a lekérdezés pillanatában állítja össze a szükséges információkat, és a vállalat szerint ebbe az irányba építkezik együtt a Fivetran és a dbt.
A megbízható rendszerhez az alapok is szükségesek
Noonan előadásának jelentős része az AI-demókon túli működés feltételeiről szólt. Ide tartoznak az adatminőségi és megfigyelhetőségi gyakorlatok, például a tesztek, a frissesség ellenőrzése és a rendellenességek felismerése. Fontos a gépek számára is értelmezhető dokumentáció, valamint a következetes adatmodellezés.
A blog különbséget tesz a kontextusmérnökség két formája között. A „just in time”, vagyis éppen időben biztosított kontextus olyan stabil metaadatokat jelent, mint amilyeneket egy szemantikai réteg vagy az ügynök képességei tartalmaznak. A „just in case”, vagyis elővigyázatosságból biztosított kontextus ezzel szemben nagy mennyiségű rendezetlen forrás, például hívásleiratok és ügyfélszolgálati jegyek keresési infrastruktúráját igényli.
A bizalom megőrzéséhez Noonan azt javasolta, hogy a beszélgetés nyilvános vállalati csatornán, például Slackben történjen. Így a hibák és javítások mindenki számára láthatók. Arra is figyelmeztetett, hogy az „LLM mint bíró” értékelést nem szabad túlértékelni, mivel az értékelő modell ugyanazokat a vakfoltokat hordozhatja, mint az általa vizsgált rendszer.
A dbt Labs bejegyzése szerint a generatív AI-projektek nagyjából felét a koncepció igazolása után felhagyják. Eközben a vállalat idei State of Analytics Engineering jelentésében a dbt-felhasználók körülbelül fele mondta azt, hogy aktívan társalgásos adatelemzési rendszerek építésén dolgozik. A gyakorlati tétet Noonan egy másik mondattal foglalta össze: „A csendes hibák minden informatikai rendszer gyilkosai.”
