A DoorDash heteken belül több ezer felhasználóra skálázta elemzéseit

A felvásárlások után egységesíteni kellett az adatmodellt

A dbt Labs október 27-én közzétett bejegyzése szerint a DoorDash adatstratégiájának egyik fő kihívása a központi irányítás és a felhasználói gyorsaság egyensúlyának megteremtése. A témáról Harsha Reddy, a DoorDash adatplatform-szervezetében az Data End-User Platforms területért felelős senior engineering vezető beszélt Sonny Riverával, a ThoughtSpot principal data and AI strategistjével.

A feladatot nehezítette, hogy a DoorDash több vállalatot is felvásárolt. A brit Deliveroo és a finnországi, valamint az Európai Unió jelentős részén működő Wolt saját szemantikai réteggel érkezett, ezek gyakran a Lookerre épültek. A DoorDash saját, házon belüli szemantikai eszköze mellett így több rendszert kellett egy irányított rétegbe összevonni úgy, hogy közben a fejlesztői és elemzői csapatok munkája ne lassuljon.

A dbt határozza meg a mutatókat, a ThoughtSpot az egyik felület

A DoorDash ezért különválasztja a szemantikai réteget a felhasználási rétegtől. Az adatok egy adattóba kerülnek, Iceberg-táblákként elérhető formában, illetve Snowflake-ben is megjelennek. A dbt mindkét rendszer fölött meghatározza a szemantikai és mutatóréteget.

A ThoughtSpot ezek közül az egyik felhasználási réteg, amely közvetlenül a dbt-ben meghatározott mutatókhoz kapcsolódik. Így nem kell külön, párhuzamos mutatókészletet fenntartania. Reddy szerint ez előnyt jelent az olyan, mindent egy eszközben összefogó megoldásokhoz képest, mint a Looker, ahol minden egyetlen rendszerben van kódolva, és emiatt kevésbé használható mások számára.

Belső jelentések és kereskedői elemzések ugyanarra az alapra épülnek

A megközelítés két eltérő felhasználási esetet támogat. A pénzügyi és bevételi jelentésekhez használt belső rendszerekben a DoorDash számára a hibázási lehetőség gyakorlatilag nulla. A dbt irányított szemantikai rétege a ThoughtSpot beépített megfelelési és auditjelentési funkcióival együtt olyan munkát váltott ki, amelyet a vállalat korábban kézzel végzett a GDPR, a HIPAA és más szabályozási követelmények teljesítéséhez.

A külső felhasználás során a DoorDash a ThoughtSpotot közvetlenül a kereskedőknek szánt eszközeibe ágyazza. A felület teljesen saját márkás, így a ThoughtSpot neve nem jelenik meg rajta. A szerepköralapú hozzáférés-szabályozás biztosítja, hogy az egyik kereskedő ne láthassa egy másik kereskedő adatait.

Reddy pontos számot nem közölt, de azt mondta, hogy a DoorDash egy új felhasználási esetből néhány hét alatt több ezer felhasználóig jutott.

Az AI is ugyanarra a szemantikai rétegre támaszkodik

Reddy szerint a szemantikai modellezés nehéz feladat, de egy olyan környezetben, ahol egy válasz előállítása olcsó, az abba vetett bizalom értékes. A DoorDash azt javasolja, hogy a szemantikai réteget kódként kezeljék, vagyis verziókövetéssel és felülvizsgálattal dolgozzanak rajta. Emellett az irányított útvonalnak legalább olyan egyszerűnek kell lennie, mint egy alkalmi lekérdezés megírásának, különben a felhasználók megkerülik.

A vállalat az AI-megoldásait is ehhez az alaphoz igazította. A korábbi, területspecifikus ügynökökből és egy őket irányító rendszerből álló felépítést egyetlen globális ügynök váltotta fel. Ez ugyanazt a dbt-ben meghatározott szemantikai réteget használja, amely a BI-eszközöket is ellátja, és a DoorDash adatdomainjeinek hozzávetőleg 70 és 80 százaléka között már lefedettséget biztosít.