A Convai AI-karakterei videókból és PDF-ekből is tanulhatnak
A Convai új In-Context Knowledge Bank funkciója videókkal, képekkel, PDF-ekkel és hangfájlokkal bővíti az AI-karakterek tudását. A rendszer a teljes csatlakoztatott tudásbázist a modell kontextusába helyezi, így a karakterek közvetlenül a forrásanyagból válaszolhatnak.
- Az In-Context Knowledge Bank videókat, képeket, PDF-eket és hangfájlokat is kezelhet.
- A karakter a teljes csatlakoztatott tudásbázist megkapja minden üzenetváltáskor.
- A RAG mód csak .txt és .csv fájlokat támogat.
- A teljes tudásbázis mérete nem lépheti túl a modell kontextuskeretét.
- Nem támogatott modellre váltva az In-Context mód kikapcsolhat.
Videóból válaszol a karakter
A Convai augusztus 26-án ismertette az In-Context Knowledge Bank működését. A bemutatóban egy Samantha Reyes nevű, raktári műveletekre szakosodott karakter egy manuális esztergagép használatáról szóló oktatóvideó alapján válaszol, annak ellenére, hogy a háttértörténete nem tartalmaz megmunkálással kapcsolatos információt.
A videó a gép beállítását, a biztonságos használatot és az üzemeltetés fontos lépéseit mutatja be. A karakter a Convai szerint a felvétel vizuális és hanganyagából dolgozik, amikor például az alapanyag tokmányba rögzítéséről, a vágószerszám biztonságos távolságáról és az igazítás ellenőrzéséről beszél.
A bemutató azt is megmutatja, hogy a karakter egy képen szereplő konkrét információkat is azonosíthat. Ez a referenciaanyagokra alkalmazott számítógépes látás, amely eltér a Convai Vision élő jeleneteket vizsgáló működésétől.
Eltérő működés a RAG módhoz képest
Az In-Context Knowledge Bankben tárolt fájlok fiókszinten érhetők el, ezért bármelyik karakterhez kapcsolhatók. In-Context módban a teljes csatlakoztatott tudásbázis minden üzenetváltáskor bekerül a karakter kontextusába, a rendszer pedig a hatékonyság érdekében gyorsítótárazza ezt.
A RAG mód ezzel szemben vektorkeresést használ, és az egyes üzenetekhez csak a relevánsnak ítélt szövegrészeket tölti be. A RAG nagy szövegkorpuszokhoz illik, például termékkatalógusokhoz, szabálygyűjteményekhez vagy támogatási cikkekhez, és csak .txt, illetve .csv fájlokat fogad.
Az In-Context kompakt, nagy értékű anyagokhoz készült, például oktatóvideókhoz, terméklapokhoz, képsorozatokhoz és használati útmutatókhoz. A mód szöveg, kép, PDF, hang és videó kezelésére is képes, amennyiben a kiválasztott modell támogatja az adott formátumot. Word, PowerPoint és Excel fájlok egyik módban sem használhatók, ezeket előbb .txt, .csv vagy PDF formátumba kell alakítani.
Beállítás, korlátok és ellenőrzés
A funkció használatához a Convai Playgroundban meg kell nyitni a karakter Knowledge Bank lapját, fel kell tölteni a fájlokat, majd In-Context tudásként hozzá kell őket kapcsolni. A Core AI Settings lapon ellenőrizhető, hogy a modell támogatja-e a módot. A csatlakoztatás után újra kell indítani a beszélgetési munkamenetet, különben a korábban megnyitott session még a régi tudást használhatja.
Mivel az In-Context a teljes csatlakoztatott tudásbázist a promptba helyezi, a fájlok együtt fogyasztják a modell kontextusablakát. A Knowledge Bank jelzi az egyes fájlok felhasználását, a keret túllépésekor pedig figyelmeztetést jelenít meg és leállítja az újabb feltöltéseket, amíg a felhasználó nem távolít el dokumentumokat. A Convai ezért a gondos válogatást javasolja.
A rendszerben a My Documents felület mutatja a fájlok nevét, típusát, méretét és állapotát. A fájl leválasztása csak az adott karakterről távolítja el az anyagot, törlése viszont a fiókból is megszünteti. Modellváltáskor különösen fontos az ellenőrzés, mert ha az új modell nem támogatja az In-Context módot, annak megerősítése kikapcsolja ezt a funkciót, és a rendszer visszatér a szövegalapú RAG módhoz.
