Az igaz állítás is félrevezető lehet, ha rossz forráshoz kötik

Nem elég, ha valahol szerepel a tény

Az MCP, vagyis a Model Context Protocol köré épített ügynökök gyakran több eszköztől gyűjtenek információt, majd ezekből állítanak össze választ. Ilyenkor a hibás működés egyik csendes formája az lehet, hogy a válaszban szereplő állítás igaz, de az ügynök rossz forráshoz rendeli.

A Hugging Face-en szeptember 29-én közzétett bejegyzés szerint a hagyományos, forrásokra vak ellenőrzés ezt a hibát átengedheti. Ha ugyanis a tény bárhol megtalálható az összes eszközkimenet között, a rendszer megalapozottnak jelölheti a választ, még akkor is, ha a hivatkozott forrás nem tartalmazza az adott információt.

A ProvenanceGuard állításonként vizsgálja a forrást

A bemutatott megközelítés megtartja az eszköz- és forrásazonosítókat az állítások felbontása, az alátámasztás ellenőrzése és a forráshoz rendelés során. Így minden állításhoz külön forrásértékelés készül, amelyet egy ellenőrző személy is áttekinthet.

A bejegyzéshez fűzött magyarázat szerint a rendszer először azonosítja az állításokat, majd hasonlóság alapján megkeresi a valószínűleg alátámasztó forrást. Ezt követően természetesnyelv-következtetéssel és véletlen erdő alapú modellel vizsgálja, hogy a kiválasztott forrás ténylegesen támogatja-e az állítást, valamint azt is, hogy a válasz megfelelő forrást nevez-e meg.

A szerzők egy visszatérítésre vonatkozó példát is ismertettek. A szabályzat alátámasztja a visszatérítési időablakra vonatkozó tényt, a válasz azonban a felhasználói fiók adatait jelöli meg forrásként. A ProvenanceGuard ezt az eltérést jelzi, és megmutatja a forrásértékelést.

Külön ellenőrzési kapu több eszköz használatakor

A Multiverse Computing szerint a fejlesztőcsapatoknak azt kell tisztázniuk, mit jelent náluk a „megalapozott” válasz. Az egyik értelmezés szerint elegendő, ha bármelyik eszközkimenet támogatja az állítást. A másik azt követeli meg, hogy a választól elvárt, megnevezett forrás támassza alá az információt. Több eszköz együttes használatakor a második ellenőrzés képes kiszűrni a források összekeverését, mielőtt valaki megbízik az idézetben.

A bejegyzéshez érkezett kérdésre a szerzők azt válaszolták, hogy egy második nyelvi modell is elvégezhetné ezeket az ellenőrzéseket, a tanulmány azonban nem közöl közvetlen összehasonlítást egy olcsóbb, ilyen célú modellel. Indoklásuk szerint egy újabb modellhívás maga is következetlen értékelést vagy forráskeverést okozhat. A ProvenanceGuard célja ezért az explicit forráskövetés és a kalibrált alátámasztási ellenőrzés használata, hogy kisebb legyen a függés egy újabb generatív döntéstől.