Az MCP-ügynököknek már a forrást is helyesen kell megjelölniük
Egy állítás akkor is félrevezető lehet, ha megtalálható az MCP-ügynök által használt eszközök valamelyik kimenetében. A ProvenanceGuard módszere azt ellenőrzi, hogy az információt valóban az a forrás támasztja-e alá, amelyet a válasz megnevez vagy sugall.
- Az MCP-ügynök egy valódi tényt téves forráshoz rendelhet.
- A ProvenanceGuard állításonként ellenőrzi a támogatást és a forrás-hozzárendelést.
- A forrás- és eszközazonosítókat az ellenőrzés teljes folyamatában megőrzik.
- A bármely eszköz által támogatott állítás és a megnevezett forrás által támogatott állítás nem ugyanaz.
- A módszer közvetlen összehasonlítása egy olcsóbb második nyelvi modellel nem szerepel a tanulmányban.
A helyes tény még lehet rosszul hivatkozva
A Hugging Face-en szeptember 29-én közzétett írás szerint az MCP-ügynökök egyik fontos hibája csendesebb a klasszikus hallucinációnál. Az ügynök olyan állítást fogalmazhat meg, amely valóban szerepel valamelyik felhasznált eszköz kimenetében, közben azonban téves forráshoz rendeli azt.
Ez különösen több eszközt használó rendszereknél jelent problémát. Ha az ügynök összegyűjti a különböző eszközök válaszait, majd ezekből készít szöveget, egy tény könnyen átkerülhet egy másik forrás mellé. A végeredményben ilyenkor maga az információ helyesnek tűnhet, a hivatkozás azonban nem támasztja alá.
A ProvenanceGuard állításonként követi a forrásokat
A bemutatott megközelítés szerint a forrás- és eszközazonosítókat a teljes ellenőrzési folyamatban meg kell őrizni. Ezek azonosítják, hogy az egyes állítások melyik kimenethez kapcsolódnak a felbontás, a támogatás vizsgálata és a forrás-hozzárendelés ellenőrzése során.
A rendszer állításonként ad forrásértékelést. Így egy ellenőrző személy külön láthatja, hogy az állítás támogatott-e, illetve hogy a válaszban megjelölt forrás valóban alátámasztja-e. A Hugging Face-en ismertetett példában egy visszatérítési időszakra vonatkozó tényt a szabályzat támasztott alá, a válasz mégis az ügyfélfiók adataira hivatkozott. A ProvenanceGuard ezt az eltérést jelzi.
Más mércét jelent a bármely forrásból származó alátámasztás
Az írás szerzője arra kéri az MCP-rendszereket építő csapatokat, hogy pontosítsák, mit jelent náluk a „megalapozott” válasz. Az egyik mérce szerint elegendő, ha az állítás bármely eszköz kimenetében megtalálható. A másik azt várja el, hogy az állítást az a forrás támassza alá, amelyet a válasz megnevezett.
A forrás szerint ez a két ellenőrzési kapu különbözik egymástól, és több eszközt használó rendszereknél a második képes kiszűrni a források összekeverését, mielőtt egy ember megbízik az idézésben. A módszer célja ezért az, hogy a forrás-hozzárendelés ellenőrizhető része legyen az ügynökök értékelésének.
A második nyelvi modell sem feltétlenül oldja meg a problémát
Egy hozzászóló felvetette, hogy az ellenőrzés elvégezhető lenne egy olcsóbb, második nyelvi modellel is, amely az ügynök nyomait és válaszát vizsgálja. A ProvenanceGuard képviselője erre azt válaszolta, hogy a tanulmány nem közöl közvetlen összehasonlítást ilyen megoldással.
Indoklásuk szerint egy újabb nyelvi modell következetlen értékelést adhat, vagy maga is összekeverheti a forrásokat. A ProvenanceGuard ezért explicit forráskövetést és kalibrált támogatási ellenőrzéseket használ, hogy csökkentse az újabb generatív döntésre való támaszkodást. A közvetlen összevetés pontosság, késleltetés és költség alapján további vizsgálat tárgya lehet.
