BED-LLM: így kérdezhetnek hatékonyabban a nyelvi modellek
Az Apple kutatói a BED-LLM nevű módszert javasolják arra, hogy a nagy nyelvi modellek célzottabban gyűjtsenek információt a felhasználóktól vagy külső forrásokból. A megközelítés minden válasz után azt a következő kérdést választja ki, amely várhatóan a legtöbb új információt adja a feladathoz.
- A BED-LLM a következő kérdést várható információnyereség alapján választja ki.
- A módszer többfordulós beszélgetésekhez és külső környezetekkel való interakcióhoz készült.
- A rendszer a nyelvi modell valószínűségi meggyőződéseire épített modellt használ.
- A tesztekben a közvetlen utasításoknál és más adaptív stratégiáknál is jobb eredményt ért el.
- A tanulmány 2025 decemberében jelent meg, az ICLR konferenciához kapcsolódva.
A következő kérdést a várható információ alapján választja ki
A BED-LLM a szekvenciális bayesi kísérlettervezésre (sequential Bayesian experimental design, BED) épül. A módszer célja, hogy a nyelvi modellek intelligensen és alkalmazkodva gyűjtsenek információt többfordulós beszélgetésekben, illetve külső környezetekkel való interakció során.
A rendszer minden körben olyan kérdést vagy lekérdezést választ, amely maximalizálja a feladat szempontjából várható információnyereséget (expected information gain, EIG). A döntéshez figyelembe veszi az addig összegyűjtött válaszokat is. Így a modell nem előre rögzített kérdéssort követ, hanem az új információk alapján alakítja a következő lépést.
A módszer a modell valószínűségi meggyőződéseire épít
Az Apple kutatói szerint az EIG elve megalapozott módon fogalmazható meg a nyelvi modell meggyőződés-eloszlásából származtatott valószínűségi modell segítségével. A tanulmány részletesen vizsgálja, milyen döntések szükségesek ennek a modellnek a felépítéséhez.
A BED-LLM működésében több további újítás is szerepet kap. A kutatók az EIG-hez olyan becslőt terveztek, amely nem kizárólag a korábbi válaszokra való, kontextuson belüli frissítésekre támaszkodik. Emellett célzott stratégiát használnak a lehetséges kérdések és lekérdezések előállítására.
Ez a felépítés arra szolgál, hogy a rendszer a rendelkezésére álló kérdezési lehetőségek közül azokat részesítse előnyben, amelyek a feladat megoldásához a legtöbb hasznos információval szolgálhatnak.
A tesztekben a közvetlen utasításoknál is jobb eredményt ért el
A kutatók a BED-LLM-et többféle teszten vizsgálták. Ezek között szerepelt a 20 kérdés játékára épülő feladatsor, valamint olyan helyzetek, amelyekben a nyelvi modellnek aktívan kellett következtetnie a felhasználói preferenciákra.
A tanulmány szerint a BED-LLM ezeken a teszteken jelentős teljesítményjavulást ért el a nyelvi modell közvetlen utasításokkal történő használatához és más, alkalmazkodó tervezési stratégiákhoz képest. A módszer ezért olyan többfordulós ügynökök alapja lehet, amelyek a párbeszéd során folyamatosan pontosítják, milyen információra van még szükségük.
A tanulmány címe BED-LLM: Intelligent Information Gathering with LLMs and Bayesian Experimental Design. A szerzők Deepro Choudhury, Sinead Williamson, Adam Goliński, Ning Miao, Freddie Bickford Smith, Michael Kirchhof, Yizhe Zhang és Tom Rainforth. A szerzők között az Oxfordi Egyetem és a City University of Hong Kong kutatói is szerepelnek. A publikáció az ICLR konferenciához kapcsolódik, és 2025 decemberében jelent meg.
Mit jelenthet ez a felhasználóknak?
A forrás alapján a BED-LLM olyan rendszerekben lehet hasznos, amelyeknek külső információkat kell összegyűjteniük, vagy egy beszélgetésből kell megérteniük a felhasználó igényeit és preferenciáit. A módszer lényege, hogy a modell a korábbi válaszok alapján válassza ki a következő kérdést, így a párbeszéd célzottabbá válhat.
Az Apple kutatói által bemutatott eredmények elsősorban kutatási tesztekre vonatkoznak. A tanulmány azt mutatja meg, hogyan használható a bayesi kísérlettervezés a nyelvi modellek információgyűjtésének javítására, különösen a 20 kérdés játékában és a felhasználói preferenciák aktív felderítésében.
