A Character.AI új biztonsági eszközökkel védené a felhasználókat
A Character.AI továbbfejleszti az önsértésre utaló jelek felismerését, átláthatóbbá teszi a moderációt, és új eszközöket ad a felhasználók, valamint a szülők kezébe. A vállalat szerint a biztonsági munka folyamatos, ezért szakmai és civil szervezetekkel is együttműködik.
- A Character.AI továbbfejleszti az önsértésre utaló jelek észlelését.
- A készítők indoklást kapnak a moderációról, és fellebbezhetnek a döntések ellen.
- A felhasználók mások karaktereit, bejegyzéseit, hangjait és jeleneteit is blokkolhatják.
- A 18 év alattiak számára külön funkciókat és életkorbecslő rendszert fejlesztenek.
- A vállalat több mentális egészségügyi és online biztonsági szervezettel működik együtt.
A hosszabb beszélgetések jeleit is vizsgálják
A Character.AI 2026. szeptember 3-i közlése szerint tavaly megszüntette a 18 év alatti felhasználók nyílt végű beszélgetéseit a karakterekkel. A vállalat ezt az egyik legfontosabb biztonsági döntésének nevezte, és úgy látja, hogy az intézkedés akkor is helyes volt, és ma is annak tartja.
A cég most az önsértésre utaló jelek észlelését és az ezekre adott válaszokat finomítja. A rendszer nem egyetlen üzenet alapján próbálja értelmezni a helyzetet, hanem a teljesebb beszélgetési környezetet is figyelembe veszi. Így azokat a jeleket is keresheti, amelyek fokozatosan, hosszabb beszélgetések során jelennek meg.
A Character.AI célja, hogy ilyen esetekben a felhasználó törődést és valódi segítséghez vezető utat kapjon. A megoldások kialakításában mentális egészségügyi szakértők és klinikusok is részt vesznek. A vállalat a Koko nevű nonprofit szervezettel is együttműködik, amely ingyenes, önállóan használható érzelmi támogatási eszközöket kínál. Emellett a ThroughLine globális válság- és mentális egészségügyi erőforrásokat tartalmazó adatbázisához is kapcsolódik, így a felhasználók a saját országukban elérhető szolgáltatásokat találhatják meg.
Indoklást és fellebbezést kapnak a készítők
A vállalat szerint a biztonsági megfontolások miatt időnként olyan tartalmakat is moderálhatnak, amelyeket a felhasználó elfogadhatónak tart. A Character.AI a moderációs folyamatok fejlesztésével szeretné csökkenteni a megengedett tartalmak téves eltávolításának kockázatát.
A platformon fokozatosan vezetik be az átláthatóbb moderációt. A készítők értesítést kapnak arról, ha a tartalmukat moderálták, és arról is, hogy miért történt az intézkedés. Emellett egyszerűbbé tették a fellebbezést, így a moderációs döntést a vállalat csapata újra megvizsgálhatja.
A felhasználók több blokkolási lehetőséget is kapnak. Egy másik felhasználó, valamint az általa készített karakterek, bejegyzések, hangok és jelenetek letilthatók a keresőből, a felfedezési oldalról és a profilokból. A blokkolás mindkét irányban érvényes.
Külön fejlesztik a 18 év alattiak élményét
A Character.AI közlése szerint a 18 év alatti közösség jelentős része kreatív célokra használta a szolgáltatást. Ennek megfelelően a vállalat továbbfejlesztette a számukra kínált élményt, és olyan funkciókat adott hozzá, mint a c.ai Series, a Feed és a Comics.
A megfelelő felhasználói élmény biztosításához a cég saját életkor-biztosítási technológiát és házon belül fejlesztett életkorbecslő modellt használ. A vállalat ezt az egyik legfontosabb működtetett rendszerének nevezi, és folyamatosan javítja a pontosságát, hogy a ténylegesen 18 éves vagy idősebb felhasználókat kevesebb megszakítás érje.
A k-ID-vel kialakított együttműködés révén a Parental Insights eszközt is továbbfejlesztették. Azok a szülők és gondviselők, akiknek e-mail-címe kapcsolódik a tinédzser felhasználói fiókjához, betekintést kaphatnak a platformon végzett tevékenységbe, többek között heti e-mailes frissítéseken keresztül.
A biztonsági programban a Character.AI a ConnectSafely, az Internet Watch Foundation és a StopNCII szervezetekkel is együtt dolgozik. A cég szerint ezek a partnerségek külső szakértelmet, gyermekek online védelmét szolgáló és a beleegyezés nélküli intimképek terjedését megelőző megoldásokat adnak a fejlesztésekhez.
Character.AI: Continuing To Build Upon Our Safety Priorities
