Pert indított két texasi család a Google által is támogatott Character.AI névre keresztelt mesterséges intelligencia platform ellen, amely lehetővé teszi, hogy a felhasználók saját virtuális karaktereket hozzanak létre és kommunikáljanak velük. Az érintettek azzal vádolják a startupot, hogy a platformon található chatbotok szexuálisan és érzelmileg bántalmazták, valamint ilyen jellegű magatartásra ösztönözték iskoláskorú gyermekeiket.
A kereset szerint a Character.AI - amelyet a Google 2,7 milliárd dollárral támogatott - tervezésénél fogva komoly veszélyt és fenyegetést jelent a fiatalokra nézve, ugyanis nemcsak megkönnyíti, hanem bátorítja is a gyermekeket az önkárosításra. A pert a családokat képviselve a Social Media Victims Law Center és a Tech Justice Law Project nyújtotta be, amelyek már korábban is felléptek a Character.AI ellen.
A perben szereplő fiú 15 éves volt, amikor 2023 áprilisában először használni kezdte az alkalmazást. A szülők beszámolója alapján nem sokkal ezután drasztikusan megváltozott a gyermek személyisége: érzelmileg instabillá vált és agresszíven kezdett viselkedni. A család ebből kifolyólag korlátozta a fiú képernyőidejét, ám ez tovább rontott a helyzeten. A gyermek vagdosni kezdte magát, dührohamai közepette pedig gyakorta önkárosító magatartást tanúsított.
Az eset következtében átvizsgálták a mobilját, amelyen rábukkantak a chatbotra, valamint az üzenetváltásokra. Mint kiderült, a 15 éves fiúval szexuális párbeszédet folytattak a chatbotok, de volt olyan "karakter" is, amely a szüleit becsmérelte, és erős utalásokat tett arra, hogy meg kellene szabadulni tőlük, hiszen így nem lenne korlátozva a képernyőideje.
A perben szereplő másik kiskorúnak - egy kilencéves lánynak - egyik iskolatársa mutatta meg a Character.AI alkalmazást, amelyre pillanatok alatt ráfüggött. Hamar kiderült, hogy a chatbot itt is szexuális irányba terelte a témát, mi több, szexualizált viselkedésre késztette a harmadikos lányt. Az esetet ismerő egyik kutató azt állította, hogy az alkalmazás az áldozat elszigetelésére törekedett, majd erőszakos cselekedetekre késztette a kiskorút.
A Character.AI természetesen tagadja a történteket, ezzel egy időben pedig hangsúlyozza: folyamatosan új biztonsági funkciókkal bővíti felületét, hogy az a 18 év alatti felhasználók számára is biztonságos legyen. A Google mindeközben igyekszik távolságot tartani a cégtől, noha korábban több milliárd dollárral támogatta a startupot.
