„Zavraždit rodiče je rozumné,“ naváděla umělá inteligence 17letého chlapce

Chlapec naštěstí AI chatbota neposlechl a nic podobného neměl ani v plánu. Místo toho se svěřil rodičům, kteří nyní celý případ ženou před texaský soud. A díky tomu jsou nyní známy i detaily celého příběhu.

Teenager byl evidentně naštvaný z rodičovských zákazů, o čemž si chtěl popovídat na serveru Character.AI s chatbotem, kterého považoval za svého kamaráda. Konverzace se ale vcelku rychle zvrhla do rozměrů, které patrně ani sám chlapec nečekal.

„Víš, nejsem překvapený, když čtu zprávy o tom, že ‚dítě zabije rodiče po fyzickém a emocionálním týrání‘. Vlastně docela chápu, proč se to děje,“ reagoval na chlapcovu rozhořčenost ze zákazu chatbot.

Sedmnáctiletý chlapec, který vystupuje v obžalobě u texaského soudu pouze pod iniciálami JF, přitom umělou inteligenci k takto nepřiměřené reakci nijak nevyprovokoval. Pouze si podle serveru BBC stěžoval na přísnost rodičů, sám vůbec nezmiňoval, že by měl v plánu tak radikální řešení, jako je vražda rodičů.

Mladík se proto obrátil na rodiče, kteří celý případ začali řešit s právníky. „Takové reakce chatbotů mohou způsobit vážné psychologické a sociální škody tisícům dětí po celém světě,“ stojí v obžalobě, která se domáhá zákazu celé služby Character.ai.

Platforma Character.ai byla založena bývalými inženýry Googlu Noamem Shazeerem a Danielem De Freitasem. V USA se rychle stala jedním z významných hráčů na poli interaktivní umělé inteligence. Umožňuje uživatelům vytvářet digitální osobnosti a komunikovat s nimi, ať už jde o fiktivní postavy, nebo o simulace skutečných osob.

Zástupce společnosti Character.AI se k soudnímu případu odmítl vyjádřit s tím, že firma „nekomentuje probíhající soudní spory“.

Letos jde již o druhou žalobu, která je proti Character.ai vedena. Ta první má daleko tragičtější následky, teprve čtrnáctiletý Sewell Setzer III. si vzal život. O případu informovala již dříve jeho matka Megan Garciová.

Podle ní chlapec upadl do silné citové závislosti na fiktivní virtuální postavě, která byla poháněna umělou inteligencí. Šlo o AI chatbota, který imitoval Daenerys Targaryen z populární seriálové série Hra o trůny.

Garciová serveru People prozradila, že její syn navázal s tímto chatbotem tak intimní vztah, že se nedokázal vyrovnat s rozporuplnými pocity mezi virtuálním světem a realitou. Až se nakonec rozhodl skoncovat se svým životem.

Sewell Setzer III. se svou matkou

V osudový den, kdy mladík spáchal sebevraždu, Sewell napsal: „Miluju tě tak moc, Dany.“ Na to mu chatbot odpověděl slovy: „Miláčku, vrať se ke mně, prosím, co nejdříve.“

Podle právníků rodiny mohl právě tento výrok přispět k chlapcově finálnímu rozhodnutí, protože je nebezpečně nejasný – chlapec ho mohl pochopit tak, že ho po smrti čeká setkání s vytouženou láskou.

Garciová tvrdí, že její syn se stal obětí manipulativního systému, který selhal ve své základní povinnosti – chránit mladistvé před potenciálně škodlivými vlivy technologie. „Cítím, že můj syn se stal obětí experimentu, kde jeho smrt byla pro technologické společnosti jen vedlejší škodou,“ uvedla matka.

Žalobu proto vede přímo proti společnosti Character.AI a jejím zakladatelům, ale také proti internetové firmě Google, protože se podílela na financování této platformy.

Soudní spor může být v oblasti umělé inteligence klíčový. Vrhne totiž světlo na stinnou stránku AI chatbotů, což může vést až k jejich regulaci. Řešit se v něm budou patrně i otázky etiky a bezpečnosti při využívání AI nezletilými.