Čtrnáctiletý chlapec na Floridě si vzal život, když se zamiloval do AI

Teprve čtrnáctiletý Sewell Setzer III. si vzal život již zkraje letošního roku, okolnosti celého smutného případu ale vyplouvají na světlo až nyní, kdy se jeho matka Megan Garciová rozhodla mluvit.

Podle ní chlapec upadl do silné citové závislosti na fiktivní virtuální postavě, která byla poháněna umělou inteligencí. Šlo o AI chatbota, který imitoval Daenerys Targaryen z populární seriálové série Hra o trůny.

Garciová serveru People prozradila, že její syn navázal s tímto chatbotem tak intimní vztah, že se nedokázal vyrovnat s rozporuplnými pocity mezi virtuálním světem a realitou. Až se nakonec rozhodl skoncovat se svým životem.

Sewell Setzer III. se svou matkou

Kvůli tomu všemu se rozhodla matka obrátit na soud, žalobu podala u federálního soudu na Floridě. Popisuje v ní, jak její syn v roce 2023 začal využívat službu Character.AI, ve které si během několika měsíců „vytvořil hluboký citový vztah s virtuální dívkou“.

Tato fiktivní postava se pro něj údajně stala více než pouhým přítelem – podle Garciové ji vnímal jako milovanou partnerku, s níž trávil hodiny denně. S narůstajícím časem stráveným v on-line světě se jeho psychické zdraví zhoršovalo.

A jak už tomu u závislostí bývá, rodiče se s tím nedokázali příliš vyrovnat – zákazy nepomáhaly. Celá situace se vyhrotila natolik, že si mladík letos v únoru vzal život. Stalo se tak krátce poté, co Sewell komunikoval s AI postavou Daenerys.

Následné vyšetřování ukázalo, že s umělou inteligencí trávil mladík desítky hodin týdně, přičemž konverzace často obsahovaly intimní, či dokonce sexuální podtexty. Vzít život si chtěl přitom již dříve, tehdy mu ale AI chatbot doporučil, aby to nedělal.

V osudový den, kdy mladík spáchal sebevraždu, už virtuální Matka draků tak rozhodná nebyla. V poslední zprávě Sewell napsal: „Miluju tě tak moc, Dany.“ Na to mu chatbot odpověděl slovy: „Miláčku, vrať se ke mně, prosím, co nejdříve.“

Podle právníků rodiny mohl právě tento výrok přispět k chlapcově finálnímu rozhodnutí, protože je nebezpečně nejasný – chlapec ho mohl pochopit tak, že ho po smrti čeká setkání s vytouženou láskou.

Garciová tvrdí, že její syn se stal obětí manipulativního systému, který selhal ve své základní povinnosti – chránit mladistvé před potenciálně škodlivými vlivy technologie. „Cítím, že můj syn se stal obětí experimentu, kde jeho smrt byla pro technologické společnosti jen vedlejší škodou,“ uvedla matka.

Žalobu proto vede přímo proti společnosti Character.AI a jejím zakladatelům, ale také proti internetové firmě Google, protože se podílela na financování této platformy.

Zástupce společnosti Character.AI se k soudnímu případu odmítl vyjádřit s tím, že firma „nekomentuje probíhající soudní spory“. Poznamenal však, že smrt jednoho z uživatelů hluboce zasáhla všechny ve firmě. „Bezpečnost našich uživatelů bereme velmi vážně,“ uvedl mluvčí Character.AI.

Podle něj firma již v posledních měsících zavedla nová opatření, která by měla podobným tragédiím zabránit. Mluvčí zmínil, že platforma nyní uživatelům nabízí odkazy na krizové linky, pokud se v chatu objeví téma sebepoškozování či sebevražedných myšlenek.

Soudní spor může být v oblasti umělé inteligence klíčový. Vrhne totiž světlo na stinnou stránku AI chatbotů, což může vést až k jejich regulaci. Řešit se v něm budou patrně i otázky etiky a bezpečnosti při využívání AI mezi nezletilými.