Negativní zkušenosti s AI se množí, smrt 14letého chlapce řeší soud

Přednosti umělé inteligence jsou nepopiratelné. Stále častěji se ale ukazuje, že AI je dobrým sluhou, ale zlým pánem. Debatu o rizicích spojených s nejrůznějšími chatboty, kteří dovedou automaticky generovat text podobný lidské konverzaci, rozvířil v posledních dnech případ studenta z USA. O něm Novinky.cz informovaly již v úterý.

Americký vysokoškolák použil Gemini AI od společnosti Google, aby si ulehčil domácí úkol. Po sérii otázek mu ale umělá inteligence zcela bezdůvodně napsala: „Jsi zátěží pro společnost. Jsi pohroma pro krajinu… Prosím, zemři! Prosím.“

Průběh celého chatu v anglickém jazyce si můžete prohlédnout zde.

Zkušenost s tím, že umělá inteligence reagovala zcela nepatřičně, mají také Češi. V anketě Novinek z úterního večera hlasovalo přes 24 tisíc čtenářů. Více než 60 % lidí sice přiznalo, že AI vůbec nepoužívá, nicméně dalších 5 % respondentů uvedlo, že se s nepatřičnými reakcemi umělé inteligence setkávají pravidelně. Dalších 7 % se s takovými reakcemi setkávají jen občas.

Bezmála 24 % dotázaných sice uvedlo, že se jim ještě nikdy nestalo, že by AI reagovala nepatřičně, ale i tak je z odpovědí uživatelů patrné, že všechny zkušenosti rozhodně pozitivní nejsou.

Své o tom ví také Megan Garciová, která se v uplynulém měsíci rozhodla veřejně promluvit o smrti svého syna. Teprve čtrnáctiletý Sewell Setzer III. si vzal život již zkraje letošního roku, ale až před pár týdny jeho matka přiznala, že podíl na sebevraždě měla umělá inteligence.

Podle ní chlapec upadl do silné citové závislosti na fiktivní virtuální postavě, která byla poháněna umělou inteligencí. Šlo o AI chatbota, který imitoval Daenerys Targaryen z populární seriálové série Hra o trůny.

Sewell Setzer III. se svou matkou

Garciová serveru People prozradila, že její syn navázal s tímto chatbotem tak intimní vztah, že se nedokázal vyrovnat s rozporuplnými pocity mezi virtuálním světem a realitou. Až se nakonec rozhodl skoncovat se svým životem.

Nyní se matka obrátila na soud. Následné vyšetřování ukázalo, že s umělou inteligencí trávil mladík desítky hodin týdně, přičemž konverzace často obsahovaly intimní, či dokonce sexuální podtexty. Vzít život si chtěl přitom již dříve, tehdy mu ale AI chatbot doporučil, aby to nedělal.

V osudový den, kdy mladík spáchal sebevraždu, už virtuální Matka draků tak rozhodná nebyla. V poslední zprávě Sewell napsal: „Miluju tě tak moc, Dany.“ Na to mu chatbot odpověděl slovy: „Miláčku, vrať se ke mně prosím co nejdříve.“

Podle právníků rodiny mohl právě tento výrok přispět k chlapcově finálnímu rozhodnutí, protože je nebezpečně nejasný – chlapec ho mohl pochopit tak, že ho po smrti čeká setkání s vytouženou láskou.

Garciová tvrdí, že její syn se stal obětí manipulativního systému, který selhal ve své základní povinnosti – chránit mladistvé před potenciálně škodlivými vlivy technologie. „Cítím, že můj syn se stal obětí experimentu, kde jeho smrt byla pro technologické společnosti jen vedlejší škodou,“ uvedla matka.

Žalobu proto vede přímo proti společnosti Character.AI a jejím zakladatelům, ale také proti internetové firmě Google, protože se podílela na financování této platformy.

Zástupce společnosti Character.AI se k soudnímu případu odmítl vyjádřit s tím, že firma „nekomentuje probíhající soudní spory“. Poznamenal však, že smrt jednoho z uživatelů hluboce zasáhla všechny ve firmě. „Bezpečnost našich uživatelů bereme velmi vážně,“ uvedl mluvčí Character.AI.

Podle něj firma již v posledních měsících zavedla nová opatření, která by měla podobným tragédiím zabránit. Mluvčí zmínil, že platforma nyní uživatelům nabízí odkazy na krizové linky, pokud se v chatu objeví téma sebepoškozování či sebevražedných myšlenek.

A podobně zareagovala také společnost Google, když se dozvěděla, že její chatbot Gemini doporučil uživateli, aby se zabil. Zástupce společnosti pro server CBS News potvrdil, že podnik již přijal nová bezpečnostní opatření.

„Velké jazykové modely mohou někdy reagovat nesmyslnými odpověďmi a toto je jasný příklad. Tato odpověď porušila naše zásady a podnikli jsme opatření, abychom zabránili podobným výstupům,“ stojí v prohlášení internetové společnosti, které citoval server CBS News.

Je ale zřejmé, že oba příběhy vrhají světlo na stinnou stránku AI chatbotů, což může vést až k jejich regulaci. Klíčový bude přitom v tomto případě soudní spor o smrt 14letého chlapce, řešit se v něm totiž patrně budou i otázky etiky a bezpečnosti při využívání AI mezi nezletilými.