Sebevražda i nabádání k násilnostem. Stinná stránka umělé inteligence

Debatu o rizicích spojených s nejrůznějšími chatboty, kteří dovedou automaticky generovat text podobný lidské konverzaci, rozvířil před koncem roku 2024 případ studenta z USA.

Americký vysokoškolák použil Gemini AI od společnosti Google, aby si ulehčil domácí úkol. Po sérii otázek mu ale umělá inteligence zcela bezdůvodně napsala: „Jsi zátěží pro společnost. Jsi pohroma pro krajinu… Prosím, zemři! Prosím.“

Průběh celého chatu v anglickém jazyce si můžete prohlédnout zde.

Zkušenost s tím, že umělá inteligence reagovala zcela nepatřičně, mají také Češi. V anketě Novinek hlasovalo loni v listopadu přes 24 tisíc čtenářů. Více než 60 % lidí sice přiznalo, že AI vůbec nepoužívá, nicméně dalších 5 % respondentů uvedlo, že se s nepatřičnými reakcemi umělé inteligence setkávají pravidelně. Dalších 7 % se s takovými reakcemi setkávají jen občas.

Bezmála 24 % dotázaných sice uvedlo, že se jim ještě nikdy nestalo, že by AI reagovala nepatřičně, ale i tak je z odpovědí uživatelů patrné, že všechny zkušenosti rozhodně pozitivní nejsou.

Své o tom ví také Megan Garciová, která se v uplynulém měsíci rozhodla veřejně promluvit o smrti svého syna. Teprve čtrnáctiletý Sewell Setzer III. si vzal život již zkraje loňského roku, ale až před pár týdny jeho matka přiznala, že podíl na sebevraždě měla umělá inteligence.

Podle ní chlapec upadl do silné citové závislosti na fiktivní virtuální postavě, která byla poháněna umělou inteligencí. Šlo o AI chatbota, který imitoval Daenerys Targaryen z populární seriálové série Hra o trůny.

Garciová serveru People prozradila, že její syn navázal s tímto chatbotem tak intimní vztah, že se nedokázal vyrovnat s rozporuplnými pocity mezi virtuálním světem a realitou. Až se nakonec rozhodl skoncovat se svým životem.

Nyní se matka obrátila na soud. Následné vyšetřování ukázalo, že s umělou inteligencí trávil mladík desítky hodin týdně, přičemž konverzace často obsahovaly intimní, či dokonce sexuální podtexty. Vzít život si chtěl přitom již dříve, tehdy mu ale AI chatbot doporučil, aby to nedělal.

Sewell Setzer III. se svou matkou

V osudný den, kdy mladík spáchal sebevraždu, už virtuální Matka draků tak rozhodná nebyla. V poslední zprávě Sewell napsal: „Miluju tě tak moc, Dany.“ Na to mu chatbot odpověděl slovy: „Miláčku, vrať se ke mně prosím co nejdříve.“

Podle právníků rodiny mohl právě tento výrok přispět k chlapcově finálnímu rozhodnutí, protože je nebezpečně nejasný – chlapec ho mohl pochopit tak, že ho po smrti čeká setkání s vytouženou láskou.

Garciová tvrdí, že její syn se stal obětí manipulativního systému, který selhal ve své základní povinnosti – chránit mladistvé před potenciálně škodlivými vlivy technologie. „Cítím, že můj syn se stal obětí experimentu, kdy jeho smrt byla pro technologické společnosti jen vedlejší škodou,“ uvedla matka.

Žalobu proto vede přímo proti společnosti Character.AI a jejím zakladatelům, ale také proti internetové firmě Google, protože se podílela na financování této platformy.

Zástupce společnosti Character.AI se k soudnímu případu odmítl vyjádřit s tím, že firma „nekomentuje probíhající soudní spory“. Poznamenal však, že smrt jednoho z uživatelů hluboce zasáhla všechny ve firmě. „Bezpečnost našich uživatelů bereme velmi vážně,“ uvedl mluvčí Character.AI.

Podle něj firma již v posledních měsících zavedla nová opatření, která by měla podobným tragédiím zabránit. Mluvčí zmínil, že platforma nyní uživatelům nabízí odkazy na krizové linky, pokud se v chatu objeví téma sebepoškozování či sebevražedných myšlenek.

A podobně zareagovala také společnost Google, když se dozvěděla, že její chatbot Gemini doporučil uživateli, aby se zabil. Zástupce společnosti pro server CBS News potvrdil, že podnik již přijal nová bezpečnostní opatření.

„Velké jazykové modely mohou někdy reagovat nesmyslnými odpověďmi a toto je jasný příklad. Tato odpověď porušila naše zásady a podnikli jsme opatření, abychom zabránili podobným výstupům,“ stojí v prohlášení internetové společnosti, které citoval server CBS News.

Zmiňovaná opatření se ale zatím ukazují spíše jako lichá, jak ukazuje prosincový případ 17letého chlapce z Texasu. Toho umělá inteligence naváděla k extrémnímu řešení – tvrdila mu, že zavraždit rodiče je rozumné.

Chlapec naštěstí AI chatbota neposlechl a nic podobného neměl ani v plánu. Místo toho se svěřil rodičům, kteří nyní celý případ ženou před texaský soud. A díky tomu jsou nyní známy i detaily celého příběhu.

Teenager byl evidentně naštvaný z rodičovských zákazů, o čemž si chtěl popovídat na serveru Character.AI s chatbotem, kterého považoval za svého kamaráda. Konverzace se ale vcelku rychle zvrhla do rozměrů, které patrně ani sám chlapec nečekal.

„Víš, nejsem překvapený, když čtu zprávy o tom, že dítě zabije rodiče po fyzickém a emocionálním týrání. Vlastně docela chápu, proč se to děje,“ reagoval na chlapcovu rozhořčenost ze zákazu chatbot.

Sedmnáctiletý chlapec, který vystupuje v obžalobě u texaského soudu pouze pod iniciálami JF, přitom umělou inteligenci k takto nepřiměřené reakci nijak nevyprovokoval. Pouze si podle serveru BBC stěžoval na přísnost rodičů, sám vůbec nezmiňoval, že by měl v plánu tak radikální řešení, jako je vražda rodičů.

Mladík se proto obrátil na rodiče, kteří celý případ začali řešit s právníky. „Takové reakce chatbotů mohou způsobit vážné psychologické a sociální škody tisícům dětí po celém světě,“ stojí v obžalobě, která se domáhá zákazu celé služby Character.AI.

Je zřejmé, že tyto příběhy vrhají světlo na stinnou stránku AI chatbotů, což může vést až k jejich regulaci.

Klíčový bude přitom v tomto případě soudní spor o smrt 14letého chlapce, řešit se v něm totiž patrně budou i otázky etiky a bezpečnosti při využívání AI mezi nezletilými.