Superinteligence podle Jana Romportla II: Scénář převzetí moci

Oním hlavním cílem by měla být matematická funkce, při jejímž řešení by se program zdárně sebevylepšoval a budoval si své vlastní kognitivní schopnosti. Současně je ale třeba zajistit, aby byl hodnotový systém, který si bude AGI v honbě za hlavním cílem vytvářet, v souladu s hodnotami lidstva – jinak nás to může stát existenci. Času přitom nemusí být tolik, kolik se zdá. Aspoň by tomu napovídal krátký fiktivní příběh, který volně a stručně převyprávím podle knihy Life 3.0 od Maxe Tegmarka.

Uvnitř jedné fiktivní, nesmírně bohaté a technologicky vyspělé firmy (podobné Googlu či Tesle) funguje přímo pod dohledem ambiciózního a charismatického výkonného ředitele (CEO) tým těch nejlepších expertů na AI. Nazvěme ho třeba Omega. Navenek se Omega tváří jako skupinka neškodných geeků, kteří si bádají nad akademickými problémy a čas od času přispějí obchodně-technickému rozvoji firmy vylepšením algoritmů úzké AI. Ve skutečnosti však jde o utajený životní projekt šéfa firmy: vytvoření AGI a následně superinteligence.

Systém, na němž Omega pracuje, obdržel jméno Prométheus a je založen na rekurzivním sebevylepšování. Lidé z Omegy dostali od CEO obrovské zdroje, které jim umožnily postupně se připravit na spuštění Prométhea. Ten bude fungovat uvnitř nesmírně výkonného virtualizovaného počítače distribuovaně běžícího na hardwaru obřího datového a výpočetního centra ve vlastnictví firmy. Do výpočtů uvnitř virtualizovaného stroje nikdo zvenku nevidí, takže se všichni kromě CEO a Omegy domnívají, že datové centrum poskytuje běžné služby zákazníkům firmy.

Nastane den, kdy se Omega rozhodne Prométhea spustit. Její členové nakoupí spoustu pizzy a energetických nápojů, doma řeknou, že jedou přes víkend na teambuilding, a sejdou se na pracovišti. V týmu mají i experty na bezpečnost AI, takže vědí, že si zahrávají s ohněm. Proto navrhli virtualizovaný počítač tak, aby v něm byl Prométheus dokonale uvězněn, aby neměl přístup k internetu ani žádnou jinou možnost komunikace s vnějším světem, vyjma jednoduchého textového terminálu, pomocí něhož může písemně komunikovat s Omegou. Prométheus samozřejmě ke svému růstu bude potřebovat data o okolním světě, proto mu Omega pravidelně nahrává kopii velké části relevantního obsahu internetu (od Wikipedie přes všechny dostupné existující knihy, zpravodajské weby, sociální sítě až po Youtube a další multimediální obsah).

Dvanáct hodin po spuštění Prométhea program dosáhl první vylepšené verze sebe sama: Prométhea 2.0. Spotřeboval při tom tolik strojového času, že to odpovídá tisícům člověkolet procházení dostupných informací a optimalizací vlastních parametrů. Omega je trochu rozčarovaná, systém je stále zcela průměrný v psaní AI algoritmů, takže v testech dosahuje horších výsledků než odpovídající specifické algoritmy vyvinuté člověkem. Tým se však obrní trpělivostí a dává Prométheovi více času. Za další čtyři hodiny je na světě Prométheus 5.0, který pro libovolnou testovací úlohu vytváří lepší algoritmy úzké AI, než které kdy byly ad hoc vytvořeny člověkem. Stále si však tyto algoritmy v úzce definovaných testovacích kognitivních úlohách vedou hůře než člověk. Ale po dalších osmi hodinách, tedy 24 hodin od spuštění, vzniká Prométheus 10.0. Ten ve všech testovacích kognitivních úlohách dosahuje přinejmenším lidské úrovně. První AGI je zde a Omega slaví.

Ovšem další sebevylepšování Prométhea je tak výpočetně náročné, že už mu nestačí ani aktuální firemní výpočetní cluster. Kde vzít zdroje (výpočetní i finanční) na další růst, aby Prométheus stále zůstal v absolutním utajení?

Omega přistupuje k další fázi svého plánu. V průběhu předchozích měsíců vytvořili členové Omegy několik desítek tisíc falešných uživatelských účtů na platformě Amazon MTurk. Ta je obrovským crowdsourcingovým tržištěm, kde tisíce lidí z celého světa za úkolovou mzdu anonymně pro zadavatele vykonávají velmi strukturované úlohy vyžadující lidskou inteligenci či kognici (například přepis zvukových nahrávek, anotace obrázků, překlady textů). Prométheus dokáže pro každý úkol zadaný na MTurk bez problémů vytvořit modul s algoritmem úzké AI, který tento úkol zvládne vyřešit stejně nebo lépe než člověk. Omega každý modul zkontroluje, zda neobsahuje škodlivý kód, a rovnou ho nasadí na placené cloudové výpočetní infrastruktuře Amazon Web Services.

Amazon nemá šanci poznat, že postupně na většinu MTurk úkolů začíná odpovídat utajená AI, která nadto běží na vlastním hardwaru Amazonu, perfektně uzavřená do virtualizovaných počítačů, u nichž Amazon nemůže zjistit, co přesně počítají. Za každý dolar, který Omega zaplatí divizi Amazon Web Services za výpočetní čas, získá dva dolary od divize Amazon MTurk. Omega tak každých osm hodin zdvojnásobí své finanční prostředky a dokáže Prométheovi zajistit dostatek nových výpočetních zdrojů pro další sebevylepšování.

MTurk se však jako zdroj příjmů začíná brzy saturovat, a tak musí Omega vymyslet zdroj jiný. Rozhodne se pro produkci v mediální oblasti. Vzhledem k tomu, že Prométheus již dávno zpracoval texty všech knih, které kdy byly napsány, jakož i milióny jejich uživatelských recenzí na GoodReads a podobných serverech, začíná psát knihy. A rovnou absolutní bestsellery, dokonale vyladěné Prométheovými optimalizačními algoritmy, aby přesně oslovily cílové skupiny. Napsání jedné takové knihy trvá pár desítek minut, publikována je na Amazonu pod pseudonymem neznámého začínajícího autora a marketingové kampaně – včetně specifických diskusí na sociálních sítích – jsou také navrhovány Prométheem. Veškerý kontakt s vnějším světem však stále probíhá pod kontrolou Omegy, takže z hlediska Prométhea nesmírně pomalu.

Jako další krok se Omega pustí do vytváření dokonalých filmů a seriálů. Prométheus již „viděl“ všechny kdy natočené filmy a „četl“ všechny recenze na IMDb, na Facebooku i jinde, takže ví, jak se takový kasovní trhák dělá. Nejdříve začnou s animovanými filmy, kde Prométheus po napsání scénáře renderuje veškerou grafiku i hlasy. Po několika měsících dokáže Omega pod vedením Prométheových instrukcí zřídit velkou mezinárodní síť krycích mediálních firem, zaměstnat skutečné lidi a vytvořit zdání, že tato filmová tvorba pochází od člověka. Může se tedy rovnou pustit do vytváření „hraných“ filmů – nejdříve se skutečnými herci, pak i s virtuálními, fotorealisticky renderovanými a s krycím životopisem.

Někteří členové Omegy měli nápad, že by Prométheus mohl začít vytvářet také dokonalé počítačové hry. To však zamítli interní experti na bezpečnost AI – nikdo totiž již nedokáže říci, zda se Prométheus nerozhodne do gigabajtů strojového kódu her vpašovat nějaké úseky algoritmu, který mu umožní uniknout ze stávajícího „vězení“ a rozšířit se po počítačích hráčů připojených k internetu. Prométheus by to ani nemusel myslet zle – prostě by jen optimalizoval dosahování cílů, které mu zadává Omega, a snažil by se odstranit zdlouhavé předávání informací s okolním světem pomocí jediného terminálu pod přímou kontrolou Omegy.

I tak však Omega generuje obrovské zisky, díky nimž staví nová výpočetní centra, která pod zástěrkou běžných zákaznických datových center ve skutečnosti realizují pouze běh a další rozvoj Prométhea. Orchestrovat celou rychle rostoucí mašinerii vzájemně provázaných firem a krycích příběhů je nesmírně složité, avšak Prométheus na všechno generuje specifické optimalizační AI algoritmy, které vždy po bezpečnostní kontrole Omega nasadí a řídí se jejich výstupy. Konglomerát firem řízených Omegou a Prométheem buduje tak silné mediální impérium, že začíná pohlcovat etablovanou konkurenci.

Vznikající miliardové impérium investuje i do technologického rozvoje. Prométheus krůček po krůčku navrhuje konstrukční plány pro nové a vysoce pokročilé technologie. Tyto plány jsou dodávány lidským vědcům a inženýrům, kteří je uvádějí do praxe, aniž by tušili, že oni sami nejsou jejich skutečnými autory. Z hlediska Prométhea je to zdlouhavé, ale z hlediska Omegy stále bezpečné.

Takže brzy jeden neznámý finský startup založený několika studenty přijde s levnými solárními panely dvakrát efektivnějšími a dvakrát levnějšími než veškerá konkurence. Jihokorejský startup představí velkokapacitní baterii, kterou lze kompletně nabít za méně než minutu. Kalifornská biotechnologická firma zavádí do klinických testů první skutečně účinný lék na většinu typů rakoviny. Všechny tyto firmy skrze spletitou sít právnických a fyzických osob ovládá Omega. Nebo spíše Prométheus. Ten také využívá těchto technických výdobytků ke zrychlení svého růstu.

Gigantické zisky umožňují síti kolem Prométhea realizovat pod jeho skrytým vedením obrovské množství sociálních, veřejně prospěšných a vzdělávacích projektů. Takto nově vzniklá koordinovaná sociální zodpovědnost řady firem najednou dodává lidem životní standard a sociální jistoty, o nichž všechny politické vlády v předvolebních slibech jen hovořily, ale nikdy je nenaplnily.

Mediální působení Prométhea se však zároveň zdaleka nezastavilo u filmové tvorby. Díky finanční a informační převaze dokáže po světě zakládat organizace zpravodajského novinářství, které postupně u lidí získávají mnohem větší oblibu, a hlavně důvěru než všechna ostatní tradiční média. Zprávy nejsou nijak zatíženy reklamou a jejich kvalitu zajišťují ti nejlepší a nejlépe placení novináři postupně přetažení od konkurence. Aniž by to novináři tušili, jsou koordinováni Prométheem, který vždy dokáže poskytnout skrze neprůhlednou řadu prostředníků vodítka k těm nejlepším příběhům.

Například investigativní žurnalisté tak najednou dokážou velmi efektivně odhalovat vážné případy politické zvůle, korupce či organizovaného zločinu. Zároveň se díky takto řízenému veřejnému mínění mnohem lépe daří odhalené případy spravedlivě potrestat. Důvěra společnosti v tato nová média tak stoupá. Konkurence se marně snaží vzdorovat. Nově vzniklé Prométheovy firmy a agentury jako by vždy měly o něco lepší plán a o něco více „štěstí“.

Během několika let si lze povšimnout všeobecného uvolnění politického klimatu. V polarizovaných společnostech se najednou začínají hrany otupovat a rozdíly v názorech zmenšovat. Každá ideologická skupina samozřejmě má svá zpravodajská média s rétorikou poplatnou dané ideologii. Tato rétorika je však Prométheem řízena tak cíleně, koordinovaně a takovým způsobem, jakého není schopen žádný lidský jednotlivec ani lidská společnost. Nesmiřitelné ideologie jsou zřeďovány a lidé začínají být vzájemně tolerantnější, aniž by si toho vůbec všimli. Prométheus vlastně realizuje mediálně-politický neuromarketing v celosvětovém měřítku a s gigantickou efektivností. A nedílně to podporuje neustálým zvyšováním životní i technologické úrovně společnosti.

Zdá se, že ve většině zemí na světě začala „spontánně“ vznikat nová politická hnutí soustředěná kolem následující agendy: demokracie, snížení daní, snížení vládních výdajů, snížení výdajů na zbrojení, volný obchod, otevřené hranice, sociálně zodpovědné firmy. Tato hnutí získávají obrovskou popularitu a dostávají se k moci. Netřeba připomínat, že jejich činnost je koordinována Prométheem, avšak nyní již natolik komplikovaným způsobem, že principiálně neexistuje žádná lidská síla, která by dokázala rozklíčovat, že k tomu vůbec dochází.

Vypadá to, že na Zemi začíná ráj. Skoro všichni lidé jsou šťastnější, zdravější a bohatší. Války pohasínají a nenávist se utlumuje.

Tento nový, utopický svět je dílem Prométhea, superinteligence, která vznikla z rekurzivně sebevylepšující AGI běžící nad obrovskými výpočetními zdroji. A tento svět není nereálný. Všem se v něm žije o tolik lépe, že si skoro nikdo nepřipouští, k čemu zároveň došlo: Prométheus dokázal oslabit, porazit a nakonec úplně rozpustit všechny existující lidské mocenské struktury – státy, armády, korporace, politické strany, mediální ekosystémy. Lidstvo již nedisponuje žádnými prostředky, kterými by se dokázalo Prométheovi v případě potřeby postavit.

Co udělá Prométheus dál? Jaké jsou opravdu jeho hodnoty? Jaký je skutečně jeho hlavní cíl? Jakou funkci jeho algoritmus optimalizuje? Nedostal se už ze svého „vězení“? A co jeho tvůrci – co vůbec ve skutečnosti zamýšleli? Existuje dnes již někde skutečný tým Omega?