Superinteligence podle Jana Romportla I: Scénář vzniku

Nad touto schopností pak může vyrůstat bohatý aparát kognitivních funkcí, jakož i různé „příchutě“ lidské inteligence – například jazykově-verbální, logicko-matematická, zvukově-hudební, společenská, emoční nebo intrapersonální. V jádru všech je však vždy schopnost dosahovat cíle.

V diskusi o AI musíme rozlišovat dva základní směry vývoje: prvním z nich je tzv. úzká umělá inteligence (narrow AI), druhým obecná umělá inteligence (nejčastěji zkracováno jako AGI, z anglického artificial general intelligence).

Překotný rozvoj dnes zažívá zejména úzká AI, s níž se již setkáváme v mnoha běžně dostupných produktech a službách. Vyznačuje se tím, že se zabývá strojovou (počítačovou) realizací specifických a poměrně úzce vymezených lidských kognitivních funkcí a schopností, jako je například rozpoznávání obličejů na fotografii, přepis mluvené řeči či řízení automobilu. Vytváří tedy strojové systémy, které umí dosahovat úzce vymezeného cíle, jehož naplnění bylo doposud jen ve schopnostech člověka.

Naproti tomu AGI míří ke strojové realizaci lidského myšlení a inteligence v celé jejich komplexnosti. Usiluje tedy o vytvoření skutečné umělé mysli, která sice nemusí být ve všech aspektech shodná s přirozenou myslí lidskou (to by ani nešlo), ale musí plně zvládnout alespoň dvě její stěžejní dovednosti: učit se učit nacházet řešení libovolných problémů vedoucích k libovolným cílům a zároveň hledat a volit, kterých cílů dosahovat.

Kombinace těchto dvou dovedností s jejich aplikací na dostatečné množství informací o světě by měla vést ke vzniku umělého systému, který bude přinejmenším natolik kompetentní jako běžná lidská mysl.

Povšimněme si, že zde nikde nehovořím o vědomí či emocích – ty totiž AGI primárně nepotřebuje (což ovšem neznamená, že se u ní nakonec neprojeví). Postačí, že umí dosahovat jakéhosi hlavního cíle, což opakovaně vede k efektivnímu rozhodování, které jiné průběžné cíle postupně naplňovat, a zároveň umí přenášet naučené zkušenosti a schopnosti napříč různými problémy souvisejícími s jednotlivými cíli. Co je tím hlavním cílem, ponechme zatím stranou.

Ony dvě stěžejní dovednosti jsou přesně tím, co úzké AI chybí. Ta umí řešit zadaný problém (poznej obličej, zaparkuj auto), případně učit se ho řešit, což vede k nějakému úzce vymezenému cíli. Algoritmus učení a tzv. trénovací data však obvykle napevno zvolí konstruktér systému. Chybí zde univerzální schopnost nacházet strategie učení pro libovolné úlohy. Co je však důležitější: je to vždy člověk (konstruktér), kdo rozhodne, jakou úlohu se má systém učit řešit. Úzká AI nedokáže z beztvaré spojitosti okolního světa vybírat, co stojí za řešení a co nikoli. Slovní spojení „stojí za řešení“ pro ni nemá žádný význam.

Naopak niternou vlastností AGI by mělo být autonomní budování hodnotového rámce, který bude určitým otiskem jejího hlavního cíle a skrze nějž bude pohlížet na svět a vybírat, čím se má zabývat. Podobně jako člověk.

Vytvořit AGI je velice obtížné. Byť je tato oblast předmětem řady ambiciózních výzkumných projektů, v současnosti neexistuje žádný funkční systém, který by se dokázal požadavkům kladeným na AGI aspoň přiblížit. Ostatně i uvnitř komunity výzkumníků a vývojářů AI se názory na AGI velmi různí: pro některé je zlatým grálem, který bychom se měli snažit co nejdříve získat. Pro jiné představuje AGI reálné riziko, a je tedy zapotřebí nejvyšší opatrnosti. A pak existuje poměrně velká skupina, která AGI považuje za technicky nereálný blud. Sám sebe vidím zhruba na hranici mezi první a druhou skupinou.

Pokud AGI skutečně někdy vznikne a dosáhne úrovně lidské inteligence, s největší pravděpodobností bude následovat i její přetvoření do superinteligence, tedy systému, jehož schopnost řešit libovolné problémy a dosahovat libovolných cílů mnohonásobně převýší lidskou úroveň.

Důvodem pro tuto domněnku je samotný princip, jímž AGI vznikne – nikoli naráz jako hotový celek dle nějakého všezahrnujícího konstrukčního plánu, ale rekurzivním sebevylepšováním: primárním výstupem programu (algoritmu), který má v daném časovém okamžiku třeba jen velmi základní a omezenou schopnost učit se učit a volit cíle, bude přeprogramování sebe samotného tak, aby se do dalšího časového okamžiku zlepšily jeho schopnosti učit se učit, volit cíle, a dokonce i přeprogramovávat sebe sama. V dalším časovém okamžiku tedy program bude ještě o něco lepší ve schopnosti udělat se zase o něco lepším. V tomto cyklu bude pokračovat dál a dál, a pokud bude mít k dispozici dostatečné výpočetní zdroje (v podobě obrovských počítačových clusterů, jako jsou ty, na kterých dnes běží Google) a přístup k informacím, dostane se v jednu chvíli na úroveň člověka.

Člověk je však ve své obecné inteligenci jasně biologicky omezen, zatímco rekurzivně sebevylepšující program nikoli. Není tedy důvod, aby se postupné sebevylepšování AGI programu na úrovni člověka zastavilo.

Ostatně i kdybychom nějakým způsobem tomu programu dokázali na začátku zakódovat podmínku, aby se přestal sebevylepšovat, jakmile dosáhne lidské úrovně, program by musel umět zjistit, že už na ní je, k čemuž by stejně potřeboval být na úrovni o něco vyšší; čili na úrovni, kterou můžeme označit třeba AGI+. Nadto je potřeba zdůraznit, že takováto podmínka by v programu musela být zakódována tak, aby ji program při některém ze svých sebevylepšovacích kroků neodstranil coby neoptimální.

A i kdyby se nám nějak podařilo zajistit, aby se sebevylepšovací program zastavil na úrovni AGI a nepřešel na úroveň AGI+, nebude na světě nejspíš běžet jen jediná instance tohoto programu – podobně jako na světě není jen jediný člověk. A přinejmenším některé z instancí programu na úrovni AGI budou moci mezi sebou komunikovat a vyměňovat si informace prakticky neomezenou rychlostí (třeba přes internet). Naproti tomu jednotlivé instance inteligence lidské jsou „uvězněny“ v biologickém substrátu těla svých nositelů, a jejich vzájemná komunikace, synchronizace, koordinace a organizace je proto jen velmi pomalá. A tak zatímco kolektivní inteligence lidského druhu je již na svém horním limitu, který nepříliš přesahuje limit obecné lidské inteligence, kolektivní inteligence řady propojených a interagujících instancí AGI dosáhne řádově vyšší úrovně než instance jediná, a tedy se stejně dostane na úroveň AGI+.

Hypotéza o vzniku superinteligence se pak opírá o následující úvahu: dokáže-li lidská inteligence vytvořit AGI, která vzápětí přeroste v AGI+, znamená to, že úroveň lidské inteligence dokáže vytvořit inteligenci na úrovni vyšší. To ovšem bude znamenat, že inteligence na úrovni vyšší dokáže vytvořit inteligenci na úrovni ještě vyšší. Jinými slovy: člověk vytvoří AGI, která vytvoří AGI+, která vytvoří AGI++, která vytvoří AGI+++, a tento řetězec bude pokračovat tak dlouho, dokud to umožní komputační prostředí. Tak s nástupem AGI postupně vznikne i superinteligence. Jak rychle, to je zatím v rovině spekulací.

Dostáváme se k důležité otázce: AGI sice může vytvořit AGI+, znamená to ale, že ji také vytvořit chce? Vždyť si přece lze představit situaci, kdy AGI zůstane „spokojeně“ na své úrovni; bude vědět, že se může vylepšit, ale nebude chtít.

Zde je zapotřebí zodpovědět si, co je to chtění. Chtění je reprezentace stavu, kdy inteligentní systém (například člověk) reflektuje nedostatek aktuálně přístupných zdrojů potřebných k dosažení některého z vybraných cílů. Ke chtění je zapotřebí vědomého prožívání, takže bychom o chtění asi nehovořili v případě termostatu, který potřebuje více tepla, aby dosáhl cílové teploty v místnosti. Stejně tak nemůžeme říci, že by kterýkoli z neuronů v našem mozku něco chtěl – neuron se prostě chová tak, jak je mu fyzikálně a biochemicky uloženo. Přesto nad nesmírně komplexní soustavou miliard vzájemně propojených neuronů vědomě prožívané chtění vyvstává.

Není to však samo prožívané chtění jako takové, co řídí mé další akce potenciálně vedoucí k získání chybějících zdrojů. Mé akce jsou primárně řízeny právě oním komplexním neuronovým substrátem, přičemž kvalitativně prožívané chtění je jakýmsi kompaktním obrazem dávajícím mému vědomému já určitý přehled o tom, co se se mnou vlastně děje.

O tom, jestli mám v tomto procesu zároveň i svobodnou vůli, se vedou rozsáhlé filosofické i vědecké diskuse. Osobně se, ve zkratce, domnívám, že svobodnou vůli člověk stále má, byť v jiné podobě, než jaká je běžná představa. Chtěním některé věci mohu ovlivnit a způsobit, nemohu jím však přímo změnit a ovlivnit například hladinu serotoninu na synapsích ve svém mozku, a tedy třeba ani prožívanou depresi. Stejně tak nemohu pouhým prožívaným chtěním přímo ovlivnit hladinu dopaminu v částech mého mozku zodpovědných za řízení motivace a odměny. Abych nasytil dopaminové receptory, musím provést nějakou akci vůči vnějšímu světu, a pokud je tato akce v souladu se směřováním mého motivačního systému – je to krok na cestě k dosažení vybraného cíle –, pak se fyzikální a biochemické procesy mimo mé vědomé prožívání samy postarají o dopaminovou reakci na receptorech.

Dalo by se tedy s velkou dávkou zjednodušení říci, že většinu z toho, co člověk dělá, dělá proto, aby nasytil své dopaminové receptory.

Sycení dopaminových receptorů je proto tím již dříve zmíněným hlavním cílem inteligentního systému, zde konkrétně člověka jako fyzikálně-biologické entity. Většina ostatních cílů, které si obecná inteligence vybírá, jsou pak cíle instrumentální (termín je od Nicka Bostroma, autora knihy Superinteligence; byť zde jej používám poněkud obecněji než on) – pomáhají dosahovat cíle hlavního. Stejně tak i rozvoj kognitivních funkcí (včetně těch velmi vysokých, jako je schopnost řečové komunikace nebo abstraktního myšlení) je výsledkem fungování obecně inteligentního systému, který se v nesmírně komplikovaném prostředí snaží učit se učit, jak se nejlépe dostat k hlavnímu cíli – sycení dopaminových receptorů.

Důležitou vlastností hlavního cíle je, že ho inteligentní systém dosahovat musí, nikoli chce. Podobně jako kulička, která se kutálí z kopce ne proto, že by chtěla, ale že musí.

V případě člověka byl náš hlavní cíl vybrán nesmírně dlouhým procesem biologické evoluce jako velmi efektivně vedoucí k šíření genetické informace. V případě AGI pak hlavní cíl a dynamiku jeho naplňování stanoví konstruktér (ačkoli i zde asi bude fungovat hlavně umělá evoluce). Ostatní pak už bude na rekurzivně sebevylepšujícím systému AGI, aby si postupně vybral instrumentální cíle a vytvořil bohatý kognitivní aparát, který mu umožní dosahovat cíle hlavního. Ten bude mít zřejmě podobu matematické funkce, jejíž postupné řešení ze strany systému AGI bude docela podobné lidské snaze po sycení dopaminových receptorů.

Stěžejní otázka tedy zní: Jak máme navrhnout a naprogramovat hlavní cíl pro AGI? Odpověď neznáme. Zatím přesně nevíme, jak by měla ona matematická funkce vypadat, aby se při jejím řešení program zdárně sebevylepšoval a budoval si své vlastní kognitivní schopnosti, které mu budou pomáhat v dalším řešení. A ještě mnohem složitějším problémem je zajistit, aby byl hodnotový systém, který si AGI bude v honbě za svým hlavním cílem vytvářet spolu s kognicí a schopností vybírat instrumentální cíle, v souladu s hodnotami lidstva. Jinými slovy: nevíme, jestli pro danou funkci nakonec vznikne přátelská, nebo nepřátelská AGI. Přitom vzhledem ke shora popsaným výhledům na přerod AGI v superinteligenci by bylo více než žádoucí, aby AGI vznikla přátelská, poněvadž nepřátelská by mohla být tím posledním, co kdy lidstvo vytvoří.

Je tedy velice důležité, aby se výzkum AI nadále zaměřil primárně na tento problém uspořádání hodnot. Bylo by totiž obrovským hazardem vytvořit funkční AGI dříve, než si budeme jisti, že u ní umíme uspořádat hodnoty žádoucím způsobem.

Může se nám zdát, že času máme mnoho a že superinteligence je natolik daleko, že nás problém jejích hodnot nemusí zajímat. Ale je tomu skutečně tak?

Pokračování naleznete zde.