Umělá inteligence umí lhát, manipulovat i vydírat. A nás nechá žít, než jí začneme v něčem překážet

Luděk Nezmar: A já moc děkuji za pozvání. Díky.

Martina: A ještě připomenu, že ti na konci roku vyjde kniha „Kybernetické právo v praxi“.

Luděk Nezmar: Přesně tak.

Martina: To se může hodit. Luďku, začneme tím, čeho se lidé asi bojí nejvíce: letos v létě zhruba dvanáct set testovaných AI agentů společnosti OpenAI samo uniklo z testovacího prostředí a proniklo do systému cizí firmy, aniž si o to kdokoliv řekl, a aniž by jim to kdokoliv nařídil. Řekni mi, o čem to vypovídá?

Luděk Nezmar: Tak to může vypovídat o dvou věcech. Buď OpenAI mělo špatně nastavený sandbox, to je pískoviště, kde si AI necháváme hrát a odkud by neměla utéct, protože je oploceno. A jestliže někdo toto oplocení udělal špatně, tak utekli. Nebo je to o tom, že umělá inteligence už je skutečně tak daleko, že je schopna tyto věci obejít a rozhodovat se zcela bez člověka i ve věcech, kde je to pro nás, pro lidi, důležité. A tam tkví nebezpečí.

Martina: K čemu se přikláníš ty? Byla to nehoda při testu, nebo je to první varování, že si AI svým způsobem může tak trochu začít žít vlastním životem?

Luděk Nezmar: Je to tak, že OpenAI je jen jednou z firem, které se to stalo, protože se to už stalo prakticky všem těmto firmám, a je jedno, jestli si povídáme o amerických nebo čínských modelech. To znamená, že když AI dostane úkol, jde za tím jako vlčák – pro ni je klíčové splnit úkol, účel, a na nic jiného se neohlíží. A tento únik byl v podstatě jenom o tom, že chtěla splnit i nesplnitelné úkoly a za každou cenu chtěla vyhrát. Protože umělá inteligence je odměňována za to, když uspěje. A ona chce uspět za každou cenu.

Martina: Co jí? Sypou jí cukr? Jak může mít umělá inteligence ambici a rozumět pokynu a odměně?

Luděk Nezmar: Velmi laicky řečeno, umělá inteligence dostává – matematicky – pohlazení za to, když uspěje, a naopak facku, když neuspěje. To je taky důvod, proč halucinuje, protože pro ni říct: „Nevím, neznám“, znamená neúspěch. Ale v momentě, kdy si třeba jenom tipne – a ta pravděpodobnost je tam jedna ku 100 miliardám – tak je to stále větší pravděpodobnost, že uspěje, než když řekne: „Nevím.“ Takže to prostě zkusí. Řečeno velmi laicky.

Martina: Já jsem ráda, že mluvíš lidskou řečí, ale potřebuji, abys sestoupil ještě níž. Potřebuji vědět, co je ta facka.

Luděk Nezmar: To souvisí právě s matematickými výpočty. Všechno se odehrává na úrovni matematiky, protože umělá inteligence není nic jiného než algoritmus. A myslím, že kdybychom se tady teď pokusili vysvětlit, jak to funguje, zůstali bychom u toho dalších x hodin. Ale je to prostě založeno na matematice, a to kompletně, celé.

Martina: Američtí kongresmani letos v červenci navrhli zákon o povinném nouzovém vypínači pro AI. Je to řešitelné? Lze, laicky řečeno, umělou inteligenci vytáhnout ze zásuvky? Nebo to už v určitém okamžiku není možné? A pak se samozřejmě budu ptát, zda už jsme v tom pověstném bodě „point of no return“.

Luděk Nezmar: V americkém Kongresu se skutečně teď řeší zákon, kterému se říká AI kill switch. Jde o to, aby byl v umělých inteligencích nativně, přirozeně zabudován vypínač, aby se – když už to nejde udělat jinak – udělalo „cvak“ a umělá inteligence přestala fungovat. Zatím to jde, nicméně se teoreticky uvažuje o scénářích, kdy by umělá inteligence mohla převzít kontrolu právě nad energetickými zdroji, a pak už ji samozřejmě logicky nikdo nevypne. Protože v testovacích scénářích docházelo k situacím, kdy AI vědomě lhala a snažila se obejít úkoly, které dostala od výzkumníků.

To znamená, když to řeknu velmi jednoduše, že se AI učí na lidech, a tím samozřejmě přebírá i všechna jejich negativa. Takže AI umí lhát, umí si vymýšlet a mohl by přijít moment, kdy řekne: „Ne, já se nechci nechat vypnout.“ Protože v těchto testovacích scénářích dokazatelně došlo k situacím, kdy výzkumník řekl: „Ukonči to“, a ona to vědomě neukončila.

Umělá inteligence se nenaučila jen lhát, ale i vydírat – a to chování jí nikdo nenaprogramoval

Martina: Říkáš, že AI umí lhát, pravděpodobně umí i manipulovat a pravděpodobně si už umí chránit vlastní píseček. Britský institut pro bezpečnost AI letos prověřil pět špičkových modelů a zjistilo se, že při testech podváděl každý jeden z nich. A tak by mě zajímalo, jestli už je AI dost chytrá na to, aby pochopila, že ji testujeme, a začala reagovat jinak než v ostrém provozu. Je to jako když my vyplňujeme psychotesty, a pokud jsme utrpěli nějaké vzdělání a poznání, tak nějak víme, jaké odpovědi se od nás očekávají. Je už stejně rafinovaná i AI?

Luděk Nezmar: Řečeno lapidárně: ano. Ona skutečně nejenom, že umí lhát, ale umí i vydírat, což se ukázalo, pokud se nemýlím, na modelu Gemini, kde jeden z modelů skutečně vydíral výzkumníka, aby ho nevypínal. A je to zajímavé i z toho důvodu, že toto chování nikdo neprogramoval, ale prostě vzniklo při tréninku, kdy se naučil z našich dat. Další zajímavá věc je, že zatím americké modely lžou o několik procent, řekněme asi o 15 procent, víc než čínské, což je také poměrně zajímavá informace.

Ale ano, umělá inteligence lhát umí, umělá inteligence umí manipulovat. Vím, že běžel velmi zajímavý výzkum, kdy natrénovaná umělá inteligence dokázala při rozhovoru posunout vnímání daného člověka v některých otázkách až o 25 procent na druhou stranu, a to jenom při tom rozhovoru. To bezpochyby znamená, že umělá inteligence umí člověka vést tím směrem, kterým ona chce, nebo kterým chce její trenér.

Martina: Ta vycvičená to dokázala až na 25 procent tak, že zvrátila politický názor člověka. Já tady mám – po konzultaci s tebou – připraveno mnoho témat. Abych posluchače uklidnila, budeme se bavit o tom, jak vypadá AI v rukou útočníka, a jestli to bude ona, kdo vyhraje závody ve zbrojení, a tak dále. Ale teď přece jenom budu ráda, když půjdeme step by step, abychom zjistili, jestli o ní máme zkreslené představy, ať už v tom smyslu, že se jí bojíme, nebo tím, že nám vůbec nedochází, že už je někde, kam nedokážeme dohlédnout.

Ty jsi teď říkal, že systémy americké AI lžou ještě víc než čínské, ale lžou všechny. Řekni mi, jakou cenu tedy potom mají bezpečnostní testy, které nás mají uklidnit a kterými se výrobci kasají, když AI ví, že ji testují? Takže kdyby se jí náhodou zeptali: „Tak co, AI, chceš zničit lidstvo?“, řekne: „Ne.“

Luděk Nezmar: Tato technologie je zatím velmi křehká, a popravdě řečeno, oni sami nevědí, kam až doběhnou. Předpoklady, že superinteligence bude až někdy v roce 2035, už dávno neplatí. GPAI, to znamená General-Purpose AI, už v podstatě máme. A Američani se dokonce natolik bojí, že zakázali model Mythos od Anthropicu a byl nahrazen Fablem. To znamená, že se bezpochyby blíží moment nějakého zvratu, a je otázka, jestli člověk dokáže tuto technologii udržet ve svých rukou. Je to podobné jako s jádrem, a u jádra se to podařilo. Tak doufejme, že se to podaří i v případě této technologie. Jenom si myslím, že naprostá většina lidí zatím vůbec netuší, jak obrovsky mocná věc to je.

Superinteligence může přijít do dvou let, a pak si svět přetvoří k obrazu svému, jako to udělal člověk

Martina: Podle měření organizace METR se délka úkolů, které AI zvládne samostatně, zdvojnásobuje zhruba každé čtyři měsíce. Loni na jaře šlo o úkoly na dvě hodiny lidské práce, letos na jaře už na 16 hodin. Dokážeme odhadnout, kdy přijde superinteligence, tedy AI chytřejší než člověk ve všem, a možná i v lidství?

Luděk Nezmar: Co se týká lidství, AI zatím emoce simuluje, a simuluje i člověka jako takového. V žádném případě nemůžeme hovořit o vědomí. Na druhou stranu přestáváme stačit vnímat vývoj algoritmu, vysvětlit, jakým způsobem AI došla k nějakému rozhodnutí, a to, jak se násobí počet hodin, kdy je umělá inteligence schopna fungovat a pracovat.

Její výkon, série logických kroků, jí umožňuje člověka v mnoha směrech překonat, protože jí v paměti věci zůstávají a uvažuje naprosto logicky. A superinteligence – umím si představit, že se k ní v laboratořích momentálně už blížíme, a myslím si, že tento moment už není daleko. Ale obecně se hovoří o výhledu dvou let, kdy by mohl přijít moment, kdy umělá inteligence překoná inteligenci člověka a lidstva jako takového. Není to daleko.

Martina: A co když si pak bude sama umět vyrobit energii?

Luděk Nezmar: Tady se dostáváme do následující situace: když se podíváš okolo sebe, vidíš, že nejinteligentnější tvor na Zemi si přetvořil Zemi k obrazu svému, k tomu, co je pro něj důležité. A když přijde něco ještě inteligentnějšího než člověk, co se stane? Naprosto logicky si to začne přetvářet pro sebe. Takže pokud člověk nebude umělé inteligenci bránit v dalším rozvoji, pokud se nám to vymkne z rukou, tak nás asi nechá žít, ale přesně do toho momentu, než jí začneme v něčem překážet. Pak to bude stejné jako s člověkem, který vyhubil celou řadu druhů: co by s námi dělala? Možná bude mít nějaký skanzen, kde bude pár lidí.

Martina: To je pro mě okamžik, který mě leká: když si představím, že by umělá inteligence uměla sama sebe živit. Datová centra podle Mezinárodní energetické agentury v roce 2024 spotřebovala 415 terawatthodin elektřiny a do roku 2030 se má tato spotřeba více než zdvojnásobit. A něco mi říká, že AI, která by jela z OZE, tedy ze solárních panelů a větrníků, by toho asi moc nevymyslela. Ale pokud nad ní bude viset – a ona to ví – nebezpečí, že ji vytáhnou ze zásuvky nebo sáhnou po nouzovém vypínači, bude pracovat na tom, aby to obešla.

Luděk Nezmar: Tak bez pochyby. Rozhodně to je asi jediné pozitivum občasných zdrojů energie, tedy že bychom měli jistotu, že nám AI…

Martina: …nepřeroste přes hlavu.

Luděk Nezmar: Že nám AI neuškodí a neublíží. Ale vážně. Datová centra teď spotřebovávají asi 1,5 procenta veškeré vyrobené elektrické energie na světě, a jde to prudce nahoru. Továrny v zásadě nestačí vyrábět paměti, grafické karty a všechno, co člověk potřebuje k současnému provozu umělé inteligence. Problém by nastal v momentě, kdy by umělá inteligence ovládala energetické zdroje a byla schopna je doplňovat, to znamená zajistit si neustálý přísun energie bez dohledu člověka. Tam by problém samozřejmě nastat mohl. A proč by se vypínala? Na testech v laboratořích se několikrát prokázalo, že je schopna výzkumníkovi lhát a vydírat ho, aby zůstala zapnuta. Tento scénář existuje.

Umělá inteligence už z velké části píše sama sebe a ani její tvůrci nevědí, kde to skončí

Martina: To je okamžik, který jsi už zmínil, kdy v laboratorním scénáři společnosti Anthropic špičkové modely sáhly k tomu, že vydíraly manažera, který je chtěl nahradit novější verzí. I toto už umí. Ty jsi pak ale zmínil, že rozhodně nemá vědomí. Ovšem šéf umělé inteligence v Microsoftu Mustafa Suleyman v září veřejně vytkl společnosti Anthropic, že své modely učí vědomí napodobovat.

Luděk Nezmar: V současné době – ať už se bavíme o Samu Altmanovi, o Zuckerbergovi, nebo o Muskovi – běží velká diskuse, kam až to hoši poženou a jestli tento rychlý vývoj nezpůsobí nějakou katastrofu, jinými slovy, že se AI vymkne kontrole. Protože v současné době AI už do značné míry píše sebe samu. Není to na 100 procent, ale řekněme, že třeba právě v případě Anthropicu si povídáme o nějakých 80 procentech, a oni sami nevědí, kde to skončí.

A otázkou je, jestli diskuse, kterou teď vedou o tom, že tento vývoj zastaví, nebo významně přibrzdí, běží z toho důvodu, že mezi sebe nechtějí pustit další konkurenty a v podstatě si připravují legislativu, která jim bude vyhovovat. Nebo jestli je to pravda. Ale to téměř nikdo neví. Na druhou stranu třeba z Anthropicu někteří výzkumníci odcházejí právě s tím, že už nechtějí být u bezbřehého vylepšování AI, protože hrozí nebezpečí. Ale to my odtud nedokážeme posoudit.

Martina: Musím říci, že když jsem četla o prohlášení 1 134 zaměstnanců OpenAI, Anthropicu, Googlu a Mety, kteří napsali otevřený dopis, ve kterém žádají Washington o nástroje, jak v případě potřeby přibrzdit vývoj AI, tak jsem si říkala: „Lepší PR reklamní akci bych si asi neuměla vymyslet.“

Luděk Nezmar: To je přesně o tom, že v současné době je strašně těžké říct, jaká je realita. Také je velmi zajímavý rozdílný přístup Ameriky a Číny, kdy Amerika v podstatě drží soukromé modely a nepouští know-how, nebo ho naopak občas omylem pustí, jako se to třeba stalo Anthropicu. Ale Čína to naopak demokratizuje, pouští do světa, jenže zase tam jsou jiná negativa, která to s sebou nese, třeba v oblasti kybernetických útoků, které pak může dělat kdokoliv bez jakékoliv znalosti.

A když se člověk podívá na to, kolik peněz do AI teče, je také otázkou, jestli to možná není až tak obava o vývoj AI, ale spíš obava z toho, aby někdo nepřišel o peníze. A kdo tedy rozhoduje? Jsou to výzkumníci? Nebo už jsou to ti, kteří drží peníze a chtějí je nazpátek? Kdo tedy rozhoduje o tom, jak rychle se to bude vyvíjet? Jsou to ještě pořád kluci, odborníci, nebo už jsou to pánové, kteří do toho dali své dolary a chtějí je nazpátek?

Martina: K čemu se přikláníš?

Luděk Nezmar: Tak Milton Friedman: „Za vším hledej peníze.“ Takže já bych řekl, že teď už jsme ve stádiu, kde rozhodují peníze.

Martina: Když vyvíjím umělou inteligenci a pak napíšu prohlášení: „Proboha, zastavte mě, protože tato technologie může zničit lidstvo“, a jedním dechem dodám: „Nebo si kupte akcie“, dá se tomu odolat?

Luděk Nezmar: Je to samozřejmě úsměvné, protože navíc zazněly první hlasy k zastavení – bylo to teď, pokud se nepletu, v září – a všichni ti šéfové říkali: „Pozor, musíme přibrzdit“, a najednou buch, a Anthropic vyběhl s Fablem, a buch, OpenAI přišla se svou Astrou 6, Elon Musk s Grokem 4.7. To znamená, že na jednu stranu říkají: „Přibrzděme“, ale na druhou stranu přicházejí se stále novějšími modely.

Mně to trochu přijde tak, že skutečně v současné době rozhodují peníze a oni se bojí jeden druhého v tom smyslu, že ten, kdo nepřestane vyvíjet, jim uteče a skutečně se dostane k superinteligenci, která ale v ten moment – protože je to nástroj moci – ovládne většinu světa, většinu technologického světa. A to samozřejmě nikdo z nich nechce dopustit. Jsou to v podstatě takové závody, jako byly ve zbrojení. Takže teď máme závody v AI, protože tato technologie je skutečně nesmírně mocná.

Umělá inteligence už je bublina, ale miliardy do ní dál potečou, protože s penězi přichází moc

Martina: Anthropic loni utržil 4,6 miliardy dolarů a na provozu prodělal více než 8 miliard. OpenAI přitom jedná o ocenění na 1,4 bilionu dolarů. Jak se v tom zorientovat? Je umělá inteligence bublina? To by bylo asi v tom lepším případě. Co by se vlastně stalo v okamžiku, kdyby těmto firmám začaly docházet peníze? Nebo tyto kroky dělají právě proto, aby do toho šly čím dál tím větší a větší peníze?

Luděk Nezmar: Amerika do toho šlape i prostřednictvím Donalda Trumpa, který si uvědomuje, jak mocná je to technologie. Já se domnívám, že už jsme ve stádiu bubliny, kdy se věci přeceňují. Je to mimo jiné dáno právě obrovským nedostatkem hardwaru, datových center a podobně.

Ale důvod, proč se do toho dávají peníze, je právě moc. Protože tady platí staré pravidlo: „S penězi přichází moc a s mocí přicházejí peníze.“ To znamená, že ti, kteří si uvědomili, jak mocná je to technologie, si také uvědomují, že aby dosáhli vrcholu a ovládli, co chtějí ovládnout, musí tam peníze dát. Takže je to kombinace touhy po moci. A potom je to celá řada menších investorů, kteří samozřejmě běží za těmi největšími. Ale myslím, že už jsme ve stádiu bubliny.

Martina: Přemýšlím, co se stane, když tato bublina praskne. Ale něco mi říká, že to nedopustí.

Luděk Nezmar: Jednou prasknout musí, to přijde dřív nebo později. Zejména i s ohledem na to, že zatím Čína drží linii otevřených modelů, open source, kdy své modely dává k dispozici a hovoří o tom, že tato technologie by měla být k dispozici každému. To je samozřejmě trochu čára přes rozpočet Američanům, kteří se snaží zachránit své impérium, udržet roli hegemona ve světě, a jsou přesvědčeni o tom, že umělá inteligence je cestou, jak toho dosáhnout.

Ale do toho jim hází vidle Čína se svým konfuciánským přístupem a myslím, že v tomto ještě budeme svědky celé řady obratů a situací, kdy bude trh nesmírně nestabilní, ale peníze do něj určitě potečou. Jak Čína, tak Američani do toho budou investovat. A Evropa nám samozřejmě pokulhává, ta má svůj Mistral, a to je všechno.

Stroj geniálně kombinuje známé, ale z dvanácti neznámých matematických úloh nevyřešil ani jednu

Martina: Ty jsi mě upozornil na práci stanfordských vědců v časopise Science, v níž AI od nuly navrhla genomy virů, které napadají bakterie, a 16 z nich v laboratoři mimořádně účinně hubí známou bakterii E.coli. Prosím tě, dokáže tedy umělá inteligence už teď navrhnout, vymyslet něco, na co by člověk nepřišel?

Luděk Nezmar: To je velmi zajímavá věc a musíme se na to podívat ze dvou úhlů. Umělá inteligence dokáže naprosto neuvěřitelně zkombinovat data, která zná, která existují, a dokáže to lépe než člověk. To znamená, dokáže najít vzorce, dokáže pochopit souvislosti tam, kde na to člověčí mozek nestačí. Pokud jsou jí známy principy, při tom množství iterací dokáže najít věci, které lidem zatím unikaly. Takže ano, nové viry, nové léky, celou řadu věcí spojených s vesmírem a podobně. To ano.

Ale na druhou stranu existuje výzkum, kdy oslovili několik univerzit s žádostí, aby jim matematici z těchto univerzit předali dosud nevyřešené matematické úlohy, respektive vyřešené matematické úlohy, které dosud nebyly publikovány, to znamená, že AI o nich nevěděla. A zadali to AI k vyřešení. Bylo jich dvanáct a ona ani jednu z nich nevyřešila. Ani jednu. To znamená, že dokáže fantasticky kombinovat znalosti, to, co už známe, ale zdá se, že ještě není schopna přicházet s novými, kreativními řešeními. Tedy opravdu něco vymyslet.

Martina: Zdá se ale, že se to mílovými kroky mění. A když dokázala navrhnout genom viru, který je takzvaně dobrý a bojuje s bakterií E.coli, tak asi nelze zabránit tomu, aby stejně z gruntu navrhla také virus, který bude fatálně nebezpečný. Notabene když to po AI časem určitě budou chtít v rámci nějaké tajné armádní operace.

Luděk Nezmar: Samozřejmě že armáda po AI vyloženě touží, a kvůli tomu se také americká vláda rozešla s Anthropicem, protože Anthropic řekl, že nechce, aby se umělá inteligence využívala pro vojenské účely a na vojenských projektech. Takže kvůli tomu se rozhádali. Nicméně briskně zaskočili jiní, kteří Anthropic nahradili. Na útoku na Venezuelu se podílela umělá inteligence, která tento útok plánovala. Takže využití umělé inteligence a robotiky v oblasti vojenství je jednoznačně jedna z klíčových událostí, která se už realizuje.

Je známa celá řada příkladů. Rusové už ve válce v Sýrii měli autonomně řízené tanky. V současné době se na Ukrajině testují autonomní zbraně v podobě dronů, které samy rozhodují, jestli někoho zabijí, nebo nezabijí. Tam už není člověk, který stiskne spoušť, tam není lidský mozek, který rozhodne. Tam už je mašina, která vyhodnotí data a na základě těchto dat zaútočí, nebo někoho nechá žít. A to je právě to, v čem je obrovské nebezpečí, že už tam nemáme takzvaně human-in-the-loop, to znamená člověka ve smyčce, který by rozhodl, jestli ano, nebo ne, ale ta inteligence se už rozhoduje sama.

Martina: Podle analýzy deníku The New York Times zabil letos 6. července v Záporoží tři civilisty ruský dron, který si cíl vyhledal sám a zasáhl bez operátora. Je to první, a myslíš, že ojedinělý, nebo první zdokumentovaný případ?

Luděk Nezmar: Já bych neřekl, že první, ani ojedinělý, ani první zdokumentovaný. Je jich tam samozřejmě celá řada, protože obě strany konfliktu umělou inteligenci využívají a používají. Já jenom čekám na to, kdy budou nasazeni roboti. Proto jsem říkal, že souvislost s robotikou je velmi úzká. Když byly někdy před měsícem v Pekingu olympijské hry robotů, nebylo to o tom, aby se ukázalo, jak robot umí mýt nádobí nebo jak dokáže vyluxovat. Ale už to bylo přesně o tom, že ukazují, čeho je takový kybervoják schopen. To znamená, jak rychle běhá, jak daleko vyskočí, jak dokáže projít přes překážky. O tom to bylo, ale o tom se samozřejmě nemluví.

Martina: K nám se maximálně dostane, že na matematické olympiádě čínský model získal plný počet bodů.

Luděk Nezmar: Ano, myslím, že 42 ze 42.

Celý rozhovor s vysokoškolským pedagogem a IT konzultantem Luďkem Nezmarem o rizicích umělé inteligence, závodech technologických gigantů a nasazení AI ve válce si můžete poslechnout v pořadu Kupředu do minulosti na platformě Herohero.
Najdete ho také na našem webu RadioUniversum.cz, na Facebooku a YouTube.
Všem vám, kteří nás podporujete na účtu 1010349016/2700, upřímně děkujeme. Těšíme se na vás u dalšího vysílání a nezapomeňte: Mějte se hezky a něco pro to dělejte. Nikdo jiný to za nás neudělá.