Když zdigitalizujeme celou společnost, umělá inteligence může rozložit kompletně celý stát

Martina: Docela se teď hodně mluví o čínské společnosti DeepSeek, je to společnost zabývající se umělou inteligencí, a je financována výhradně čínským hedge fondem High-Flyer. Řekni mi, je tato společnost skutečně nebezpečnou hrozbou z Číny?

Luděk Nezmar: Já vůbec obecně neuznávám tvrzení, jak strašně nebezpečné jsou čínské technologie. Za mě jsou úplně stejně nebezpečné americké, nebo jakékoliv jiné, protože pokud někdo bude chtít data vzít, tak je v zásadě jedno, jestli budu ohrožen Číňanem, nebo Američanem. To je jedna věc. Druhá věc, DeepSeek vymyslel jeden v podstatě mladý kluk, gentleman v Číně, a tato technologie je výborná, protože nepotřebuje obrovské zázemí výpočetní techniky – princip je trošku jiný. To znamená, že já třeba na svém počítači DeepSeek provozuji, protože oni to navíc dali jako open source, to znamená, že je otázkou, zda je investice 500 miliard pana Trumpa smysluplná, protože DeepSeek si v současné době může nainstalovat na svém počítači každý.

Martina: Je to zadarmo.

Luděk Nezmar: Zadarmo. A tvrzení o tom, že DeepSeek posílá data do Číny, to prostě není pravdivé. Protože pokud běžící DeepSeek napíchnete třeba na aplikaci Wireshark, která je schopná identifikovat, kam pakety skutečně jdou, tak zjistíte, že do Číny nejde vůbec nic.

Martina: To se dá opravdu dobře vysledovat?

Luděk Nezmar: Samozřejmě.

Martina: A kam jdou?

Luděk Nezmar: Překvapivě několik dat odešlo do Ameriky. Také je otázkou – protože DeepSeek se dá postupně rozšiřovat, takže si tam člověk může natáhnout třeba knihovnu Google na češtinu, ale Google je samozřejmě v Americe – takže momentem, kdy člověk tyto technologie poskládá, tak možná data vůbec nesbírá DeepSeek, ale Google.

Martina: Ty jsi zmínil, že DeepSeek nám navrhl nový model AI, a to za skutečný zlomek ceny oproti západním firmám, čímž naprosto otřásl burzou. Co to bude znamenat?

Luděk Nezmar: Nasdaq se samozřejmě zatřásl ve svých základech.

Martina: Za jeden den spadl.

Luděk Nezmar: Ano, přesně tak. Tam totiž mezi sebou v současné době soupeří americké technologie s čínskými. Evropa naprosto zaspala, Francie se snaží některé věci dohnat, takže třeba jejich Lechat je hezká technologie, s rychlou odezvou, ale obávám se, že už nebudou schopni dohnat čínský náskok. Obecně ohledně čínské technologie – doba, kdy kopírovali – už je dávno za námi. Oni už jsou před námi.

Z Evropy se ohledně AI technologií stává skanzen. V čele jsou USA, Čína, které mezi sebou soutěží.

Martina: Ty už jsi zmínil, že Donald Trump chce vrhnout 500 miliard dolarů na rozvoj AI. A teď mu do toho, jak se říká, poměrně hodili vidle Číňané. Má Evropa ještě šanci někdy v tomto kybernetickém boji uspět? Tys řekl, že se to bude špatně dohánět. Ale já se spíš ptám, jestli je možné to nedohnat, protože pak se Evropa dostane zcela mimo hru.

Luděk Nezmar: Google je americká firma, přišla jako první s kvantovým počítačem. Microsoft je americká firma, a jeho kvantový čip Majorana 1, už jsem ho zmiňoval – mají to Američané. Číňané přišli s novou technologií výroby čipů, které nejsou čistě na bázi křemíku, ale je to zkombinované s laserem, stojí to mnohem méně, a je to tisíckrát rychlejší než křemíkový čip. To znamená, je to mezikrok mezi nesmírně drahým kvantovým počítačem, a zatím levným křemíkem, kdy tato technologie může být ještě levnější – a vezmi si – tisíckrát rychlejší. To znamená, z Evropy se ve směru technologie stává spíše skanzen. Takže já se skutečně obávám toho, že Evropa nebude schopna tento technologický skok, který udělali naši konkurenti, udělat, protože nemá vlastně čím.

Martina: To znamená, že skutečné kolbiště je mezi Amerikou a Čínou.

Luděk Nezmar: Jednoznačně.

Martina: A Indie? Další země?

Luděk Nezmar: Indie se samozřejmě snaží. Indie taky za tu dobu udělala obrovský skok, ale není momentálně na čele pelotonu. Na čele pelotonu je Amerika s Čínou.

AI technologie jsou tak důležité, že je stát musí hlídat, protože AI nastupuje ve farmacii, vesmírných a vojenských technologiích, ale i v běžných stavebních technologiích

Martina: Bavíme se o státech, ale měly by to být asi soukromé firmy – jsme v kapitalismu – které rozvíjejí AI, DeepSeek, a další technologie. Ale jde to v tomto segmentu bez státních dotací?

Luděk Nezmar: Rozhodně to nejde bez dohledu státu, protože AI technologie jsou natolik důležité, že je stát nemůže nechat bez dohledu. Protože ve všech směrech – ať už se bavíme o farmacii, ať už se bavíme o vesmírných technologiích, o vojenských technologiích, koneckonců i o běžných stavebních technologiích – tam všude už nastupuje AI, a je neopomenutelná.

Martina: Když mluvíš o Číně a Spojených státech, tak mi to připomíná studenou válku. Teď probíhá velký souboj o to, kdo bude dřív na orbitě, a tehdy, v té době, také dávalo kosmické soutěžení vzniknout mnoha cenným objevům. Myslíš si, že v tomto smyslu slova může přinést AI také něco, co nám do budoucna naprosto zamíchá život, ať už v pozitivním, tak i v negativním slova smyslu?

Luděk Nezmar: Bezpochyby AI umožní výzkum a výrobu zcela nových materiálů, pokud se bavíme o výrobních materiálech, ať už jsou to kovy, ať už jsou to plasty, cokoliv, a stejně v lécích, a v dalších věcech. To znamená, že AI se stala klíčovým prvkem úspěchu jakékoliv ekonomiky.

Martina: To ticho nechávám vyznít. Nuže, díky AI možná poletíme na Mars, ale díky AI možná ztratíme život, jaký jsme dosud znali.

Luděk Nezmar: Tak to bezpochyby. Život člověka se bude měnit, to jednoznačně. Navíc AI ve spojení s robotikou, která taky ušla obrovský kus cesty, bude v celé řadě věcí člověka nahrazovat. A jestli někdo říká, že máme nenahraditelná řemesla, jako je třeba tesař, zedník, nebo kuchař, tak se hluboce mýlí, protože už v současné době roboti spolu s AI dokážou v těchto činnostech člověka perfektně nahradit.

Martina: A ve známém filmu zaznívá hláška: „A skláři nebudou mít co žrát”. Tady totiž vzniká další sociálně ekonomický problém, protože zde bude opravdu armáda lidí, které AI může nahradit, a oni nebudou mít co dělat. A jestliže se člověk necítí platný, jestli se necítí užitečný – tak budeme mít problém.

Luděk Nezmar: Já si myslím, že to je jeden z důvodů, proč se experimentuje s nepodmíněným příjmem: Aby se vyzkoušelo, jak populace na tuto skutečnost, že skutečně někteří nebudou muset chodit do práce, nebo ani nebudou moci co nabídnout společnosti, zareaguje. Takže před námi stojí nejenom problémy v oblasti technologií, ale právě v oblasti socioekonomické, protože celá řada lidí nebude mít uplatnění. Vzniknou sice nová pracovní místa, právě v souvislostí s AI – třeba teď je to „promptování”, to ale znamená, že dotyčný člověk musí mít už poměrně kvalitní vzdělání. Bez kvalitní znalosti jazyka, bez nějakého přehledu nejsem schopen napsat prompt, protože, když napíšu špatný prompt, tak mi umělá inteligence dá špatnou odpověď. Pro ty, kteří nevědí, co je to „prompt“, tak je to způsob zadávání úkolů umělé inteligenci. A když nebudu umět dobře česky – angličtina je na to samozřejmě lepší – tak nebudu ani umět pořádně pracovat s umělou inteligencí, a podle toho budou vypadat výsledky.

Hrozí nebezpečí, že se člověk bude stále více podobat AI, a změní se struktura jeho mozku. A u těch, kteří se nebudou vzdělávat, bude klesat inteligence.

Martina: Ale tady je ještě další nebezpečí, protože když budeš opravdu dobrý v zadávání promptů, tedy otázek, tak se jim budeš myšlenkově čím dál tím více podobat, a tím méně se budeš podobat sobě.

Luděk Nezmar: Tam se předpokládá, že se bude měnit struktura synapsí v mozku, to znamená, že u lidí, kteří rezignují na své vzdělání, a na memorování věcí, jejich inteligenční kvocient, schopnost, bude klesat.

Martina: Těm se tedy bude dobře vládnout.

Luděk Nezmar: To bezpochyby.

Martina: Opět se dostávám k větě, kterou velmi ráda cituji – jsou to slova neurologa profesora Jana Stránského, který říká, že jako neurolog se do budoucna nebojí, zda bude umět počítač přemýšlet jako člověk, ale zda-li člověk bude umět přemýšlet jinak, než počítač.

Luděk Nezmar: Velmi trefné.

Martina: Když jsme se bavili, co všechno bude ještě moci umělá inteligence dělat, tak se můžeme dočíst, že síla umělé inteligence může nahradit i sílu jaderných zbraní. Vnímáš to jako něco reálného?

Luděk Nezmar: Bezpochyby, bezpochyby. Protože pokud zdigitalizuji celou společnost, tak tím spíš můžu celou společnost vypnout. Nebudu potřebovat jadernou zbraň na to, abych rozložil kompletně celý stát, ale bude mi stačit dobře napromptovat umělou inteligenci, která za mě tyto věci udělá. V roce 25 jsou hitem takzvaní agenti umělé inteligence, což je věc, kdy umělá inteligence nečeká na pokyn člověka, na prompt, ale sama o sobě začne konat a ovládat třeba můj počítač, a začne tam jezdit kurzor myši tak, jak chce umělá inteligence. A toto bude přibývat.

Martina: To znamená, že tito agenti AI budou mít svou rozhodovací pravomoc.

Luděk Nezmar: Přesně tak. Oni budou postupně nahrazovat běžné profese sekretářek, asistentů, protože, koneckonců, tyto běžné činnosti umělá inteligence zvládá už nyní, takže to budou jedny z prvních profesí, které začnou přicházet o práci. A to včetně právníků, protože rutinní věci, smlouvy, řekněme běžné NDAčka, a podobné věci. To umělá inteligence dokáže napsat úplně bez problémů. Takže ve finále budou mít práci jenom elitní právníci.

Martina: Pokud autonomní agenti budou za nás vyřizovat maily, tak to si asi umíš představit, protože tuto AI využíváš. Možná necháš autonomního agenta, aby zavolal a objednal ti v restauraci. Problém je, když tě nacpe do veganské, protože jsi ztloustl. Myslíš si, že budou mít čím dál tím více pravomocí i nad námi?

Luděk Nezmar: Odpověď je jednoznačně – ano. Tato odpověď vychází ze skutečnosti, že pokud se podíváš zpětně, tak člověk, když přišla nová technologie, která mu usnadnila – nebo je možná lepší říci – která mu dá více pohodlí, tak to použil. Krásně je to vidět u mobilních telefonů. Vždyť je strašně pohodlné je používat, to znamená, že jakákoliv technologie, která pro člověka bude znamenat pohodlí, tak ji stoprocentně použije. Takže odpověď je – ano.

Martina: Pak asi přichází čas začít se zamýšlet nad tím, kdo ponese za autonomní agenty, a za AI zodpovědnost. Je čas na nějaká globální, pravděpodobně celosvětová závazná pravidla nejen pro vývoj, ale hlavně pro používání umělé inteligence. Určitě ty pokusy tady jsou, ale dáváš tomu šanci?

Luděk Nezmar: Samozřejmě, Evropská unie – jestli je v něčem v čele – tak je to ve schopnosti něco regulovat. Takže i v tomto případě, namísto aby podporovala startupy a nové technologie, tak první, co udělala, bylo, že začala regulovat umělou inteligenci svým AI Actem. Samozřejmě, že regulace přijde. To je prostě jako s auty – když je toho moc, tak regulace přijít musí. Otázkou je, zdali přišla ve vhodný čas, a jestli je schopna to uregulovat. A z toho plyne otázka, jestli jsme schopni donutit lidi, kteří AI používají, nebo zneužívají, k respektování pravidel. A to se obávám, že se zatím tedy vůbec nedaří. Zatím je to tak, že každý, kdo chce, si AI používá, jak chce. A bohužel je to i ve firemním sektoru, i ve státním sektoru, kdy se zaměstnanci svého zaměstnavatele na nic neptají, a prostě si raději popovídají s ChatGTP, než by použili vlastní hlavu.

Teď máme úzkou AI, která není schopna plně nahradit člověka. Ale přijde s člověkem srovnatelná obecná AI. A s kvantovými počítači to bude superinteligence, která bude dál než lidská.

Martina: Už vloni OSN přijala první globální rezoluci o umělé inteligenci, a dočetla jsem se, že proto, aby zajistila její bezpečnost. Tak jsem se chtěla jenom zeptat, koho bezpečnost? Umělé inteligence? Nebo nás?

Luděk Nezmar: To myslím, že je poměrně správná otázka. OSN je z mého pohledu zrovna taková organizace, která ráda přichází s novými regulacemi, nebo úpravami. Ale já si myslím, že v tomto případě je to střelba mimo, protože to, co v současné době máme, je takzvaná úzká umělá inteligence. To znamená, zatím není schopna člověka plnohodnotně nahradit. Ale bude přicházet moment, kdy budeme mít generativní, obecnou AI, kdy už to bude srovnatelné s člověkem. A v momentu, kdy přijdou kvantové počítače, tak můžeme hovořit o superinteligenci, a může nastat situace, kdy inteligence AI bude dál než lidská. A v ten moment jakákoliv regulace asi moc fungovat nebude.

Martina: Pokud jsme se tady zmiňovali o tom, že AI bude nahrazovat sílu jaderných zbraní, protože vám může zhasnout letiště Heathrow, můžou zrušit mobilní sítě, mohou zastavit jadernou elektrárnu, prostě bude moct být takovýmto načasovaným přístrojem a načasovanou hrozbou, tak by se s ní asi opravdu mělo zacházet tak – a připravovat smlouvy – jako třeba v případě jaderných zbraní. Ale my nejsme schopni úplně kontrolovat ani jaderné zbraně. Zdá se, že jaderné zbraně se povalují u nejrůznějších místních vůdců v nejrůznějších zemích, ale přeci jen o nich máme tak nějak větší přehled. Ale o AI to ani nebude možné.

Luděk Nezmar: Dám příklad, který poměrně dobře ilustruje situaci. Představ si situaci, kdy by pro ČEZ bylo velmi pohodlné, kdyby všichni měli ve svých domech, bytech nainstalované měřáky elektrické energie, které budou odečítat data na dálku, a když nebude platit, tak někdo v ČEZu bude sedět za počítačem, udělá klik, a vypne elektrickou energii. Jak se říká „so far, so good“. Zatím výborný. Ten, kdo bude chtít v ČEZu toto nasadit, bude bezpochyby tím, kdo má na starosti logistiku, kdo za tím vidí ušetřené peníze. Ale už nevidí to, že momentem, kdy přijde nějaký malware, nebo pokud to bude řídit umělá inteligence, a selže to, tak se to v jeden moment může vypnout úplně v celé republice. A co se pak stane s tou energetickou sítí? V ten moment není odběr, a Dukovany, nebo Temelín z minuty na minutu vypnout nejdou, takže ve finále to může být větší katastrofa než u jaderné bomby.

Martina: Když o umělé inteligenci přemýšlíš, jak si ji představuješ? Jako co? Vidíš stroj, bytost, počítač? Holku? Kluka?

Luděk Nezmar: Vzhledem k tomu, že jsem technologický fanda, tak tam vidím krásnou ženu, a umím si to představit. Na druhou stranu jsem si vědom všech souvislostí, takže nechci říct, že žena je satan, ale v tomto případě tam za tím vidím i čerta, který může být velmi nebezpečný. Možná to vychází z toho: Kam čert nemůže – a dál je pak něco se ženou.

Martina: Teď se trochu pohybuješ na tenkém ledě.

Luděk Nezmar: Já vím.

Martina: Ale vzpomínám si na jednu pohádku, kdy řezbář vyřezal pannu, krejčí ušil šaty, a hlavní hrdina ji naučil mluvit. Komu tedy náleží? A já se ptám, komu tedy bude náležet umělá inteligence? A kdo za ni ponese zodpovědnost?

Luděk Nezmar: Nesmírně obtížná otázka: Kdo za ni má nést odpovědnost? Ten, kdo přišel s konceptem umělé inteligence? Ten, kdo naprogramoval algoritmus? Ten, kdo to použil? Umělá inteligence, která se nějakým způsobem rozhodla? Je to jedna z věcí, která se řeší u autonomních aut, a lze předpokládat, že nás politici budou tlačit do toho, abychom časem začali používat pouze auta řízená umělou inteligencí, protože je to kvůli naší bezpečnosti. To je mantra. A v momentě, kdy nastane nehoda, a nedej Bože při tom někdo zemře, tak kdo za to bude odpovědný? Ten, kdo vymyslel algoritmus, a něco přehlédl? Ten, kdo to do auta nasadil? Ten, kdo auto prodal? Nebo vyrobil? Dělaly se dokonce po světě testy, protože tuto odpovědnost v různých zemích lidé vnímají jinak: Takže v Evropě je cennější život nastupující generace, malého dítěte, ale v Asii si více váží starších lidí a jejich moudra. Tak klidně může nastat situace, že když si přivezu auto z Japonska, tak nehodu auta vyhodnotí jinak než třeba u evropského auta. A těchto otázek okolo je strašně moc. A myslím, že ve finále to bude asi podobná situace jako s povinným ručením, to znamená, že všichni budeme platit do jednoho balíku, a pojišťovny budou z tohoto balíku vyplácet nehody umělé inteligence, protože nebudeme schopni jasně říct, kdo za to nese odpovědnost.

Martina: V této souvislosti by mě zajímalo, jestli tady probíhá opravdu třeba celosvětová poctivá, věcná disputace o etice, v souvislostí s umělou inteligencí?

Luděk Nezmar: Samozřejmě, že probíhá, a řekl bych, že hodně za dveřmi. Je to třeba jedna z věcí, kterou se snaží řešit AI Act, nebo existuje ISO 42 001, které říká, jak by se umělá inteligence měla implementovat. Ale řekl bych, že etika zatím opět pokulhává za technologií, protože celá řada lidí, kteří se zabývají etikou, vlastně ještě vůbec neví, jak daleko už umělá inteligence je, a co všechno v této souvislosti hrozí.