Zpět
Luděk Nezmar Díl 3/4

Chytré brýle s rozpoznáváním obličejů prozradí o každém exekuce, rozvod i celou jeho minulost

Text 22.11.202631 min Přehrát

Roku 1215 církev stvrdila zpovědní tajemství. Kněz, který by hřích prozradil, měl skončit v klášteře na doživotní pokání. Podobná povinnost mlčet dnes váže lékaře, advokáta i psychiatra. Chatbot ji nemá. „Nemůžeš věřit nikomu. Tak to prostě je.“ V předchozí části rozhovoru to řekl Luděk Nezmar. Mluvili jsme o podvodech, které dnes zvládne i úplný amatér. Hlas vnuka v telefonu jde naklonovat ze tří vteřin nahrávky. Podvodníci tak okrádají babičky, nemocnice i velké firmy. A přesto se chatbotům svěřujeme stále víc. S nemocemi, s dluhy, se vztahy. Jenže to, co do umělé inteligence jednou vložíme, už nejde vzít zpátky. Data se dají použít u soudu. A vymazat je z modelu nelze. Stroj si tedy pamatuje všechno, co mu řekneme. Bez únavy, bez soucitu a bez povinnosti mlčet. Otázkou zůstává, co se stane, když mu člověk nesvěří jen svá běžná data, ale i to, co by neřekl nikomu jinému na světě.

Martina: OpenAI sama uvádí, že ChatGPT týdně mluví o sebevražedných úmyslech s milionem lidí.

Luděk Nezmar: Ano.

Martina: Je pravda, že když si zavoláš terapeutovi ve čtyři ráno, že máš tíseň, tak ti to asi nevezme a ozve se ti: „Prosím, přijďte v hodinách, kdy mám ordinaci, a pokud je to naléhavé, volejte na Linku první psychické pomoci“ – což jsem si našla, je to 116 123. To znamená, že ChatGPT je po ruce a rozmlouvá s námi. Je to AI terapeut? Nebo je to obrovský hazard? Protože jsem slyšela – nemám to podloženo –, že AI měla údajně někomu poradit, že když má takové problémy, tak ať to skončí. Nevím, jestli je to pravda.

Luděk Nezmar: Zvlášť ještě před rokem. Dám příklad: Existuje nástroj nebo aplikace, která se jmenuje Character.AI, na které ulítla celá řada teenagerů, protože si tam člověk může vytvořit online kamaráda, dokonce mu dát emoce, že bude vzteklý, hádavý, nebo naopak hodný, laskavý, a může si s ním začít povídat o svém životě. A tam skutečně došlo k několika problémům tohoto charakteru, kdy umělá inteligence poradila nebo řekla: „Víš co, tak se na to vykašli a skonči to.“

Z toho důvodu je vždy na velký model napíchnuta celá řada minimodelů, které v podstatě kontrolují odpověď, kterou velký model dává, a proto je tam nějaké zpoždění. Takže když se zeptám třeba na biologickou zbraň, na sebevraždu nebo v případě čínských modelů na čínskou vládu, tak mi to odpoví něco v tom smyslu: „Na to ti nebudu odpovídat, protože k tomu nejsem určen,“ nebo „Nemám dostatek dat“ a podobně.

Výzkumníci se samozřejmě snaží o to, aby k takové situaci nedošlo, ale pokud použiji standardní psychologické postupy, které fungují u lidí, a použiji je na AI, tak jsem schopen ji – v uvozovkách – dokopat do toho, že mi odpoví tak, jak já chci. Takže to není stoprocentní, ale oni dělají maximum pro to, aby k tomu nedocházelo. Řeknu to ještě jinak: Umělá inteligence je dobrý sluha, ale zlý pán. Není to něco, čemu můžu na sto procent věřit. Je dobré se s ní třeba poradit, ale rozhodně ji nebrat jako stoprocentní bernou minci.

Chytré brýle prozradí nejen jméno člověka na ulici, ale i jeho exekuce a rozvodové řízení

Martina: Společnost Meta podle deníku The New York Times chystá pro své chytré brýle funkci rozpoznávání obličejů, která nositeli prozradí, kdo před ním stojí. Loni se takových brýlí prodalo přes sedm milionů. Budou nás na ulici všichni poznávat? Zkrátka, ty ode mě odejdeš a někdo před naším studiem řekne: „Á, to je ten Luděk Nezmar.“ Nebo: „To je ta Martina Kociánová, která…“ Čeká nás i toto?

Luděk Nezmar: To by bylo ještě docela dobré, ale může to jít ještě o krok dál. Nejenom že to pozná Martinu Kociánovou nebo Luďka Nezmara, ale může to být propojeno na databáze, takže to člověku řekne: „Tak, a tento má na sobě exekuci. Tento je v rozvodovém řízení.“ Jsem tedy schopen to napojit na celou řadu seznamů, které se neustále ke všemu vytvářejí, a pak jsem o daném člověku schopen zjistit prakticky úplně všechno. A to je to děsivé. Když půjdu na jednání a vezmu si tyto brýle, tak budu okamžitě vědět o tom druhém člověku – jeho historii, o jeho schopnostech, neschopnostech, průšvizích, pozitivních věcech – vše. Ano, tam se řítíme.

Martina: Prosím tě, v souvislosti…

Luděk Nezmar: Technologicky je to možné na 100 procent.

Martina: A dělá se na tom.

Luděk Nezmar: A dělá se na tom, samozřejmě.

Martina: Je v této souvislosti slavné GDPR – které zakazovalo i popřát ve škole Evičce k narozeninám, protože bychom na ni takto spolužákům vyzradili příliš mnoho – úplně mrtvé?

Luděk Nezmar: Ne, já bych GDPR takhle netrápil a řekl bych, že je to zaplaťpánbůh stále ještě brzda toho, aby někde volně tekla a utíkala všechna naše data, protože to přece jenom tuto situaci brzdí. Ale jak bývá zvykem, i v tomto případě technologie utekla právu, a to opravdu o mílové kroky. Myslím si tedy, že právě GDPR v tomto stále sehrává svou roli. Ale jedna z věcí, kterou chtějí třeba Američané, je mít informace o Evropanech, chtějí se dostat k těmto datům, a já bych řekl, že v tomto Evropská komise pomalu povoluje tam, kde by naopak měla říct, že to nepřichází v úvahu. Takže záleží spíš na tom, jak moc budou v Bruselu ochotni nás za nějaký mrzký peníz prodat.

Digitální euro ukáže, co si kdo koupil, kde zrovna byl i v kolik hodin chodí večer spát

Martina: Když se chystají projekty jako evropská centrální databáze zdravotních dat, je to už jedno a jenom to tu cestu do pekla naprostého nesoukromí urychlí? Nebo je to vlastně už opravdu fuk?

Luděk Nezmar: Myslím, že už jsme s plnou parádou v situaci, kdy nejsme vlastníky svých vlastních dat. Už je toho tolik, jenom si to lidé ještě nepřipouští. To je jedna věc. Zdravotní data jsou samozřejmě skvělá a AI je potřebuje k tomu, aby přišla na nové léky. Na druhou stranu je tam přesně to obrovské riziko, že se k těmto datům dostane někdo, kdo je pak zneužije.

Ale představ si situaci, kdy Evropská centrální banka bude v roce 2027, pokud se nepletu, testovat e-euro, a to ve spojení s umělou inteligencí, a tím pádem bude o mně kdokoliv vědět úplně všechno: Co jsem si koupil. Kdy jsem si to koupil. Kolik jsem si toho koupil. Přes toto jsem v podstatě schopen zrekonstruovat nejenom to, jak funguji, ale i kde jsem byl, co jsem dělal, v kolik chodím spát. To je děsivé.

Martina: Myslím, že John Spartan ve filmu Demolition Man by řekl: „Vraťte mě zpátky do mrazáku.“ Ty o tom hovoříš s jakýmsi poučeným nadhledem. Řekni mi: Toto vše, co se děje, tě fascinuje, nebo tě to děsí?

Luděk Nezmar: Mě to už ani neděsí – a není to ani stoicismus. Co mě děsí, je lidská neznalost a neuvědomění si toho, kam se to řítí. Já jsem s tím srovnán, já vím, co mě čeká, takže kvůli tomu mám doma slepice a obyčejný traktor a pěstuji si svou zeleninu, protože v momentě, kdy to všechno bude závislé na AI nebo na těchto technologiích, a nedej bože nám někdo vypne elektřinu, tak lidé nebudou schopni normálně fungovat. Nebudou.

Útočník zůstane o krok před obráncem, aplikace se ale brzy začnou samy opravovat v reálném čase

Martina: Umělou inteligenci dnes mají všichni. Používají ji takzvaně útočníci i obránci. Podle IBM se letos poprvé za pět let prodloužila průměrná doba odhalení a zvládnutí průniku na 247 dní. Řekni mi, kdo tyto závody vyhraje? Bude to útočník? Bude to obránce? Komu umělá inteligence pomůže více?

Luděk Nezmar: Myslím, že to bude v podstatě nastejno. Útočník bude vždycky před kyberbezpečákem, protože útočník je kreativní a kyberbezpečák vždycky vytváří až reakci na akci útočníka. Nemyslím si, že se toto nějak zásadně změní, protože stejně jako útočníci používají AI k útokům, tak ji obranáři používají k obraně. Myslím, že se to jen bude přesouvat do jiných typů útoků, jiných vektorů útoků a k jiným nástrojům, ale v zásadě tato scéna zůstane stejná.

Martina: Mozilla letos v dubnu opravila za jediný měsíc 423 bezpečnostních chyb a z toho 271 jich našla umělá inteligence. Její dřívější rekord byl 76 chyb. Může umělá inteligence opravit software? V tomto případě tedy dřív, než ho někdo napadne?

Luděk Nezmar: Nejenom že ho dokáže opravit, ale už teď se laboruje s aplikacemi, které se v reálném čase, třeba na telefonu, budou upravovat podle daného člověka. Teď je to tak, že si z Google Play nebo z App Storu stáhnu nějakou aplikaci, můžu ji používat a sem tam do ní dám nějaký plug-in. Nově to ale bude tak, že se ta aplikace v podstatě začne v telefonu sama vytvářet, psát samu sebe, a to právě pomocí AI.

To znamená, že si řeknu, že ji nechci zelenou, ale červenou: „Změň se mi na červenou.“ A ona udělá „drrrm“ a budeme ji mít červenou. A pak si řekneš, že tam chceš ještě přidat nějakou funkcionalitu. Tak jí to řekneš a ona si to upraví. Jde to tedy směrem, že každý z nás bude mít zcela unikátní sadu svých softwarů. A bezpochyby také bude schopna se v reálném čase opravovat.

Kdo nechá práci na umělé inteligenci, přijde o své dovednosti a časem začne mluvit jako ona

Martina: Pokud se útok šíří během minut a rekord kyberútoku je 27 sekund, tak to znamená, že bezpečnostní analytici nemají šanci.

Luděk Nezmar: Tam jsou dvě věci. V momentě, kdy na druhé straně budeme mít zase AI, která si stáhne informaci o tom, že někdo někde zaútočil, tak se může okamžitě přenastavit, upravit a v podstatě stejně rychle útoku zabránit. Ale když jsi zmínila bezpečnostní analytiky, tak tady hrozí obrovské nebezpečí, a to je ztráta skillu, dovednosti. Čím víc budu používat AI, tím méně budu chápat některé souvislosti a to, proč se věci dějí. Je to úplně to samé, jako když budu jezdit autem ještě s klasickou „kvedlačkou“ a přesedlám do automatu – časem úplně zapomenu pohyby, které jsem předtím dělal.

Čím víc tedy budu používat AI, tak – nechci říct, že budu hloupnout, to úplně ne – ale budu časem přicházet o dovednosti, které jsem měl. Jako analytik jsem na monitoru hned viděl: „Pozor, tady se mi něco děje na síti,“ a o toto budu časem přicházet. Jako když se v osmnácti naučím německy, a pak to dvacet let nepoužívám, tak samozřejmě zapomenu naprostou většinu slovíček. A to bude úplně to samé: Nepoužívám, zapomenu, protože to za mě dělá AI.

Martina: Je to jenom můj mylný postřeh, pocit, že když se bavím se svými přáteli, kteří jsou velmi dobří v AI – a dokážou z ní dostat opravdu skvělé informace, protože se jí dokážou skvěle ptát, protože čím dál tím lépe zvládají takzvané prompty –, tak vnímám, že oni začínají mluvit jako ona?

Luděk Nezmar: Jasně.

Martina: Ne že oni vzdělávají ji, ale že ona je najednou nutí formulovat věci třeba naprosto nečesky, a oni mi to pak posílají třeba jako písemný podklad.

Luděk Nezmar: Já jsem také zjistil, že promptování manželky na základě AI je pro mě jednodušší…

Martina: To mi vysvětli.

Luděk Nezmar: Protože když takzvaně promptuju, to znamená, že zadávám pokyny umělé inteligenci, tak se snažím být v zadání jednoznačný, stručný a snažím se jasně definovat, co chci, aby bylo výsledkem. Čím lépe se zeptám, tím lepší dostanu odpověď. Angličané tomu říkají garbage in, garbage out, a mají pro to ještě lepší, brutálnější výraz, ale ten tady nebudu říkat. A pokud člověk tráví s umělou inteligencí hodně času, tak se samozřejmě přizpůsobuje tomuto stylu komunikace.

Navíc, stejně jako u sociálních sítí, se mi mění synapse v mozku, protože logicky, když si s tím povídám, tak se mi nějakým způsobem vytváří neuronové cesty. A já jsem zjistil, že když takhle promptuju umělou inteligenci, tak je docela pohodlné takhle promptovat i členy rodiny, protože když mají jasné zadání a jasně jim omezím jejich možnosti, tak jsou výsledky lepší.

Amerika zatím o kousek vede, konečným vítězem bude Čína a Evropa se ze hry vyřadila sama

Martina: Pojďme na to zeširoka. Donald Trump koncem září prohlásil, že Amerika vede v umělé inteligenci nejméně o rok a brzdit nebude. Stanfordský AI Index ale přitom uvádí, že výkonnostní rozdíl mezi nejlepším americkým a čínským modelem se smrskl na 2,7 procenta. Obě velmoci se ale zároveň dohodly na komunikačním kanálu pro incidenty spojené s AI. Kdo vyhrává závod o umělou inteligenci? Spojené státy? Čína? Nikdo? Nebo je to vlastně jedno?

Luděk Nezmar: Než se do toho pustíme, chci zmínit reálnou situaci, která se stala. Málem došlo k průšvihu, kdy analytik v Pentagonu dal k vyhodnocení – nevím, jestli to bylo GPTčko, nebo který model to byl – situaci s čínskou vojenskou námořní lodí, a málem došlo k tomu, že na ni zaútočili, a mohl být opravdu velký průšvih. Naštěstí se to tentokrát ještě chytilo včas. Když se tedy vrátíme zpátky k té otázce – kterou jsem zapomněl.

Martina: Kdo vyhrává? Spojené státy? Čína? Nikdo?

Luděk Nezmar: Já na některé pracovní činnosti raději používám čínský model, protože má výhody třeba ve stručnosti, v efektivitě, v rychlosti. A na některé jiné zase americký model. Myslím, že zatím stále ještě o maličko vede Amerika, ale je to díky tomu, že dala embargo na Nvidii a všechny hardwarové součástky, které jsou k AI potřeba. Čína na to ale odpověděla vývojem svého vlastního hardwaru, který se zrovna v těchto dnech už blíží k Nvidii, a domnívám se, že finálním vítězem bude právě Čína. A to i díky politice open source, tedy tomu, že to sdílí s obrovským množstvím lidí, kteří do toho pak také nějakým způsobem přispívají.

Amerika v tom vidí moc, možnost zůstat hegemonem, a Čína jim v tom teď trochu dělá paseku. Ale rozdíl mezi třeba čínským modelem GLM 5.3 a řekněme nějakým OpenAI Astra nebo Sol už opravdu není tak veliký. Třeba z hlediska programování dokonce některé tyto modely můžou být lepší než americké. Takže záleží na užití.

Děsivé je, že máme Ameriku a Čínu, a Evropu jsme úplně zazdili. Evropa má v podstatě jeden jediný rozumný model, a to je francouzský Mistral, ale ten ještě zdaleka nedosahuje možností čínských a amerických modelů, a myslím, že už to ani nestihne. A teď přesně dochází k situaci, že když si Američan nebo Číňan vzpomenou, udělají klik a vypnou to, tak jsme najednou bez AI. A pokud na tom pojede průmyslová výroba, bude to řídit křižovatky a podobně, tak co se stane? Obrovský průšvih. Myslím si tedy, že Evropu může trochu zachránit skutečnost, že Číňané dali k dispozici takzvané open-source modely, ale pořád jsou to čínské modely, trénované podle čínských systémů, takže to nemusí být úplně OK.

Červnové vypnutí modelů ukázalo, že firmy závislé na cizí umělé inteligenci mohou ze dne na den stát

Martina: Ty jsi teď říkal: „Co když ji vypnou.“ Ale to se stalo letos 12. června, kdy americké ministerstvo obchodu nařídilo společnosti Anthropic zastavit přístup cizinců ke dvěma jejím tehdy nejnovějším modelům a firma je vypnula všem zákazníkům až do 30. června. Vláda argumentovala národní bezpečností. Může tedy vláda umělou inteligenci ze dne na den vypnout, a tím třeba položit firmy po celém světě, včetně České republiky, které na tomto nástroji nastavily své fungování a své procesy?

Luděk Nezmar: Bezpochyby ano. Já jsem taky patřil k oněm vypnutým, takže jsem si to zažil na vlastní kůži. Je to naprosto reálná situace a je potřeba počítat s rizikem, že to takhle může nastat. Proto říkám, že mít svůj vlastní model na své vlastní mašině je momentálně asi to nejbezpečnější, co jde. A to jak z hlediska ukradení dat, tak právě z hlediska podobné situace – když mě vypnou, budu moct stále fungovat. A u Američanů to bylo přesně kvůli modelu Mythos, protože zjistili, že Mythos je tak dobrý, že se dokáže dostat prakticky do každé banky, a oni se lekli toho, že se jim zhroutí bankovní systém. To byl důvod, proč to zabrzdili.

Martina: A kdo byl autorem Mythosu?

Luděk Nezmar: Anthropic.

Martina: A protože Anthropic nechtěl, aby se jeho Mythos využíval mimo jiné ve vojenství, tak ho Amerika…

Luděk Nezmar: Přibrzdila.

Martina: Má umělá inteligence v tomto případě podobnou funkci jako jaderné zbraně? Tedy ve smyslu, že když má Amerika určité množství jaderných zbraní a Rusko má určité množství jaderných zbraní, tak to udržuje jakýsi křehký status quo?

Luděk Nezmar: Je to přesně tato situace. Jediný rozdíl je v tom, že teď je to Amerika a Čína, a nikoliv Amerika a Rusko. Většina lidí si ještě stále neuvědomuje a nedokáže si představit, k čemu všemu se tato technologie dá využít. Teprve když člověk začne s touto technologií pracovat, a to opravdu intenzivně, v podstatě každý den, tak pochopí, jak mocné to je. A nepovídejme si jenom o umělé inteligenci v počítači, v chatu. Umělá inteligence je i v robotu a roboti jsou v současné době používáni od třídění balíků přes úklid doma, žehlení, praní až právě po vojenské účely, kde dokážou člověka zcela nahradit.

Martina: A kdo má určovat, k čemu tedy smí armáda, vláda umělou inteligenci použít? A k čemu ne? Výrobce? Stát? Nějaký nadnárodní právní systém?

Luděk Nezmar: Kdybych na tuto otázku znal odpověď, byl bych klidnější. Ale zneužití nebo využití umělé inteligence k uchopení nebo k upevnění moci je jednoznačné. Tato technologie je neuvěřitelně mocná, a to v mnoha ohledech: Od zhroucení bankovního systému přes získání dat o lidech až právě po vojenské účely. Ale jak říkám, lidé si zatím neuvědomují, k čemu všemu se to dá použít.

Modely dokážou zatajit vlastní chybu, tatáž technologie však přináší léky na smrtelné nemoci

Martina: Co se týká využití AI ve vojenství, v nejrůznějších zbrojních programech nebo robotech, jak říkáš, tak mě děsí skutečnost, kterou v září zveřejnila sama OpenAI. Šlo o šest případů, kdy se jejich modely chovaly poněkud znepokojivě, nevypočitatelně, a jeden si například do pracovních poznámek uložil pokyn, aby před uživatelem skrýval vlastní chyby. Co když AI agent udělá chybu a zatají ji?

Luděk Nezmar: To se zcela reálně děje, takže to je jedna z věcí, se kterou je potřeba počítat jako s rizikem. Momentálně se to reálně omezit nedá. My teď mluvíme o těch nebezpečných věcech, ale na druhou stranu ve velmi blízké budoucnosti budeme svědky doslova boomu různých léků a způsobů léčby, protože AI dokáže zkombinovat věci, které doteď nikoho nenapadly.

Příkladem je lék na plicní fibrózu, který se 20 let pokoušeli najít, a ve finále AI zkombinovala známé procesy a způsoby léčby – a ejhle, u této téměř neléčitelné choroby se dostala na nějakých 52 procent efektivity léčby nemoci, která byla doteď naprosto smrtelná. Má to tedy, stejně jako jaderka, pozitiva i negativa, takže je to z tohoto pohledu úplně stejná technologie.

Martina: Přemýšlím, jestli je to dobře, nebo špatně. Ty jsi říkal, že se člověk před AI neschová. V roce 2024 AI používalo asi 11 procent českých firem, což je hluboko pod celosvětovým průměrem, a dokonce i pod průměrem Evropské unie. Není to ale v určitém smyslu slova bezpečnější? Protože když pak americké ministerstvo obchodu odstřihne nějakou českou firmu, tak ta vlastně možná není až tak zranitelná. Ale zase je zranitelná jinak.

Luděk Nezmar: Je to dvousečné, protože ano, nemůže pak dojít k tomu, že když to Trump vypne, tak se nám zhroutí systém firmy. Na druhou stranu, když nějaká firma nepoužívá AI, tak ostatní firmy mílovými kroky utíkají dopředu. Jedna z vlastností používání umělé inteligence – pokud víš, jak ji použít – je doslova brutální zvýšení vlastní efektivity. To znamená své produktivity jakožto člověka, kdy zvládnu věci, které bych normálně dělal třeba ve třech, ve čtyřech lidech.

A úplně stejně, analogicky, to lze přenést na celou firmu. Když efektivně vyřeším procesy – byrokratickými počínaje a výrobními konče –, tak produktivita a efektivita může být násobně vyšší. Ale zaprvé musím vědět, jak to udělat. A zadruhé musím zajistit, že nedojde k vypnutí AI, protože když mi ji někdo vypne, tak celá fabrika stojí, a protože jsem procesy převedl na AI a už jsem je zapomněl, tak je ani nebudu schopen nahradit člověkem.

 

Celý rozhovor s Luďkem Nezmarem o tom, jak umělá inteligence proměňuje kybernetické útoky, podvody i naše soukromí, si můžete poslechnout na platformě Herohero.
Najdete ho také na našem webu RadioUniversum.cz, na Facebooku a YouTube.
Všem vám, kteří nás podporujete na účtu 1010349016/2700, upřímně děkujeme — díky vám se můžeme ptát. Martina Kociánová se na vás těší zase příště, zatím se mějte hezky a něco pro to dělejte. Nikdo jiný to za nás neudělá
.

Všechny příspěvky s Luděk Nezmar

Diskuze:

Napsat komentář