Zpět

Martina: Jak snadné je umělou inteligenci zneužít ke kyberútoku? Samozřejmě nechci návod, ale narážím na to, že výzkumníci koncem září popsali AI agenty, kteří měli jen dohledat školní statistiky, a ti přitom sami od sebe zkusili útok na web amerického ministerstva školství.

Luděk Nezmar: Oni se potřebovali dostat k údajům, tak to hackli. Je to přesně o tom, že umělá inteligence dostane úkol a prostě za ním jde, a to v zásadě bez etických norem, pokud v daném modelu nějaké etické normy nastaveny nejsou. Chce úkol splnit za každou cenu a je dokonce schopna obětovat některé agenty. Dokáže si spočítat, že oběť tady přinese zisk tam. To znamená, že už je schopná uvažovat i tímto směrem.

To, že se umělá inteligence využívá ke kybernetickým útokům, je naprosto jednoznačná věc a běží to už relativně dlouho. Tak jako AI zdemokratizovala třeba možnost programování pro lidi, kteří v životě neprogramovali, stejně tak zdemokratizovala hackerské útoky. To znamená, že jsem bez znalosti programování schopen velmi efektivně zaútočit na nějakou IT infrastrukturu a dostat se k datům bez znalosti programovacích technik nebo jakýchkoliv hackerských prostředků. Prostě už nepotřebuji Kali Linux a podobné hračky k tomu, abych ukradl data, případně peníze.

Martina: A proběhl už skutečný kybernetický útok řízený pouze umělou inteligencí? Tedy že už nepotřebovala zadání, že to nebylo jen 80 až 90 procent práce, které se jí přisuzují v rámci špionážní kampaně údajně spojované se skupinou napojenou na čínský stát? AI tam vykonala 80–90 procent práce. Je už to někde 100 procent?

Luděk Nezmar: Myslím, že moc hezký příklad je, jak se teď OpenAI omlouvá australské vládě, protože agenti OpenAI bez vědomí OpenAI hackli australskou vládu. Takže tam už to bylo zcela stoprocentní. A AI je bez pochyby schopna – bez pomoci člověka, jenom se zadáním ve smyslu, a teď to řeknu velmi laicky: „Hackni mi tento server“ – postupně si vyzkoušet všechny metody, programy, prográmky a podobně, aby se tam dostala, nebo aby splnila úkol, který jí člověk zadal. Takže ano, lze na 100 procent říct, že AI je schopna útočit.

Martina: Pokud je AI schopná hacknout vládu, může rozpoutat i jaderný konflikt?

Luděk Nezmar: Myslím, že zatím ne, protože jaderné systémy, nebo systémy, kde hrozí jaderné nebezpečí, jsou mimo standardní sítě a struktury, takže se k nim AI zatím nemůže dostat. Aspoň doufám, že zatím nikoho nenapadlo AI do toho pustit. To, co je obsahem filmu Terminátor – teď jsem chtěl říct, že je to daleko, ale spíš řekněme – ještě nenastalo, protože zatím snad nikoho nenapadlo napojit AI na vojenské nebo jaderné věci. Otázkou je, jestli to tak zůstane i dál.

Martina: Zvládne dnes amatér bez znalostí kybernetický útok? Zmínil jsi, že je to snazší, ale znamená to, že se kyberzločin otvírá každému, kdo umí zapnout počítač?

Luděk Nezmar: Stručná odpověď je: „Ano.“ Samozřejmě to není úplně jednoduché, protože ve standardních modelech, jako je Claude od Anthropicu nebo ChatGPT od OpenAI, je celá řada bezpečnostních opatření, která by tomu měla zabránit. Nicméně pokud půjdeš na dark web, můžeš si tam stáhnout nástroje podporované AI. Používají se takzvané jailbreaknuté modely, kde neexistují žádná etická, právní a podobná omezení, a takový model bude dělat přesně to, co mu člověk řekne, bez jakýchkoliv skrupulí. Pokud se dotyčný k takovému modelu dostane, dokáže zaútočit zcela bez znalosti hackerských technik.

Kdo nechce žít v zemljance, musí se učit, jinak brzy přijde o práci, nebo mu někdo ukradne peníze

Martina: Jak se tomu můžeme bránit, když podvody, manipulace, deepfaky a phishingové – tedy podvodné – e-maily jsou dnes na denním pořádku a ne každý má prostor stát se IT specialistou? Existuje nějaká jednoduchá cesta, jak zůstat alespoň teoreticky, a možná i trochu prakticky, v bezpečí?

Luděk Nezmar: V zásadě máme dvě cesty a mezi nimi je obrovská škála šedé zóny, kde útoky probíhají. Když si nejdřív vezmu bílou stranu – protože máme černou a bílou –, znamená to, že pokud se nechci takového útoku dočkat, vezmu telefon, počítač, své chytré auto a všechno to vyhodím, přestěhuji se do lesa, postavím si zemljanku a všichni mi můžou být ukradení.

Martina: Děkuji za rozhovor. A já jdu vykopávat zemljanku.

Luděk Nezmar: To je jedna cesta, tedy v podstatě žít offline, bez digitalizace.

Martina: To ale znamená zcela se vydělit ze společnosti.

Luděk Nezmar: Dnes už to v podstatě znamená vydělit se ze společnosti, protože míra digitalizace našich životů je neuvěřitelná. Lidé to nevnímají, ale de facto už máme zdigitalizováno všechno. A druhá cesta je naopak využít AI pro svou obranu. Protože tak, jako existují hackerské techniky, které využívají AI, máme v kyberbezpečnosti různé nástroje a techniky, které AI využívají k obraně. Ale zase to znamená něco o tom vědět.

Když to řeknu velmi jednoduše: Člověk, který se v současné době nevzdělává v oblasti digitalizace a práce s AI, za chvilku buď nebude mít práci, nebo nebude mít peníze, protože mu je někdo ukradne. Zvyšování povědomí – v kybernetické bezpečnosti je to ustálený termín – je prostě naprosto klíčová věc. Lidé se to musí učit a není tady prostor pro to, aby někdo řekl: „Hele, už je mi padesát pět, já se učit nebudu.“ Ne.

Martina: Řekl jsi, že jsou i systémy AI, které se dají využívat k obraně. Ale jak mohu vědět, že pokud se svěřím do elektronických rukou takového obránce, nevydávám mu jen svá data a svůj přístup a že se skrze něj k mým nejcennějším věcem, datům a penězům, nedostane někdo jiný?

Luděk Nezmar: Odpověď je jednoduchá: Nemůžeš věřit nikomu. Tak to prostě je. Pokud člověk nemá potřebné vzdělání, musí si najít někoho, komu bude důvěřovat. Je to jako s autem – člověk také nerozumí tomu, jak auto funguje, a musí důvěřovat nějakému automechanikovi. Úplně stejně je potřeba najít si kyberbezpečáka, který o tom něco ví a tyto věci zajistí. Už fakt nestačí, když si řeknu: „Tak jo, nainstaluji si tady antivir a budu v pohodě.“ To už teď neplatí.

Útočné nástroje z dark webu samy spočítají, která firma šetří na IT a kolik výkupného zaplatí

Martina: Podle zářijové zprávy společnosti Zscaler vzrostl objem dat ukradených při vyděračských útocích o více než 275 procent za rok a průměrné výkupné přesahuje 430 tisíc dolarů. Napíše si umělá inteligence ransomware sama a řekne si o výkupné? Nebo na tom pracují útočníci, celé kybergangy?

Luděk Nezmar: Pokud člověk půjde na dark web, najde tam nástroje, které útočníkovi – nebo tomu, kdo chce zaútočit; nemusí to být sám útočník, klidně si tam může útočníka pronajmout, ať už člověka, nebo nějaký nástroj – spočítají i pravděpodobnost, s jakou daná firma zaplatí a s jakou pravděpodobností se mu tam podaří ransomware implantovat. Když to velmi zjednoduším: Takový nástroj si umí stáhnout data z portálu justice.cz, a když je v nich třeba vidět, že firmě klesá zisk – a jednou z prvních věcí, kde firmy škrtají, je marketing a právě IT –, lze předpokládat, že po třech letech poklesu tam nebudou nejnovější IT komponenty, a tudíž je to pro útočníky relativně jednoduchý vektor útoku.

A jak říkám, ještě to spočítá pravděpodobnost, jaké výkupné si mám říct, abych z nich ty peníze dostal. Takže ano, myslím, že v současné době je poměrně jednoduché zaútočit. Na druhou stranu jsou si toho zodpovědné firmy vědomy a připravují obranu. To je také důvod, proč teď Evropská unie přišla se směrnicí NIS2, potažmo my s novým zákonem o kybernetické bezpečnosti, protože to je skutečně reálný, obrovský problém.

Martina: My jsme si, tuším, naposled volali před rokem, kdy jsem po tobě chtěla informace o tom, co se stalo jedné celé městské části Prahy, protože jsem se dozvěděla, že tam proběhl ransomwarový útok, takže neměli přístup k datům, neměli přístup k účtům občanů.

Luděk Nezmar: K ničemu.

Martina: K ničemu, a trvalo to docela dlouho.

Luděk Nezmar: To vždycky trvá dlouho.

Martina: Nevíš, jestli nakonec zaplatili?

Luděk Nezmar: Předpokládám, že pokud to byla městská část, tak jim to samozřejmě nedovolili. Ale pokud je to firma, je běžné, že zaplatí. Nikde se o tom nehovoří, a když řešíme průšvih, vždycky musíme podepisovat NDA, že o tom nikde nebudeme mluvit. Ve finále totiž platí, že když zaútočí ransomware, nejspolehlivější záchranou jsou zálohy. Pokud zálohuji, řeknu si: „OK, milý ransomware, trhni si nohou, všechny systémy si nahodím.“ Jenomže zaprvé celá řada firem a organizací nezálohuje. A zadruhé, když zálohují, nekontrolují si, jestli z těch záloh data dokážou dostat. To je bohužel další velmi častá věc.

Takže v momentě, kdy nezálohuji, nebo zálohuji špatně, a vlítne mi tam ransomware, mám dvě možnosti: Buď zaplatit kompletní rekonstrukci účetnictví a všech agend, které vedu, nebo zaplatit výkupné. V soukromém sektoru proto není neobvyklé, že se výkupné zaplatí. A hackeři samozřejmě důsledně dbají na to, aby – když tedy někdo zaplatí – mu data vydali, protože jinak by se velmi rychle rozkřiklo, že i když zaplatím, stejně nic nedostanu, tak proč bych to dělal.

Běžnému člověku hacker konto nevysaje, spíš mu v počítači nechá potichu rok těžit kryptoměnu

Martina: To, že se budeme bránit, to, že se budeme bránit aktivně, nejenom vzděláváním, ale že se obrátíme na odborníky, kteří nám poradí systémy, něco stojí. A jestliže jsou to tak velké peníze a stejně to nepomůže ani australské vládě, ani pražské městské části, má vůbec normální člověk šanci takové poradenství zaplatit? Nebo peníze, které si chce na účtu ochránit, bude muset stejně dát?

Luděk Nezmar: Já myslím, že normální člověk zatím nebude úplně terčem útoku, protože se to také musí vyplatit. Jenom než se všechny věci připraví a všechno se udělá, chvíli to trvá. Pokud útočím na běžného člověka, většinou mi nejde o to, abych mu vysál konto. Spíš mu do počítače nasadím třeba kryptominer, což je prográmek, který na jeho počítači začne dolovat kryptoměnu za jeho peníze, za jeho elektřinu, a on o tom kolikrát ani neví. Jenom se mu zpomalí počítač, a pokud ho používá na nějaké Wordy a Excely, ani to nezaznamená. Takže to tam naprosto tiše běží třeba půl roku, rok, a člověk o tom neví. To je u normálních lidí nejčastější případ.

Aby někdo chtěl běžnému člověku zašifrovat počítač, musel by k tomu mít nějaký důvod. Teď jdou všechny útoky primárně po organizacích, a to samozřejmě po těch, kterým nezbývá nic jiného než zaplatit. Velmi vděčným terčem jsou proto nemocnice, protože tam je obrovská halda dat a bez nich daná nemocnice nemůže fungovat. Soukromé nemocnice jsou jedním z nejžádanějších terčů.

A samozřejmě data – prodávají se data. To znamená, že běžnou nemocnici nezašifruji hned, ale budu si tam tři měsíce nenápadně stahovat data a pak ji zašifruji – co kdybych dostal nějaké výkupné –, ale mezitím půjdu a pěkně prodám na dark webu třeba výsledky klinických studií a podobné věci, které tam daná nemocnice má.

Tři vteřiny záznamu stačí k naklonování hlasu a babička pak pošle peníze plačícímu falešnému vnukovi

Martina: Podle České bankovní asociace přišli klienti českých bank za prvních sedm měsíců letošního roku o 1,9 miliardy korun. Meziročně je to o 79 procent více. Na Facebooku a Instagramu běžely desítky tisíc podvodných reklam s falešnými tvářemi politiků a dalších známých osobností. Říkal jsi, že se to jednotlivců ještě úplně netýká, ale zjevně týká. Řekni mi, proč Češi začali podvodníkům posílat miliardy?

Luděk Nezmar: Protože jsou pitomí. To se jinak říct nedá. Ale je to přesně o tom, že nevědí. Dám příklad. Před rokem a půl potřeboval člověk k tomu, aby dokázal naklonovat něčí hlas a pak ho zneužít, třeba hodinu a půl nebo pět hodin původní nahrávky, aby se na ní umělá inteligence natrénovala.

Martina: Tři vteřiny.

Luděk Nezmar: V současné době stačí tři vteřiny na to, abych hlas dokázal naklonovat z 85 procent. Když mám něco delšího, stáhnu si to třeba z YouTube nebo ze Spotify, naklonuji hlas a potom útok provedu tak – teď to velmi zjednoduším –, že pomocí nějaké aplikace typu ElevenLabs naklonuji hlas, zavolám přes WhatsApp babičce, o které vím, že má peníze, budu dělat, že jsem její vnuk, a budu jí brečet do telefonu, že rychle potřebuji 30 tisíc, protože jsem někde něco provedl. A co babička udělá? Samozřejmě půjde a pošle to, protože slyší svého vnuka, jak jí brečí do telefonu.

Málokdo ví, že takové útoky jsou zcela reálné a velmi jednoduše proveditelné. Takže nějaká call centra z Ukrajiny, kde poznám, že nemluvím s člověkem, který se narodil v Čechách, už jsou podle mě zastaralá, protože pomocí nějaké aplikace jsem schopen v reálném čase mluvit plynně česky. A to nás myslím ještě čeká. V podstatě se dostáváme do světa, kdy nelze věřit očím ani uším.

Martina: A to člověka uvrhne do nesmírné nejistoty a samoty. Jestliže v testu společnosti iProov rozeznalo všechny deepfaky – tedy falešný digitální obsah, videa, fotky a zvukové nahrávky – od skutečných jenom 0,1 procenta z 2 000 lidí, znamená to naprostou katastrofu.

Luděk Nezmar: Vývoj jde skutečně neskutečně rychle. Před rokem dělala společnost Tavus se svým modelem Griffin test, kdy posadili člověka před počítač a na druhém konci byl jakoby člověk – byl to online rozhovor přes Teamsy. Tehdy se spletla pouze dvě procenta lidí, kteří řekli, že to byl člověk. Takže 98 procent poznalo, že si povídají s mašinou.

Letos jsme se dostali na 48 procent: Umělá inteligence v podobě milé dámy normálně skákala do řeči, ihned reagovala, měnila intonaci, a 50 procent lidí to nepoznalo. A to máme po roce. Takže příští rok už budeme někde okolo 80 procent, kdy člověk prakticky nemá šanci poznat, že se baví s mašinou.

Internet zaplavený texty od strojů může umělou inteligenci naučit hloupnout místo toho, aby chytřela

Martina: Nezničí to třeba internet?

Luděk Nezmar: To je další věc. Viděl jsem data, podle kterých je už 53 procent informací na internetu od mašiny, tedy od nějaké AI, a pouze 47 procent napsal člověk. Krásně to teď bylo vidět na zasedání OSN, kdy celá řada politiků, kteří tam vystoupili, měla podklady napsané nějakým ChatGPT, to je prokazatelné.

A jestliže se internet bude takhle zaplevelovat, může také dojít ke zhloupnutí AI. Z jednoho testu totiž vyplynulo, že při několikáté iteraci umělé inteligence docházelo ke generalizaci, kdy se třeba z původních několika psích plemen stal jenom jeden vlčák, protože AI se snaží věci zjednodušovat, zgeneralizovat. Takže pokud budeme mít internet plný informací od AI a AI se z nich bude dál učit, klidně se může stát, že místo toho, aby chytřela, bude hloupnout.

Martina: Je to šance? Nebo dojde k totálnímu chaosu?

Luděk Nezmar: Myslím, že se spíš budeme blížit k totálnímu chaosu, protože v současné době je umělá inteligence nasazována do celé řady průmyslových zařízení. Řídí třeba křižovatky. Samozřejmě dokáže velmi efektivně pouštět provoz podle toho, jak zrovna jede. Už to není jenom tak, že 10 vteřin a zase 10 vteřin, ale třeba 3 a 7. Ale pokud by takhle blbla, může se stát, že z toho bude opravdu chaos. Ale zase, to je čistě teoretická věc, stalo se to v laboratoři a uvidíme, jaká bude realita. Je to hodně o lidech.

Martina: Zatím se dá říct, že se stále nachytřuje, je mnohem dál než před rokem, je mnohem dál než před dvěma roky. A přesto se už v roce 2024 zaměstnanec firmy Arup v Hongkongu zúčastnil videokonference s finančním ředitelem a kolegy, a všichni, i ostatní účastníci, byli deepfake – a on těmto podvodníkům odeslal v přepočtu 25 milionů dolarů.

Luděk Nezmar: Ano.

Proti falešným ředitelům i vnukům pomůže jen staré dobré rodinné heslo, které nikdo cizí nezná

Martina: A může se to dnes stát české firmě, úřadu, nebo i jednotlivci?

Luděk Nezmar: Zaprvé, tahle věc se stala prakticky už před dvěma lety, a před x měsíci to ještě nebylo zdaleka tak propracované, jako je to teď. Bylo to 20 milionů liber, 25 milionů dolarů, a skutečně to byl hackerský útok. Začalo to phishingem a tento účetní na základě pokynu finančního ředitele – což byl takzvaný deepfake, to znamená, že si hacker nasimuloval jeho obličej a hlas – poslal peníze. Dodnes není útočník chycen ani potrestán a firma o ty peníze přišla.

A takových podvodů bude jednoznačně přibývat. Proto říkám: nevěřit očím, nevěřit uším a mít s nejbližší rodinou třeba domluvené heslo, které opravdu bude znát jenom rodina. Tak, jako to bylo dříve: Třeba že jeden řekne jednu větu a druhý řekne druhou. Naposledy jsem to viděl ve Zrádcích. Měli tam otázku, co je to „gambit“ v šachu. Prostě mít něco podobného, to je jediná obrana.

Martina: Lidé chatbotům svěřují mnoho soukromí.

Luděk Nezmar: Všechno jim svěřuji.

Martina: A samozřejmě nikdy nevědí, jestli mluví s chatbotem. V kolika procentech si lidé myslí, že mluví se skutečným člověkem, a přitom mluví s chatbotem?

Luděk Nezmar: Když jsem zmiňoval těch 48 procent lidí, kteří věřili AI, mluvil jsem o online callu. U chatbotů to bude ještě výrazně víc, protože tam člověk nevidí mimiku a tak dále. Když je chatbot dobře udělaný, člověk vůbec nemusí poznat, že si povídá s nějakým chatbotem. Proto také AI Act od srpna požaduje, aby se chatboti označovali, že v nich běží nějaká AI. Ale myslím, že pokud bychom chatbota využili třeba právě ke změně názoru na něco konkrétního, celá řada lidí se nechá přesvědčit – celá řada – a nepoznají to.

Martina: Já jsem si nedávno povídala s umělou inteligencí, protože jsem volala na nějaký úřad a potřebovala něco vyřídit. A asi po osmi minutách strojových odpovědí jsem dostala koprolálický záchvat a strašlivě jsem jí nadávala. A ozvalo se: „Prosím, můžete mi dát ještě šanci?“

Luděk Nezmar: To je krásný příklad, ale krásný příklad špatně udělaného chatbota, protože ten by měl automaticky hned poznat, co ještě je schopen zvládnout a co už ne. A myslím, že při kvalitě, kterou je umělá inteligence v současné době schopna nabídnout, je udělat chatbota takhle bídně ostuda.

Martina: Prosím tě, myslíš si, že o běžném občanovi naší republiky ví chatbot víc než jeho nejbližší, kterým lidé svěřují nemoci, dluhy, vztahy…?

Luděk Nezmar: Já o tom nepochybuji. Dokonce bych tobě i tvým posluchačům doporučil, ať si někdy sednou ke svému modelu a napíšou mu: „Milý modele, znáš mě. Celou dobu spolu povídáme. Zkus mi napsat, za jak inteligentního mě považuješ, jaké jsou mé plusy a mínusy, co dělám dobře a co bych mohl dělat lépe.“ A garantuji ti, že pokud jde o lidi, kteří s AI hovoří delší dobu, dostanou nesmírně zajímavý feedback z logického uvažování umělé inteligence. A dá se s tím nádherně pracovat.

Tyto mašiny – a teď nemluvme jen o umělé inteligenci, ale třeba i o algoritmech, které stojí za sociálními sítěmi – o nás lidech bez pochyby vědí víc, než víme my sami o sobě. A bez emocí.

Co jednou vložíte do umělé inteligence, může skončit u soudu a vymazat to odtamtud už nikdy nepůjde

Martina: Když se svěřím lékaři, nebo mi lékař řekne, co mi je, je vázán mlčenlivostí. Mlčenlivostí je vázán i právník, psychiatr, zpovědník, kněz – ale chatbot žádné takové zábrany a povinnost mlčet nemá. Znamená to, že to, co o sobě a o svých nejbližších napovídám chatbotu, může být třeba použito u soudu?

Luděk Nezmar: Rozdělil bych to na dvě věci. Zmiňovala jsi, co všechno o nás vědí lékaři, právníci a tak dále. A napadlo tě, že třeba právě lékaři a právníci své kauzy a diagnózy sami…

Martina: Proženou AI.

Luděk Nezmar: Ano – prohánějí je umělou inteligencí? Odpověď zní: samozřejmě ano. Je to úplně jako nemoc. To je jedna část. A druhá část je, že neexistuje žádná zábrana, která by bránila použít věci vložené do umělé inteligence jako důkaz u soudu. Takže ano, data z umělé inteligence lze použít u soudu.

Existuje technika inverze modelu, to znamená, že data nebo informace lze z umělé inteligence získat zpětně. Ale tady chci upozornit na jednu podstatnou věc: Můžu získat data, která tam někdo vložil, ale nejsem schopen z žádného modelu data vymazat. To znamená, že v případě umělé inteligence neexistuje možnost naplnit třeba právo na výmaz podle GDPR. Prostě ta data jsou tam navždy.

Martina: A žádná právní úprava zjevně neomezuje třeba lékaře, aby moje data nevkládali do AI, aby se s ní neradili o mých rentgenových snímcích a nepredikovali – společně s AI –, co mi vlastně přesně je?

Luděk Nezmar: Hodně záleží na tom, o jakou AI se jedná. Pokud bych měl umělou inteligenci takzvaně on-premise, to znamená, že budu mít ten stroj u sebe a data nikam nepotečou, myslím si, že vůbec není důvod ji nevyužít. Naopak, může být obrovským pomocníkem. Ale v momentě, kdy – jak to dělá naprostá většina lidí – takové věci vkládají do takzvaných free tierů, tedy do volně dostupných umělých inteligencí, které se z nich učí, je to samozřejmě průšvih.

Stejně jako máme v medicíně výraz „regurgitace“, tedy vracení obsahu žaludku zpět, existuje výraz „regurgitace“ i v umělé inteligenci. To znamená, že když s umělou inteligencí nasdílím nějaké informace, může je klidně regurgitovat někomu jinému, kdo se zeptá vhodným promptem, a umělá inteligence mu odpoví. Takže je tam celá řada problémů.

 

Celý rozhovor s vysokoškolským pedagogem a IT konzultantem Luďkem Nezmarem o rizicích umělé inteligence, kybernetických útocích a podvodech s naklonovanými hlasy si můžete poslechnout na platformě Herohero.
Najdete ho také na našem webu RadioUniversum.cz, na Facebooku a YouTube.
Všem vám, kteří nás podporujete na účtu 1010349016/2700, upřímně děkujeme — i díky vám můžeme otevírat témata, která jinde nezazní. Nenechte si vzít právo vědět a nezapomeňte: Mějte se hezky a něco pro to dělejte. Nikdo jiný to za nás neudělá.

Všechny příspěvky s Luděk Nezmar