Rostoucí rizika kybernetické bezpečnosti a podvodů s deepfakes poháněnými umělou inteligencí

Představte si, že vám zazvoní telefon a hlas na druhé straně zní přesně jako váš šéf, blízký přítel nebo dokonce vládní úředník. Naléhavě žádají o citlivé informace, ale ve skutečnosti to nejsou oni. Je to deepfake, poháněný umělou inteligencí, a vy jste terčem sofistikovaného podvodu. Tyto druhy útoků se dějí právě teď a každým dnem se stávají přesvědčivějšími.

To je varování, které zaznělo ve Zprávě o bezpečnosti AI 2025, odhalené na konferenci RSA (RSAC), jednom z největších světových shromáždění expertů na kybernetickou bezpečnost, společností a orgánů činných v trestním řízení. Zpráva podrobně popisuje, jak zločinci využívají umělou inteligenci k impersonaci lidí, automatizaci podvodů a útokům na bezpečnostní systémy v masivním měřítku.

Od ukradených účtů AI a manipulovaných modelů až po podvody s živým videem a otravu dat, zpráva vykresluje obraz rychle se vyvíjejícího prostředí hrozeb, které se dotýká stále více životů.

Jedno z největších rizik používání nástrojů AI je to, co uživatelé s nimi náhodně sdílejí. Nedávná analýza společnosti Check Point zabývající se kybernetickou bezpečností zjistila, že jeden z každých 80 dotazů AI obsahuje vysoce riziková data, a přibližně jeden z 13 obsahuje citlivé informace, které by mohly vystavit uživatele nebo organizace rizikům v oblasti bezpečnosti nebo dodržování předpisů.

Tato data mohou zahrnovat hesla, interní obchodní plány, informace o klientech nebo autorský kód. Pokud jsou sdílena s nástroji AI, které nejsou zabezpečeny, mohou být tyto informace později zalogovány, zachyceny nebo dokonce uniknout.

AI poháněná impersonace se každým měsícem zdokonaluje. Zločinci nyní dokážou přesvědčivě falšovat hlasy a tváře v reálném čase. Na začátku roku 2024 britská inženýrská firma přišla o 20 milionů liber poté, co podvodníci použili živé deepfake video k impersonaci vedoucích pracovníků firmy během hovoru přes Zoom. Útočníci vypadali a zněli jako důvěryhodní vedoucí pracovníci a přesvědčili zaměstnance k převodu finančních prostředků.

Nástroje pro manipulaci s videem v reálném čase se nyní prodávají na kriminálních fórech. Tyto nástroje mohou během videohovorů zaměňovat tváře a napodobovat řeč v několika jazycích, což usnadňuje útočníkům provádění podvodů přes hranice.

Sociální inženýrství vždy bylo součástí kyberkriminality. Nyní ji AI automatizuje. Útočníci již nemusí mluvit jazykem oběti, být neustále online nebo ručně psát přesvědčivé zprávy.

Nástroje jako GoMailPro používají ChatGPT k vytváření phishingových a spamových e-mailů s perfektní gramatikou a nativně znějícím tónem. Tyto zprávy jsou mnohem přesvědčivější než nedbalé podvody minulosti. GoMailPro dokáže generovat tisíce unikátních e-mailů, z nichž každý se mírně liší v jazyce a naléhavosti, což jim pomáhá proklouznout filtrem spamu. Aktivně se prodává na podzemních fórech za přibližně 500 dolarů měsíčně, takže je široce dostupný pro zločince.

Další nástroj, X137 Telegram Console, využívá Gemini AI k automatickému monitorování a odpovídání na chatové zprávy. Dokáže se vydávat za zákaznickou podporu nebo známé kontakty a vést konverzace v reálném čase s více cíli najednou. Odpovědi jsou necenzurované, rychlé a přizpůsobené na základě odpovědí oběti, čímž vytvářejí iluzi člověka za obrazovkou.

AI také pohání podvody s sextorcí v rozsáhlém měřítku. Jedná se o e-maily, které falešně tvrdí, že vlastní kompromitující videa nebo fotografie a požadují platbu, aby se zabránilo jejich sdílení. Místo opakovaného používání stejné zprávy se podvodníci nyní spoléhají na AI, která přepíše hrozbu desítkami způsobů. Základní věta jako „Vypršel čas“ může být přepsána jako „Pískový hodiny se pro vás téměř vyprázdnil“, což zprávě dodá osobnější a naléhavější charakter, a zároveň se vyhne detekci.

Odstraněním potřeby jazykové zběhlosti a ruční práce umožňují tyto nástroje AI útočníkům dramaticky rozšířit své phishingové operace. I nezkušení podvodníci nyní mohou provozovat rozsáhlé, personalizované kampaně s téměř nulovým úsilím.

S rostoucí popularitou nástrojů AI se zločinci nyní zaměřují na účty, které je používají. Hackeři kradou přihlašovací údaje ChatGPT, klíče OpenAI API a další pověření platformy, aby obešli limity používání a skryli svou identitu. Tyto účty jsou často ukradeny prostřednictvím malwaru, phishingu nebo útoků s nacpáváním pověření. Ukradená pověření se pak prodávají ve velkém na kanálech Telegram a podzemních fórech. Někteří útočníci dokonce používají nástroje, které dokáží obejít vícestupňové ověřování a ochranu založenou na relacích. Tyto ukradené účty umožňují zločincům přístup k výkonným nástrojům AI a jejich používání pro phishing, generování malwaru a automatizaci podvodů.

Zločinci nacházejí způsoby, jak obejít bezpečnostní pravidla zabudovaná do modelů AI. Na dark webu útočníci sdílejí techniky pro jailbreaking AI, takže bude reagovat na požadavky, které by normálně byly blokovány. Běžné metody zahrnují:

Některé modely AI lze dokonce oklamat, aby se samy jailbreakly. Útočníci vyzvou model k vytvoření vstupu, který způsobí, že přepsání vlastních omezení. To ukazuje, jak lze manipulovat se systémy AI nečekanými a nebezpečnými způsoby.

AI se nyní používá k vytváření malwaru, phishingových kitů, skriptů ransomware a dalších. Nedávno byla skupina s názvem FunkSac identifikována jako přední gang ransomware využívající AI. Její vůdce přiznal, že alespoň 20 % jejich útoků je poháněno AI. FunkSec také použila AI k zahájení útoků, které zaplavují webové stránky nebo služby falešným provozem, což způsobuje jejich pád nebo offline stav. To jsou známé jako denial-of-service útoky. Skupina si dokonce vytvořila vlastní AI poháněný chatbot k propagaci svých aktivit a komunikaci s oběťmi na svých veřejných webových stránkách.

Někteří kyberzločinci dokonce používají AI k marketingu a analýze dat po útoku. Jeden nástroj nazvaný Rhadamanthys Stealer 0.7 tvrdil, že používá AI pro „rozpoznávání textu“, aby zněl pokročileji, ale výzkumníci později zjistili, že místo toho používá starší technologii. To ukazuje, jak útočníci používají buzzwords AI, aby své nástroje vypadaly pokročileji nebo důvěryhodněji pro kupující.

Jiné nástroje jsou pokročilejší. Příkladem je DarkGPT, chatbot vytvořený speciálně pro třídění obrovských databází ukradených informací. Po úspěšném útoku podvodníci často skončí s logy plnými uživatelských jmen, hesel a dalších soukromých údajů. Místo ručního procházení těchto dat používají AI k rychlému nalezení cenných účtů, do kterých se mohou vloupat, prodat nebo použít pro cílenější útoky, jako je ransomware.

Někdy útočníci nemusí hackovat systém AI. Místo toho ho oklamou tím, že mu podají falešné nebo zavádějící informace. Tato taktika se nazývá otrava AI a může způsobit, že AI poskytne zaujaté, škodlivé nebo zcela nepřesné odpovědi. Existují dva hlavní způsoby, jak se to stane:

V roce 2024 útočníci nahráli 100 manipulovaných modelů AI na platformu s otevřeným zdrojovým kódem Hugging Face. Tyto otrávené modely vypadaly jako užitečné nástroje, ale když je lidé používali, mohli šířit falešné informace nebo generovat škodlivý kód.

Velkoplošný příklad pochází od ruské propagandistické skupiny Pravda, která publikovala online více než 3,6 milionu falešných článků. Tyto články byly navrženy tak, aby oklamaly chatovací roboty AI a donutily je opakovat jejich zprávy. V testech výzkumníci zjistili, že hlavní systémy AI se ozývaly těmito falešnými tvrzeními ve 33 % případů.

Kyberkriminalita poháněná AI kombinuje realismus, rychlost a rozsah. Tyto podvody nejsou jen těžší odhalit. Jsou také snazší spustit. Zde je návod, jak se chránit:

1) Vyhněte se zadávání citlivých dat do veřejných nástrojů AI: Nikdy nesdílejte hesla, osobní údaje ani důvěrné obchodní informace v žádném chatu AI, i když se zdá být soukromý. Tyto vstupy mohou být někdy zalogovány nebo zneužity.

2) Používejte silný antivirový software: AI generované phishingové e-maily a malware mohou proklouznout zastaralými bezpečnostními nástroji. Nejlepším způsobem, jak se chránit před škodlivými odkazy, které instalují malware, a potenciálně získávají přístup k vašim soukromým informacím, je mít silný antivirový software nainstalovaný na všech vašich zařízeních.

3) Zapněte dvoufaktorové ověřování (2FA): 2FA přidává další vrstvu ochrany vašich účtů, včetně platforem AI. Ztěžuje útočníkům vloupat se pomocí ukradených hesel.

4) Buďte velmi opatrní u neočekávaných videohovorů nebo hlasových zpráv: Pokud se něco zdá být špatné, i když se osoba zdá být známá, ověřte si to dříve, než budete jednat. Deepfake zvuk a video mohou znít a vypadat velmi reálně.

5) Používejte službu na odstraňování osobních údajů: S rozmachem AI poháněných podvodů a deepfake útoků se zločinci stále více spoléhají na veřejně dostupné osobní informace, aby vytvořili přesvědčivé impersonace nebo cílili oběti personalizovaným phishingem.

6) Zvažte ochranu proti krádeži identity: Pokud vaše data uniknou prostřednictvím podvodu, včasná detekce je klíčová. Služby ochrany identity mohou monitorovat vaše informace a upozornit vás na podezřelé aktivity.

7) Pravidelně kontrolujte své finanční účty: AI generovaný phishing, malware a útoky na převzetí účtu jsou nyní sofistikovanější a rozšířenější než kdy jindy, jak je zdůrazněno ve Zprávě o bezpečnosti AI 2025. Pravidelným prověřováním výpisů z bankovních a kreditních karet na podezřelé aktivity můžete odhalit neoprávněné transakce brzy, často dříve, než nastane větší škoda.

8) Používejte zabezpečený správce hesel: Ukradené účty AI a útoky s nacpáváním pověření představují rostoucí hrozbu, přičemž hackeři používají automatizované nástroje k vniknutí do účtů a prodeji přístupu na dark webu. Bezpečný správce hesel vám pomůže vytvářet a ukládat silná, jedinečná hesla pro každý účet, čímž se útočníkům výrazně ztěžuje kompromitovat vaše přihlášení, i když některé vaše informace uniknou nebo jsou cíleny AI poháněnými útoky.

9) Udržujte svůj software aktualizovaný: AI generovaný malware a pokročilé phishingové sady jsou navrženy tak, aby využívaly zranitelnosti ve zastaralém softwaru. Abyste se těmto vyvíjejícím se hrozbám vyhnuli, ujistěte se, že všechna vaše zařízení, prohlížeče a aplikace jsou aktualizovány o nejnovější bezpečnostní opravy.

Kyberzločinci nyní používají AI k pohánění některých z nejvíce přesvědčivých a rozsáhlých útoků, jaké jsme kdy viděli. Od deepfake videohovorů a AI generovaných phishingových e-mailů po ukradené účty AI a malware napsaný chatovacími roboty, tyto podvody se stávají těžší odhalit a snazší spustit. Útočníci dokonce otravují modely AI falešnými informacemi a vytvářejí falešné nástroje, které vypadají legitimně, ale jsou navrženy tak, aby škodily. Abychom zůstali v bezpečí, je důležitější než kdy jindy používat silnou antivirovou ochranu, povolit vícestupňové ověřování a vyhnout se sdílení citlivých dat s nástroji AI, kterým plně nedůvěřujete.