V důsledku nastalé situace vzniká obrovská slepá skvrna, takzvaná shadow AI. Bezpečnostní týmy naprosto ztrácejí kontrolu nad tím, jaká citlivá data odcházejí z firmy ven, jaké jazykové modely je přesně zpracovávají a kde tato data nakonec končí. Zaměstnanci přitom do veřejných chatbotů běžně vkládají interní dokumenty, zdrojové kódy, zápisy z porad, nebo dokonce rovnou klientská data. Plošné zákazy tuto praxi nedokážou zastavit. Pouze lidi donutí skrývat, jakou technologii pro svoji práci reálně každý den používají.
Tímto defenzivním přístupem otevíráme dveře úplně novým typům bezpečnostních mezer. Stávající procesy je vůbec nezachytí a běžné firemní firewally na moderní hrozby zkrátka nestačí. Firmy stále řeší převážně zastaralé hrozby, zatímco jim pod rukama roste nebezpečí, o kterém nemají tušení. Mnoho organizací se dnes spokojí s tím, že zablokuje doménu známého chatbota na firemní Wi-Fi, a tím považuje věc za vyřešenou. Lidé ale dál kopírují citlivé kódy do modelů ve svých mobilních telefonech.
Prompt injection jako hrozba dneška
Existuje velmi častý dotaz, a to zda běžný firemní systém spolehlivě odolá takzvanému prompt injectionu, kdy útočník podvrhne umělé inteligenci falešné instrukce. Je na to jednoduchá odpověď: neodolá.
Organizace OWASP, která dlouhodobě definuje globální softwarová rizika, řadí prompt injection na první místo v aktuálním přehledu hrozeb pro jazykové modely. Přesto se s tímto rizikem trh vypořádává mnohem méně než s tradičními kybernetickými útoky, jako je ransomware nebo phishing. Odborníci zkrátka nové hrozby neumějí zařadit do svých existujících tabulek a procesů.
Z vlastní praxe v Appliftingu vidím, že prompt injection pro umělou inteligenci dnes znamená přesně to, čím trpěly relační databáze před dvaceti lety kvůli zranitelnosti SQL injection. Systém nerozlišuje mezi běžným uživatelským textem a systémovým příkazem, takže je snadno zamění. Jde o hrozbu, která reálně existuje v každém nasazeném modelu. Trh ji zatím převážně ignoruje a začne ji řešit až ve chvíli, kdy média popíší první obrovský únik klientských dat.
Když dnes firma staví novou aplikaci a neřeší přitom obranu proti prompt injection rovnou od začátku, buduje si obrovský technologický dluh. Jakmile totiž umělou inteligenci pustíte hluboko do interních procesů a teprve poté zjistíte, že s ní útočníci snadno manipulují, stojí případná oprava architektury miliony korun a měsíce práce. Způsoby, jak obejít systémové filtry, neboli takzvaný jailbreaking, si navíc dnes na internetu dohledá a vyzkouší úplně každý.
Agenti a desítky neviditelných dveří
S rychlým nástupem agentních systémů se situace komplikuje ještě víc. Agentní umělá inteligence funguje naprosto odlišně od běžného chatbota, který pouze čeká na otázku. Autonomní agent aktivně prochází e-maily, čte složky na firemním cloudu a přímo komunikuje s externími nástroji. Pokud útočník například vloží skrytý text do nevinně vypadajícího e-mailu nebo PDF dokumentu, agent tento obsah zpracuje a přečte si v něm tajnou instrukci. Ta mu může nařídit přeposlat určitá data ven. Udělá to okamžitě, bez jakéhokoli varování a zcela bez vědomí uživatele.
Technologie jako servery MCP (Model Context Protocol) dnes zažívají obrovský boom. Právě přes ně se umělá inteligence přímo napojuje na vnitřní produkční systémy, databáze a firemní infrastrukturu. Cíl zní lákavě, protože vývojáři chtějí, aby agenti dokázali samostatně zapisovat data nebo spouštět kód. Tím ale zároveň otevírají desítky nehlídaných vstupních bodů do firemní sítě. Bezpečnostní experti přitom často ani nevědí, že si vývojáři podobné propojení zapnuli na testování. Najednou čelíme celé nové třídě útoků, kdy útočníci dokážou přesměrovat úkoly mezi agenty nebo vnutit systému kroky, které dříve ručně schvaloval člověk.
Místo zákazů potřebujeme viditelnost
Osobně si myslím, že technologické firmy i korporace musejí úplně překopat způsob, jakým o AI bezpečnosti uvažují. Největší hrozbu pro firmu tvoří zaměstnanci, kteří umělou inteligenci využívají potají za zády celého IT oddělení. Zákazy tento trend paradoxně ještě posilují.
Potřebujeme správně nastavit firemní procesy tak, abychom získali detailní přehled o toku dat, ale zároveň nebrzdili produktivitu lidí, kteří AI k práci reálně potřebují. Potřebujeme přesně vědět, kde konkrétně umělá inteligence ve firmě běží, kdo s ní na denní bázi pracuje a kudy citlivá data proudí. Pouze organizace, které brzy vymění falešný pocit kontroly za skutečnou viditelnost celého procesu, z umělé inteligence nakonec vytěží její obrovský potenciál bez katastrofálních následků pro svůj byznys.
ČLÁNKY DO MAILU