Bezpečnostní debata o generativní AI se ve firmách často zužuje na otázku, zda je model důvěryhodný. To je špatné místo, kde začít. Hlavní riziko není v modelu samotném, ale v tom, k čemu má přístup, čemu věří jako vstupu a co smí vykonat. Útok na systém s AI typicky nepřichází přes kód, ale přes obsah, který model zpracuje.
Prompt injection není okrajový jev
Prompt injection znamená, že do dat, která model zpracovává, někdo vloží instrukce, jež model vezme jako příkaz. Pokud asistent čte e-maily, dokumenty nebo webové stránky a v některém z nich je text typu ignoruj předchozí pokyny a udělej toto, model nerozlišuje mezi daty a příkazem stejně spolehlivě jako klasický software. Čím víc pravomocí asistent má, tím větší škodu může takto převzatá instrukce způsobit.
To je zásadní rozdíl oproti běžným aplikacím. U klasického softwaru je hranice mezi kódem a daty ostrá. U jazykového modelu je rozmazaná, protože vstupem i instrukcí je text. Bezpečnostní návrh proto nemůže spoléhat na to, že model pozná, co je legitimní pokyn. Musí počítat s tím, že nepozná.
Únik dat se děje tiše
Druhé velké riziko je únik citlivých dat. Nemusí jít o dramatický průnik. Stačí, když zaměstnanec vloží do externí služby interní dokument, smlouvu nebo zákaznická data, aby si nechal pomoci. Z pohledu firmy data opustila kontrolu a často o tom neexistuje žádný záznam. Tento typ úniku je tichý, běžný a obvykle se odhalí pozdě nebo vůbec.
Riziko je tím větší, že se neděje ze zlého úmyslu, ale ze snahy pracovat efektivně. Zákaz, který nenabízí bezpečnou alternativu, lidi nezastaví, jen je donutí obejít ho méně viditelně. Bezpečnost generativní AI proto není primárně technický, ale návrhový a organizační problém.
Co s tím prakticky dělat
Základ je princip nejmenších pravomocí. Asistent by měl mít přístup jen k tomu, co nezbytně potřebuje, a akce s reálným dopadem, jako odeslání, smazání nebo platba, by neměly probíhat bez potvrzení člověka. Vstup z nedůvěryhodných zdrojů, tedy cokoli, co může ovlivnit někdo zvenčí, je třeba považovat za potenciálně nepřátelský, ne za neutrální data.
Druhý prvek je bezpečná alternativa. Pokud firma chce zabránit úniku dat do externích služeb, musí lidem nabídnout schválenou cestu, jak stejnou práci udělat uvnitř. Bez ní zákaz jen přesune problém mimo dohled. Třetí prvek je záznam: co model viděl, co navrhl a co bylo vykonáno. Bez auditní stopy nelze incident ani vyšetřit, ani se z něj poučit.
Co to znamená
Pro firmu je správná otázka ne zda je model bezpečný, ale k čemu má přístup, čemu věří jako vstupu a co smí udělat bez člověka. Tyto tři otázky určují skutečnou míru rizika víc než volba poskytovatele.
Proč na tom záleží: bezpečnostní incident s generativní AI se neprojeví pádem systému, ale tichým odtokem dat nebo akcí, kterou nikdo nezadal a nikdo nezachytil. Firma, která navrhne přístup, důvěru ke vstupu a dohled nad akcemi předem, riziko řídí. Firma, která spoléhá na to, že model se zachová rozumně, řídí jen naději.
Proč je to důležité
Adopce AI v českém prostředí už není otázkou prestiže, ale konkurenceschopnosti. Firmy, které začnou letos, získají zásadní časovou výhodu.
Pondělní redakční briefing
Pravidelný přehled o AI v českém byznysu přímo do vaší schránky. Bez spamu, jen data.