Nad riziky používání autonomních AI agentů se zamýšlejí tři bezpečnostní experti z různých firem. Přibližují, jak nastavit pravidla a bezpečnostní hranice pro jejich nasazení ve firemním prostředí.
Michaela Stonová (OKsystem), David Doležal (Productboard) a Luboš Řádek (České Radiokomunikace) se shodují na tom, že v nesprávných rukou se agenti mohou proměnit v nebezpečnou zbraň.
Umělá inteligence se ve firmách posouvá od chatovacího pomocníka k samostatně jednajícím agentům – a s tím přichází nový typ bezpečnostního rizika. Zatímco v klasickém IT máme antiviry a firewally, pro agentní systémy zatím obdobné hotové nástroje neexistují. Ochrana proto nestojí na jednom technickém řešení, ale na prevenci, jasně definovaných procesech a postupném stavění bariér. Reálným problémem už dnes není sci-fi scénář, ale úplně prozaické věci: bezhlavé propojování pracovních a soukromých účtů nebo agent s přístupem do kalendáře, e-mailu i bankovnictví.
„V OKsystemu k agentům přistupujeme podobně jako k novým zaměstnancům, tedy vedeme jejich evidenci, dáváme jim oprávnění přiměřená jejich práci,” vysvětluje Michaela Stonová a zmiňuje, jak s multiagentními systémy pracujeme. "Nevratné nebo citlivé operace vždy schvaluje člověk, všechny kroky i mezikroky se průběžně logují a součástí bezpečnostního rámce je možnost agenta okamžitě zastavit. Do produkčního prostředí multiagentní systémy nepouštíme nikdy – vzhledem k tomu, že naše řešení putují i do kritické infrastruktury, si chybu dovolit nemůžeme. Samotný prompt na udržení agenta v mantinelech nestačí; bariéry musí být takové, které agent „fyzicky” nepřekoná."
Stejně zásadní je volba modelu. Nerozhoduje jen cena a schopnosti, ale i to, kdo model provozuje, kde se zpracovávají data a jaké bezpečnostní garance dává. U osobních údajů je klíčové zpracování v evropském prostoru, skutečně citlivá data zpracováváme v lokálně provozovaných modelech a ta perimetr společnosti nikdy neopustí.
„AI agenti nejsou jen další vlnou automatizace. Jsou to noví virtuální zaměstnanci s vlastní schopností jednat i dělat chyby. Organizace, které je nasazují bez odpovídajícího řízení, si vytvářejí bezpečnostní dluh, který se může projevit ve chvíli, kdy to nejméně čekají,” uzavírá Stonová.
Celý článek si můžete přečíst na webu E15.cz.