Razvoj umjetne inteligencije donosi velike prilike, ali i nove sigurnosne izazove za organizacije. Kao i kod uvođenja internetskog bankarstva prije 30 godina, potrebno je vrijeme, razumijevanje i strpljenje kako bi se nove tehnologije sigurno implementirale.
O revoluciji sigurnosnih aspekata AI agenata, na ovogodišnjem Money Motionu, Viktor Olujić, član uprave ASEE Solutions i Monri Payments Hrvatska, razgovarao je s Tomislavom Vazdarom, CEO Riskoria Advising & Professional Services, Milanom Paratom, Predsjednikom Odbora za sigurnost Hrvatske udruge banaka, Davorom Aničićem, CEO i suosnivač Velebit AI te Kristianom Kamber, Podpredsjednikom AI Security iz Zscaler.
Najnovija globalna istraživanja provedena među risk managerima u više od 100 zemalja jasno pokazuju: kibernetička sigurnost je najveći poslovni rizik, dok je agentic AI odmah na drugom mjestu. Danas kibernetička sigurnost i AI idu ruku pod ruku. Za mnoge stručnjake, prekretnica se dogodila krajem prošle godine. Prvi potpuno automatizirani napadi, orkestrirani uz pomoć agentic AI-ja, pokazali su kako mali broj ljudi može upravljati cijelim lancem prijevara. Ako pogledamo razvoj unazad do 2020. – dominiraju klasični napadi (DDoS, man-in-the-middle), nakon pojave ChatGPT-a – dolazi do eksplozije sofisticiranih phishing kampanja i deepfake sadržaja, a danas ulazimo u eru agent-based napada, gdje AI samostalno planira i izvršava napade.
Iskustvo pokazuje da svaka tehnološka revolucija zahtijeva prilagodbu. Uvođenje višefaktorske autentifikacije u bankarstvu trajalo je godinama, a danas je standard. Sličan proces očekuje se i kod umjetne inteligencije. Jedan od ključnih problema je što mnoge kompanije još nemaju dovoljno znanja, ne znaju koje AI alate koriste, nemaju kontrolu nad cijelim AI ekosustavom, a rizici se skaliraju brže nego što ih mogu razumjeti. AI ne samo da povećava broj napada — već i njihovu brzinu i sofisticiranost.
Kao što su banke uvele KYC (Know Your Customer), pojavljuje se potreba za konceptom “Know Your Agent”. Ključno je razumjeti namjeru (intent) AI sustava, ponašanje (behavior) agenata te način komunikacije i pristupa podacima. Bez toga, rizici postaju teško upravljivi. Prema istraživanjima, identificirano je stotine potencijalnih AI rizika. Organizacije se suočavaju s izazovima poput nevidljivog širenja AI alata unutar sustava, nedostatka kontrole nad endpointima, prompt injection napada i manipulacije modelima, biasa i netočnih odgovora (hallucinations) te da AI štiti AI.
Iako se AI koristi za obranu od AI prijetnji, ljudski nadzor i dalje je neophodan. “Human-in-the-loop” pristup ključan je za smanjenje lažno pozitivnih rezultata, donošenje konačnih sigurnosnih odluka te kontinuirano poboljšanje sustava.
Bez obzira na industriju, organizacije se moraju brzo prilagoditi – jasno definirati kako i gdje koriste AI, mapirati sve AI agente i alate u sustavu, provesti detaljnu analizu rizika, uvesti sigurnosne modele temeljene na ponašanjui namjeri te kontinuirano testirani i nadzirati AI sustave.
Agentic AI predstavlja novu razinu digitalnog rizika — ali i priliku. Organizacije koje na vrijeme razviju razumijevanje, uvedu kontrolne mehanizme i zadrže čovjeka u središtu odlučivanja, bit će one koje će uspješno navigirati ovom novom erom.
