Umetna inteligenca brez varnosti ni konkurenčna prednost

Umetna inteligenca je v zelo kratkem času postala del vsakodnevnega poslovanja. Podjetja jo uporabljajo za pripravo besedil, analizo podatkov, razvoj programske opreme, podporo uporabnikom, avtomatizacijo procesov in pomoč pri odločanju. Večina razprav se zato osredotoča na vprašanje produktivnosti: kako z AI delati hitreje, ceneje in učinkoviteje.
Vendar je to le del zgodbe.

Mnogo pomembnejše vprašanje je: ali organizacija razume nova tveganja, ki jih z uporabo umetne inteligence vnaša v svoje poslovno okolje?

AI ni zgolj novo orodje. Postaja sestavni del poslovnih procesov, informacijskih sistemov in vsakodnevnih odločitev. Posledično predstavlja tudi novo vstopno točko za napake, zlorabe in kibernetske napade. Organizacije, ki umetno inteligenco uvajajo brez ustreznega upravljanja tveganj, lahko poleg koristi ustvarijo tudi povsem nove ranljivosti.

Ko AI odpira vrata priložnostim in tveganjem

Tipičen primer iz prakse je organizacija, ki zaposlenim omogoči uporabo generativne umetne inteligence za pripravo poročil, povzemanje sestankov, pripravo odgovorov strankam in analizo dokumentacije. Učinki so vidni hitro. Produktivnost se poveča, komunikacija je učinkovitejša, zaposleni pa imajo več časa za zahtevnejše naloge.
Toda kmalu se pojavijo tudi vprašanja:

Kateri podatki se vnašajo v AI sisteme?
Ali vsebujejo zaupne poslovne informacije?
Ali zaposleni vedo, katerih podatkov ne smejo deliti?
Kdo preverja pravilnost rezultatov?
Ali organizacija sploh ve, katera AI orodja njeni zaposleni že uporabljajo?

Težava ni nujno zlonamerna uporaba. Pogosto nastane zaradi odsotnosti pravil, nadzora in odgovornosti. Največje tveganje pri umetni inteligenci zato pogosto ni sama tehnologija. Tveganje je v tem, da jo organizacija uporablja, ne da bi njeno uporabo dejansko upravljala.
Ali je uporaba skladna z internimi politikami, pogodbenimi obveznostmi in zakonodajo. In ali organizacija sploh ve, kje vse se AI že uporablja.

Varnostni izziv se pogosto ne začne pri naprednem napadu. Začne se pri vsakodnevni uporabi brez jasnih pravil. Zaposleni želi biti učinkovit. AI mu pomaga. Toda brez ustreznega okvirja lahko ista učinkovitost povzroči razkritje občutljivih informacij, napačno odločitev, odvisnost od nepreverjenih rezultatov ali celo novo vstopno točko za napadalca.

Največje tveganje pri AI pogosto ni v tem, da ga organizacija uporablja, temveč v tem, da ga uporablja, ne da bi to zares upravljala.

Nevarnosti niso več zgolj teoretične

Leta 2023 so zaposleni v podjetju Samsung v javno dostopno AI-orodje pomotoma vnašali izvorno programsko kodo in druge zaupne informacije. Podjetje je moralo zaradi nevarnosti razkritja podatkov omejiti uporabo tovrstnih rešitev.

Še bolj zaskrbljujoči so primeri AI-podprtih prevar. V enem od najbolj odmevnih primerov je finančni uslužbenec med videokonferenco verjel, da komunicira z vodstvom podjetja. Kasneje se je izkazalo, da so bili sogovorniki ustvarjeni s pomočjo naprednih deepfake tehnologij.

Hkrati napadalci vse pogosteje uporabljajo generativno umetno inteligenco za pripravo phishing sporočil. Če smo v preteklosti lažna sporočila pogosto prepoznali po slabem jeziku in očitnih napakah, so danes takšna sporočila slovnično brezhibna, personalizirana in bistveno težje prepoznavna.

Po podatkih SI-CERT je skupni znesek prijavljenih kaznivih dejanj spletnih goljufij v Sloveniji v letu 2025 znašal 40,4 milijona evrov. Ta znesek ne predstavlja zgolj ransomware napadov, temveč širši obseg spletnih prevar in kibernetske kriminalitete, vseeno pa jasno kaže, da kibernetska tveganja niso več oddaljen ali teoretičen problem.

AI spreminja tudi napadalno površino organizacije

Tradicionalno so napadalci iskali slabo zaščitene strežnike, ranljive aplikacije ali napačno konfigurirane uporabniške račune. Danes jih zanima tudi:

katera AI orodja uporablja organizacija,
kateri podatki se vanje vnašajo,
kako so povezana z notranjimi sistemi,
kdo ima dostop do rezultatov,
ali je mogoče vplivati na odzive modela.

Napadalna površina se zato širi iz tehnološkega področja na področje podatkov, procesov, zaposlenih in poslovnih odločitev.AI lahko nehote razkrije občutljive informacije, povzroči napačne zaključke, ustvari lažen občutek zaupanja ali postane del dobavne verige, ki je organizacija ne nadzoruje v celoti.

Zato uvedba AI ne sme biti zgolj inovacijski projekt. Biti mora tudi projekt kibernetske odpornosti.

Štirje ključni premiki pri varni uvedbi AI

1. Od vprašanja »Kaj AI zna?« k vprašanju »Kaj AI lahko ogrozi?«

Večina organizacij se pri uvajanju AI osredotoča na koristi:

hitrejše delo,
nižje stroške,
večja produktivnost,
avtomatizacija procesov.

Varnostno zrela organizacija pa si zastavi dodatna vprašanja:

Katere podatke bo AI obdeloval?
Ali gre za osebne ali poslovno občutljive podatke?
Ali podatki zapuščajo organizacijo?
Kako pomembne poslovne odločitve temeljijo na rezultatih AI?
Kakšne so posledice napačnega odgovora?

Šele ko organizacija razume, kaj mora zaščititi, lahko začne AI uporabljati odgovorno.

2. Od spontanega eksperimentiranja k upravljani uporabi

V številnih organizacijah je uporaba AI nastala spontano. Posamezniki preizkušajo javno dostopna orodja, oddelki uvajajo lastne rešitve, vodstva pa pričakujejo hitre rezultate. Takšen pristop je koristen za učenje, vendar dolgoročno ni vzdržen. Organizacije potrebujejo:

seznam dovoljenih AI-orodij,
pravila ravnanja s podatki,
ocenjevanje tveganj,
nadzor dostopov,
sledljivost uporabe,
postopke preverjanja rezultatov.

Varnost se ne začne ob prehodu v produkcijo, temveč že pri prvem vprašanju: »Ali smemo to rešitev uporabljati na tak način?«

3. Od varovanja sistemov k varovanju celotnega življenjskega cikla AI

AI rešitev ni zgolj aplikacija. Njen življenjski cikel vključuje:

izbiro primera uporabe,
zbiranje podatkov,
izbor modela ali ponudnika,
integracijo,
uporabo,
spremljanje rezultatov,
nadgradnje in spremembe.

Vsaka faza prinaša svoja tveganja. Pri podatkih lahko pride do razkritja ali nepravilne uporabe. Pri modelih do napačnih rezultatov ali pristranskosti. Pri integracijah do ranljivih API-povezav in prevelikih privilegijev. Pri uporabi pa do pretiranega zaupanja v avtomatizirane odgovore.

Zato je potreben večplastni pristop, ki vključuje tehnične kontrole, procese upravljanja, usposabljanje uporabnikov in redno preverjanje tveganj.

4. Od zaupanja v ponudnika k dokazljivemu nadzoru

Mnoge organizacije domnevajo, da je AI rešitev varna že zato, ker jo ponuja ugleden ponudnik. To ni dovolj. Organizacija mora razumeti:

kje se podatki obdelujejo,
kdo ima dostop do njih,
ali se uporabljajo za nadaljnje učenje modelov,
kako se obravnavajo incidenti,
katere varnostne kontrole izvaja ponudnik in katere organizacija sama.

Zaupanje brez preverjanja ni strategija upravljanja tveganj. Je poslovno tveganje.

Regulativa postaja pomemben del zgodbe

Vprašanje varne uporabe umetne inteligence ni več zgolj priporočilo dobre prakse. Evropska unija je z Uredbo o umetni inteligenci (AI Act) uvedla okvir, ki temelji na tveganjih. Organizacije bodo morale posebno pozornost nameniti sistemom, ki vplivajo na pravice posameznikov, zaposlovanje, finančne storitve, kritično infrastrukturo in druge pomembne procese.

Pomemben vpliv bo imela tudi direktiva NIS2, ki od številnih organizacij zahteva višjo raven upravljanja kibernetskih tveganj, odgovornosti vodstva, obravnave incidentov in zagotavljanja odpornosti ključnih storitev.

Poleg tega je začela veljati tudi Uredba o kibernetski odpornosti (Cyber Resilience Act – CRA), ki uvaja obvezne varnostne zahteve za proizvode z digitalnimi elementi, vključno s programsko opremo, IoT napravami in povezanimi sistemi. Proizvajalci in ponudniki bodo morali dokazovati, da so njihovi izdelki zasnovani po načelih secure-by-design in secure-by-default, da ustrezno upravljajo ranljivosti ter zagotavljajo varnostne posodobitve skozi celoten življenjski cikel produkta.

Za organizacije to pomeni, da umetna inteligenca ni več zgolj vprašanje inovacij in produktivnosti, temveč vse bolj tudi vprašanje skladnosti, upravljanja tveganj in poslovne odgovornosti.

Kritična infrastruktura in industrijska okolja

Posebej občutljiva so okolja, kjer informacijski sistemi neposredno vplivajo na fizične procese. Energetika, zdravstvo, promet, proizvodnja, logistika in komunalne storitve so vse bolj povezani sistemi, kjer lahko napačna odločitev ali uspešen kibernetski napad povzročita bistveno več kot zgolj izgubo podatkov. Posledice lahko vključujejo:

prekinitev proizvodnje,
motnje v dobavni verigi,
nedelovanje ključnih storitev,
vpliv na varnost ljudi,
izgubo zaupanja javnosti.

V takšnih okoljih mora biti uvedba AI še posebej premišljena in podprta z ustrezno oceno tveganj.

Kje naj organizacija začne?

Prvi koraki niso zapleteni, morajo pa biti sistematični.
1. Pregled trenutne uporabe AI: Katera orodja se uporabljajo, kdo jih uporablja in za katere namene?
2. Razvrstitev primerov uporabe glede na tveganje: Niso vsi primeri uporabe enako kritični.
3. Varnostna in skladnostna ocena: Ali obstoječi procesi in kontrole omogočajo varno uporabo AI?
4. Testiranje: Pregled aplikacij, integracij, API-vmesnikov, identitet in scenarijev zlorabe.
5. Načrt izboljšav: Določitev prioritet, odgovornosti in časovnih rokov za zmanjšanje ugotovljenih tveganj.

Varnost je poslovna odgovornost

Največja težava pri uvajanju novih tehnologij pogosto ni tehnologija sama, temveč odnos do tveganj. Podjetja želijo biti hitra, inovativna in konkurenčna. Varnost pa je pogosto obravnavana šele takrat, ko pride do incidenta. Tak pristop postaja vse bolj tvegan.

Kibernetska varnost danes ni več izključno naloga IT-oddelka. Gre za vprašanje poslovne kontinuitete, zaupanja strank, skladnosti z zakonodajo, zaščite podatkov in odgovornosti vodstva. Umetna inteligenca bo to odgovornost samo še povečala.

Zaključek: AI brez varnosti ni konkurenčna prednost, ampak odprto tveganje

Umetna inteligenca bo v prihodnjih letih pomembno preoblikovala poslovne procese, odločanje in organizacijo dela. Njen potencial je velik, vendar enako velja za tveganja, če jo uvajamo brez ustreznega nadzora. Vprašanje prihodnosti zato ni več, ali bomo uporabljali AI. Vprašanje je, ali jo bomo uporabljali varno, odgovorno in dokazljivo.

Organizacije, ki bodo umetno inteligenco uvajale premišljeno, bodo pridobile pomembno konkurenčno prednost. Tiste, ki jo bodo uvajale brez jasnih pravil in nadzora, pa bodo povečale svojo napadalno površino ter izpostavljenost varnostnim incidentom.

AI lahko organizaciji pomaga delati hitreje. Varnost pa zagotovi, da bo lahko delala tudi zaupanja vredno.

Avtorji članka: Danijela Šantak, Žan Urbančič, dr. Marjan Brelih

Kako lahko pomaga CYBER-SEC

Varna uvedba umetne inteligence zahteva več kot zgolj izbiro ustreznega orodja. Organizacije morajo razumeti, kako AI vpliva na njihove procese, podatke, kibernetska tveganja in regulativne obveznosti.

CYBER-SEC d.o.o. pomaga organizacijam pri ocenjevanju in izboljševanju kibernetske odpornosti z izvedbo varnostnih pregledov, penetracijskih testov, GAP analiz skladnosti (NIS2, ZInfV-1), pregledov okolij Active Directory, simulacij phishing napadov ter ocen tveganj pri uporabi umetne inteligence.

Cilj ni le odkriti ranljivosti, temveč organizacijam pomagati vzpostaviti varno, nadzorovano in poslovno smiselno uporabo novih tehnologij.