Pravni okvir za korištenje AI agenta

AI agenti smatraju se sljedećom fazom u razvoju umjetne inteligencije i otvaraju nove mogućnosti tvrtkama za automatizaciju složenih zadataka. Dok se rasprava do sada prvenstveno usredotočila na generativne jezične modele, fokus se sada prebacuje na sustave koji mogu planirati, odlučivati ​​i djelovati samostalno.

Stupanjem na snagu Akta o umjetnoj inteligenciji i još uvijek važećim zahtjevima za zaštitu podataka, pojavljuje se složeni pravni okvir koji oblikuje korištenje takvih agenata. Tvrtke moraju u ranoj fazi riješiti regulatorne zahtjeve kako bi iskoristile prilike koje nudi tehnologija, a istovremeno izbjegle rizike neusklađenosti. Sljedeći odjeljak detaljnije razmatra kako AI agenti rade, njihovu pravnu klasifikaciju i ključna područja djelovanja za tvrtke.

Funkcije AI agenata

AI agenti su specijalizirani sustavi koji mogu samostalno planirati, izvršavati i kontinuirano prilagođavati zadatke na temelju velikih jezičnih modela (LLM) ili sličnih tehnologija. Za razliku od tradicionalnih AI aplikacija ili automatizacije temeljene na pravilima (npr. robotska automatizacija procesa), oni imaju svojevrsni "kognitivni centar" koji prevodi korisnikove ciljeve u akcijske korake, procjenjuje međurezultate i u skladu s tim izvodi daljnje radnje. Njihovu funkcionalnost karakteriziraju tri središnja mehanizma: (1) Petlje planiranja i izvršenja, koje složene zadatke raščlanjuju na podzadatke u iterativnim ciklusima, (2) Generiranje proširenog dohvaćanja (Retrieval-Augmented Generation, RAG), u kojem se vanjske baze znanja integriraju na način ovisan o kontekstu, i (3) Mogućnost izravnog upravljanja vanjskim programima, sučeljima ili bazama podataka.

Ove karakteristike otvaraju širok raspon mogućih primjena u poslovnoj praksi. U administrativnom području, na primjer, AI agenti mogu automatski bilježiti i obrađivati ​​račune, analizirati ugovore u pravnom odjelu ili podržavati uvođenje novih zaposlenika u HR procese. Također dobivaju na važnosti u operativnom poslovanju. Na primjer, upiti kupaca mogu se obrađivati ​​putem chatbotova ili personaliziranih preporuka proizvoda putem agenata za e-trgovinu, dok u zapošljavanju inteligentni sustavi unaprijed odabiru dokumente za prijavu i identificiraju prikladne kandidate. U svim tim slučajevima, agenti se odlikuju činjenicom da ne samo da pružaju informacije, već mogu i samostalno donositi odluke i kontrolirati procese.

Rizici se stoga mogu značajno razlikovati od drugih AI sustava, jer dok su LLM-ovi do sada prvenstveno generirali tekst, AI agenti mogu aktivno intervenirati u poslovne procese i pokretati radnje sa stvarnim ekonomskim posljedicama. Stupanj autonomije uvelike određuje koliko ljudske kontrole ostaje i koliko je visok rizik od pogrešnih ili nepredviđenih radnji. Tvrtke se stoga suočavaju sa zadatkom uravnoteženja potencijala AI agenata za povećanje učinkovitosti s pažljivim upravljanjem mogućim pogrešnim odlukama koje on donosi (ili će donositi ili može donositi).

Klasifikacija u AI Aktu

AI Akt u osnovi razlikuje dvije razine: s jedne strane, temeljne "AI modele" i, s druge strane, "AI sustave" temeljene na njima. AI model čini tehničku osnovu, na primjer, veliki jezični model, dok AI sustav predstavlja specifičnu aplikaciju koju tvrtke koriste. Za obje razine primjenjuju se zasebna pravila, od kojih se neka mogu preklapati.

Na razini modela nije važna specifična svrha upotrebe, već same mogućnosti modela. Modeli koji su prikladni za širok raspon zadataka klasificiraju se kao "modeli opće namjene". To se obično odnosi na velike jezične modele, koji čine osnovu mnogih AI agenata. Pružatelji takvih modela moraju se pridržavati opsežnih zahtjeva za transparentnost i dokumentaciju prema članku 53. i dalje. Uredbe o umjetnoj inteligenciji. Ako je model dodatno klasificiran kao posebno moćan i dalekosežan, može se klasificirati kao model "sa sistemskim rizikom", što podrazumijeva dodatne zahtjeve poput evaluacije modela.

Međutim, na razini sustava, namjeravana upotreba je odlučujuća. Ako se agent umjetne inteligencije koristi u vrlo različitim kontekstima ili ima dalekosežne mogućnosti kontrole, na primjer zato što može samostalno komunicirati s preglednicima ili operativnim sustavima, može se smatrati "sustavom umjetne inteligencije opće namjene". S druge strane, ako se koristi u posebno osjetljivom području kao što je upravljanje ljudskim resursima, obrazovanje ili kritična infrastruktura, spada u kategoriju sustava visokog rizika. U tom slučaju primjenjuju se strogi zahtjevi, posebno u pogledu ljudske kontrole i upravljanja podacima. Što je veći stupanj autonomije agenta, to su veći zahtjevi za praćenje, što otežava postizanje ravnoteže između povećanja učinkovitosti i nadzornih obveza.

Općenito je jasno da se agenti umjetne inteligencije nalaze na granici između dvije regulatorne razine Akta o umjetnoj inteligenciji. Korisnici umjetne inteligencije za opće svrhe u početku podliježu samo obvezama transparentnosti (vidi članak 50. Akta o umjetnoj inteligenciji).

Istovremeno, AI agenti mogu izazvati visoke zahtjeve za usklađenost u osjetljivim područjima primjene. Interakcija oba režima povećava složenost usklađenosti i istovremeno otkriva regulatorne praznine. Problem je u tome što pristup temeljen na riziku ne pokriva adekvatno specifične rizike agenata. Na primjer, naizgled nekritičan slučaj upotrebe, poput agenta za rezervacije putovanja, može predstavljati značajne rizike ako je sustav sposoban samostalno kontrolirati računalo ili preglednik. AI regulativa još uvijek ne rješava adekvatno takve rizike, jer se prvenstveno usredotočuje na namjeravanu upotrebu, a manje na tehničke mogućnosti agenta.

GDPR

Budući da se sustavi obično temelje na velikim jezičnim modelima i često se koriste u oblaku, postoji rizik da će se osobni podaci ili povjerljivi podaci tvrtke prenijeti trećim stranama na nekontroliran način ili čak ponovno upotrijebiti u svrhe obuke. Za tvrtke to znači da se moraju strogo pridržavati osnovnih načela GDPR-a, kao što su zakonitost, ograničenje svrhe i minimiziranje podataka. Posebno je problematična činjenica da AI agenti često ne samo da obrađuju informacije, već i aktivno interveniraju u poslovnim procesima, čime generiraju nove tokove podataka koji se moraju dokumentirati i osigurati.

Ključni alat ovdje je procjena utjecaja na zaštitu podataka u skladu s člankom 35. GDPR-a, koja je također izričito potrebna za visokorizične AI sustave u skladu s člankom 26. Uredbe o AI. Uvijek je potrebna kada je vjerojatno da će korištenje AI agenata predstavljati visok rizik za prava i slobode ispitanika, što će često biti slučaj u tipičnim područjima primjene kao što su zapošljavanje, praćenje usklađenosti ili, pod određenim okolnostima, analiza ugovora. Tvrtke moraju ne samo provjeriti koji se podaci obrađuju, već i gdje se ti podaci pohranjuju, šifriraju i dijele. Procjene utjecaja prijenosa i zaštita putem standardnih ugovornih klauzula neophodne su, posebno u scenarijima u oblaku, kako bi se ispunili zahtjevi za međunarodni prijenos podataka (čl. 44. i dalje GDPR-a).

Osim toga, postoje tehničke i organizacijske mjere u smislu članka 32. GDPR-a, koje se moraju prilagoditi specifičnim karakteristikama AI agenata. Klasični mehanizmi zaštite poput šifriranja prijenosa nisu dovoljni ako agent koristi vanjske alate ili samostalno kontrolira sučelja. Umjesto toga, moraju se uspostaviti koncepti poput arhitektura nultog povjerenja, predobrade na rubu ili strogih kontrola pristupa kako bi se osigurala povjerljivost i integritet podataka. Osim toga, potrebno je pažljivo odabrati obrađivače i redovito provjeravati njihovu usklađenost putem certifikata ili revizija.

Obveze GDPR-a i AI regulative posebno pokazuju da tvrtkama treba integrirani pristup. Dok se AI regulativa prvenstveno fokusira na tehničku sigurnost i klasifikaciju rizika, GDPR postavlja okvir za obradu osobnih podataka sa svojim osnovnim načelima i pravima ispitanika. Učinkovit koncept zaštite podataka i IT sigurnosti mora kombinirati oba skupa propisa i biti osmišljen na način da se rješavaju i regulatorni i praktični rizici.

Akt o podacima

Osim Uredbe o umjetnoj inteligenciji i GDPR-a, Akt o podacima, čija su prijelazna razdoblja istekla 12. rujna 2025. (izvijestili smo), također može postati značajan za korištenje agenata umjetne inteligencije. Akt o podacima regulira pristup i dijeljenje podataka koje generiraju povezani proizvodi ili usluge. Ovo je ključna referentna točka za AI agente, koji stvaraju dodanu vrijednost upravo zbog svoje sposobnosti autonomnog pristupa različitim izvorima podataka. Na primjer, mogu koristiti strojne podatke iz proizvodnih pogona, podatke senzora iz vozila ili podatke o korištenju s IoT uređaja kako bi samostalno optimizirali procese ili pripremili odluke.

Međutim, treba napomenuti da se Akt o podacima odnosi na sirove podatke koji se generiraju izravno korištenjem povezanog proizvoda. Ti podaci moraju biti dostupni proizvođačima i trećim stranama. S druge strane, takozvani "izvedeni podaci", tj. informacije koje se generiraju samo putem naknadne obrade ili analize (vidi uvodnu izjavu 15), nisu obuhvaćeni. Podaci koje generira AI agent tijekom svojih aktivnosti, kao što su izvješća, prognoze ili preporuke, stoga općenito ne podliježu obvezama pristupa.

Za tvrtke to znači, s jedne strane, da mogu učinkovito iskoristiti novostvorena prava pristupa prema Aktu o podacima putem AI agenata. S druge strane, nastaju nove obveze, jer prijenos takvih podataka agentskim sustavima zahtijeva poštivanje ugovornih zahtjeva, tehničkih standarda i razlikovanje od osobnih podataka.

Zakonom o kibernetičkoj otpornosti

Osim Akta o podacima,  Akt o kibernetičkoj otpornosti (Cyber Resilience Act - CRA) također postaje sve važniji za korištenje AI agenata. CRA je na snazi ​​od prosinca 2024. i bit će u potpunosti proveden od kraja 2027. Po prvi put postavlja obvezujuće minimalne zahtjeve za kibernetičku sigurnost za sve proizvode s digitalnim elementima koji se nude na tržištu EU - uključujući AI agente, pod uvjetom da su povezani s mrežama ili drugim sustavima.

Proizvođači, uvoznici i distributeri moraju uzeti u obzir aspekte kibernetičke sigurnosti već u fazi razvoja proizvoda („security by design“) i u zadanim postavkama („"security by default"“). To uključuje provođenje sustavnih procjena rizika, integraciju upravljanja ranjivostima i pružanje sigurnosnih ažuriranja tijekom cijelog životnog ciklusa proizvoda. Ključni element je zahtjev za transparentnošću, na primjer izradom softverskog popisa materijala (SBOM) koji dokumentira sve korištene komponente.

Za AI agente to znači da ne samo da moraju biti dizajnirani i korišteni u skladu s propisima o zaštiti podataka, već i da moraju biti dokazivo kibernetički otporni. Usklađenost sa zahtjevima CRA bit će preduvjet za CE oznaku i time za pristup tržištu u EU u budućnosti. Kršenja mogu rezultirati značajnim kaznama, uključujući novčane kazne i povlačenje proizvoda.

Uredba eIDAS 2.0 (EUDI novčanik)

Izmjena Uredbe eIDAS i uvođenje Europskog digitalnog identitetskog novčanika (EUDI novčanik) stvorit će jedinstveni europski okvir za digitalne identitete i autentifikacije. Najkasnije do početka 2027. sve države članice EU moraju svojim građanima i tvrtkama osigurati barem jedan certificirani EUDI novčanik, koji će služiti kao digitalni alat za identifikaciju, dokaz i autentifikaciju.

To otvara nove mogućnosti za AI agente, posebno u područjima sigurne i automatizirane provjere identiteta, uvođenja u sustav i interakcije s kupcima i poslovnim partnerima. U budućnosti bi AI agenti mogli izravno pristupiti provjerenim podacima o identitetu i atributima koje kontrolira i odobrava korisnik. To povećava sigurnost i usklađenost u transakcijama, smanjuje napor potreban za ručne provjere i omogućuje nove, automatizirane poslovne modele - na primjer, u financijskom sektoru, zdravstvu ili digitalnom sklapanju ugovora.

Međutim, tvrtke koje iskorištavaju ove nove mogućnosti moraju osigurati da AI agenti obrađuju podatke o digitalnom novčaniku na način koji je u skladu s propisima o zaštiti podataka i pouzdan. Počevši od 2027. godine, zahtjev za novčanikom primjenjivat će se na sve regulirane industrije u kojima su obvezni snažna autentifikacija ili KYC procesi.

Preporuke 

Ovdje je preliminarni sažetak preporuka za djelovanje u vezi sa zakonski usklađenom upotrebom AI agenata.

1. Sustavno procijeniti područja primjene, autonomiju i rizike

• Analizirati poslovna područja u kojima će se koristiti AI agenti i stupanj autonomije koji ti sustavi imaju.
• Provedite sveobuhvatnu procjenu rizika, simulirajte scenarije i odredite (posebno za visokorizičnu umjetnu inteligenciju) hoće li se i kako održavati ljudska kontrola („ljudska uključenost/isključenost iz petlje“).
• Uzmite u obzir ne samo klasične rizike od pogrešaka, već i regulatorne, etičke i tehničke rizike (npr. dostupnost, kibernetička sigurnost, integritet podataka).

2. Osigurajte regulatornu klasifikaciju i usklađenost

• Provjerite smatra li se vaš AI agent visokorizičnim sustavom, sustavom opće namjene ili dijelom regulirane industrije (npr. financije, zdravstvo, kritična infrastruktura).
• Uzmite u obzir zahtjeve Akta o umjetnoj inteligenciji, Akta o podacima, Akta o kibernetičkoj otpornosti, Uredbe eIDAS 2.0.
• Dokumentirajte pravnu klasifikaciju, definirajte interne odgovornosti i pripremite se za regulatorne revizije i certifikacije (npr. CE oznaka, ISO 42001/27001).

3. Holistički pristupite zaštiti podataka i sigurnosti podataka

• Prilikom obrade osobnih podataka provedite procjenu utjecaja na zaštitu podataka u skladu s člankom 35. GDPR-a, posebno za visokorizičnu umjetnu inteligenciju.
• Odaberite sigurne operativne modele (oblak, lokalni, hibridni), implementirajte enkripciju, kontrole pristupa, bilježenje i arhitekture nultog povjerenja.
• Provjerite međunarodne prijenose podataka (procjena utjecaja prijenosa, standardne ugovorne klauzule) i osigurajte usklađenost izvršitelja.

4. Osigurajte kibernetičku sigurnost i otpornost u skladu s Aktom o kibernetičkoj otpornosti

• Prilikom razvoja vlastitih proizvoda integrirajte zahtjeve kibernetičke sigurnosti u proces razvoja proizvoda („sigurnost po dizajnu“ i „sigurnost po zadanim postavkama“).
• Provodite sustavne procjene rizika i upravljanje ranjivostima, pružajte redovita sigurnosna ažuriranja i dokumentirajte sve komponente (Software Bill of Materials – SBOM).
• Imajte na umu da je usklađenost sa zahtjevima CRA preduvjet za pristup tržištu i CE oznaku.

5. Planirajte digitalne identitete i integraciju novčanika u skladu s eIDAS 2.0

• Pripremite svoje AI agente za integraciju EUDI novčanika kako biste omogućili sigurnu i automatiziranu provjeru i autentifikaciju identiteta.
• Osigurajte da se podaci novčanika obrađuju na način koji je u skladu s privatnošću i pouzdan te da su ispunjeni zahtjevi za regulirane industrije (KYC, snažna autentifikacija).

6. Uspostavite upravljanje, praćenje i kontinuirano poboljšanje

• Uspostavite interdisciplinarni model upravljanja (IT, pravni, zaštita podataka, specijalizirani odjeli) koji kontinuirano prati i kontrolira korištenje AI agenata.
• Provodite redovite revizije, praćenje rezultata i obuku zaposlenika.
• Koristite uspostavljene sustave upravljanja (npr. ISO 27001 za sigurnost informacija, ISO 42001 za upravljanje umjetnom inteligencijom).

7. Osigurajte adekvatne ugovore i odgovornosti

• Zaključujte jasne ugovore s vanjskim pružateljima usluga u vezi s odgovornošću, sigurnošću, pravima revizije i pristupom evaluacijama agenata.
• Izbjegavajte rizike vezanosti i regulirajte korištenje i evaluaciju podataka agenata u ugovoru.

8. Osigurajte komunikaciju i transparentnost sa zainteresiranim stranama

• Transparentno informirajte korisnike, poslovne partnere i vlasti o korištenju, funkcionalnosti i zaštitnim mjerama vaših AI agenata.
• Osigurajte da su ispunjeni svi zahtjevi za informacijama (npr. u vezi s pristupačnošću, zaštitom podataka, sigurnošću).

Zaključak

AI agenti označavaju sljedeći veliki korak u razvoju umjetne inteligencije i obećavaju značajno povećanje učinkovitosti u brojnim područjima poslovanja. Također nude značajnu priliku tvrtkama koje ih koriste: u budućnosti će kupci birati one ugovorne partnere koji su što učinkovitije automatizirali vlastite poslovne procese s AI agentima, jer je to osnova za visoke performanse u ispunjavanju ugovora. Istovremeno, posluju u složenom regulatornom okruženju AI propisa i Akta o podacima, što postavlja visoke zahtjeve za transparentnost, sigurnost i odgovornost. Za tvrtke to znači da su prilike i rizici usko isprepleteni. U nadolazećim godinama očekuje se da će standardizacija, certificiranje i tehnologije za poboljšanje privatnosti pružiti veću pravnu sigurnost. Do tada, aktivno oblikovanje usklađenosti i IT sigurnosti ostaje ključ odgovorne i konkurentne upotrebe AI agenata.