Garante kaznio Repliku s 5 milijuna eura

Česta tema u posljednje vrijeme je pitanje umjetne inteligencije i delikatne ravnoteže između promicanja inovativnih rješenja i usklađenosti s postojećim pravnim okvirom. Tako je talijansko nadzorno tijelo, Garante, kaznilo Repliku s 5 milijuna eura zbog kršenja odredbi GDPR-a vezanih za obradu osobnih podataka, tj. transparentnosti, nedostatka jasnog pristanka i nedostatka korištenje sigurnih tehnologija za chatbotove i umjetnu inteligenciju u Europi.

Garante je jedan od najaktivnijih regulatora Europske unije u procjeni usklađenosti AI platforme s regulativom o privatnosti podataka. Prošle godine kaznilo je OpenAI, vlasnika ChatGPT-a, s 15 milijuna eura nakon što je 2023. zabranilo korištenje popularnog chatbota u Italiji zbog navodnog kršenja pravila EU o privatnosti.

Replika je chatbot pokretan umjetnom inteligencijom, koji je razvio američka tvrtka Luka Inc., a koji generira „virtualnog prijatelja“ koristeći tekstualna i video sučelja. Replika je predstavljena kao chatbot „za svakoga tko želi prijatelja bez osuđivanja, drame ili socijalne anksioznosti, te može biti prijatelj ili romantični partner ili čak mentor, kako raste (i razvija vlastitu osobnost i sjećanja) sa svojim korisnicima.

Tehnički, Replika se temelji na takozvanom velikom jezičnom modelu (LLM), čije se performanse poboljšavaju kontinuiranom interakcijom s korisnicima. Ovaj daljnji razvoj provodi se korištenjem stvarnih korisničkih podataka, uključujući osobne podatke kao što su sadržaj komunikacije, glasovni izrazi i, gdje je primjenjivo, informacije o mentalnom ili emocionalnom stanju. Ovo je posebno osjetljivo s gledišta zaštite podataka, budući da su takvi podaci često posebno osjetljivi i omogućuju izvođenje zaključaka o osobnosti, raspoloženjima i navikama dotičnih osoba.

Pozadina slučaja

U veljači 2023. godine, Garante je  utvrdio je da američka tvrtka Luka Inc. nije jasno identificirala pravne osnove za obradu podataka provedenu putem "Replike". Osim toga, utvrđeno je da je politika privatnosti u nekoliko aspekata neadekvatna.

Štoviše, nije postojao mehanizam za provjeru dobi korisnika tijekom registracije ili korištenja usluge, unatoč tvrdnji tvrtke da su maloljetnici bili isključeni kao potencijalni korisnici. Tehničke istrage dodatno su potvrdile da je sustav provjere dobi koji je bio implementiran manjkav u mnogim aspektima.

Talijansko nadzorno tijelo također je provelo istragu korištenja osobnih podataka u obuci i implementaciji generativnih AI modela koji stoje iza usluge "Replika". Istraga je bila usmjerena na provjeru usklađenosti s GDPR-om, procjenu rizika i mjere zaštite podataka tijekom razvoja i obuke. Također zatraženi su detalji o korištenim vrstama podataka i implementiranim mjerama anonimizacije ili pseudonimizacije. Naloženo je privremeno ograničenje obrade podataka za „Repliku“, tj. zabrana daljnje obrade ​osobnih podataka talijanskih korisnika.

Razlozi zabrane obrade

Svojim nalogom od 2. veljače 2023., Garante je smatrao da Replika nije u skladu s talijanskom regulativom za privatnost, naređujući tvrtki Luka Inc. da odmah prekine obradu podataka koji se odnose na talijanske ispitanike i da u roku od 20 dana obavijesti talijanski DPA o svim poduzetim mjerama za provedbu naloga.

Konkretno, nalog za obustavu obrade osobnih podataka talijanskog DPA-a temeljio se na četiri glavna razloga:

• Nije postojao mehanizam za provjeru dobi. Doista, chatbot je od korisnika jednostavno zahtijevao da navedu svoje ime, spol i račun e-pošte. Međutim, nisu bili uspostavljeni ni mehanizmi zabrane za djecu ni sustavi blokiranja/zabrane ako korisnik izričito izjavi da je maloljetan.
• Sadržaj odgovora chatboxa često je bio u suprotnosti sa zaštitom djece i ranjivih pojedinaca. Nekoliko recenzija na dvije glavne trgovine aplikacijama uključuju komentare korisnika koji označavaju seksualno neprikladan sadržaj. Štoviše, zbog načina na koji je predstavljen (tj. chatbot koji može poboljšati raspoloženje i emocionalnu dobrobit korisnika), Replika će vjerojatno utjecati na raspoloženje pojedinca i stoga povećati rizike za dotične ranjive pojedince.
• Nedostatak transparentnosti. Prema GDPR-u, transparentnost je jedno od ključnih načela obrade podataka. Ipak, čini se da chatbot to nije uzeo u obzir na odgovarajući način, ne otkrivajući nikakve informacije o ključnim elementima predmetne obrade, posebno o korištenju osobnih podataka djece.
• Nedostatak pravne osnove za aktivnost obrade. U skladu s člankom 6. GDPR-a, uvijek se mora utvrditi pravna osnova za obradu osobnih podataka. Replika je nezakonito obrađivala osobne podatke jer se ispunjenje ugovora nije bila pravna osnova, s obzirom na to da prema talijanskim zakonima djeca nisu sposobna sklopiti valjani ugovor.

Sažetak odluke Garantea od 10. travnja ove godine sadrži tri ozbiljna kršenja zaštite podataka:

• Nedostatak pravne osnove za obradu podataka (čl. 5. stavak 1. točka a, čl. 6. GDPR-a). Politika privatnosti koja je bila na snazi ​​u vrijeme istrage (verzija od 5. srpnja 2022.) nije pokazivala diferencirano dodjeljivanje pravnih osnova određenim aktivnostima obrade. Konkretno, obrada za daljnji razvoj LLM-a (razvoj modela) provedena je bez odgovarajuće pravne osnove. To krši načelo zakonite, poštene i transparentne obrade.
• Kršenje obveze informiranja (čl. 12., 13. GDPR-a). Politika privatnosti bila je dostupna samo na engleskom jeziku, što krši čl. 12. stavak 1. rečenicu 2. GDPR-a. Standard zahtijeva da se informacije pruže na jasnom i lako razumljivom jeziku - uključujući i korisnike koji govore talijanski i maloljetnike. Zapravo, politika privatnosti nije sadržavala ni informacije o razdoblju pohrane ni jasne informacije o korištenju osobnih podataka, prijenosima izvan EU-a ili obradi automatiziranim donošenjem odluka. To je rezultiralo znatnim nedostatkom transparentnosti u pogledu vrste i opsega obrade podataka.
• Nedostatak zaštite maloljetnika (čl. 5. st. 1. tč. c, čl. 24., 25. GDPR-a). Replika nije sadržavala nikakve učinkovite mehanizme za provjeru dobi. Maloljetnici su mogli nesmetano koristiti uslugu, čak i ako su se otvoreno predstavili kao mlađi od 18 godina. Nadzorno tijelo za zaštitu podataka posebno je kritiziralo nedostatak provedbe tehničkih zaštitnih mjera kao što su robusna "dobna granica", učinkovit postupak "provjere" ili metode detekcije temeljene na glasu.

Sankcije protiv Replike

Osnova za ovu sankciju u iznosu od 5 milijuna eura bio je članak 83. st. 5. GDPR-a, koji predviđa najviše novčane kazne za posebno teška kršenja ključnih načela zaštite podataka. Prilikom izračuna konkretnog iznosa, tijelo je također uzelo u obzir kriterije utvrđene u čl. 83. stavku 2. GDPR-a. To uključuje vrstu, težinu i trajanje kršenja, broj pogođenih ispitanika, opseg prouzročene štete i ponašanje voditelja obrade tijekom postupka.

U ovom slučaju utvrđeno je nekoliko otegotnih okolnosti:

• postojalo je strukturno, sustavno zanemarivanje osnovnih zahtjeva zaštite podataka - posebno u pogledu transparentnosti, ograničenja svrhe, pravnih osnova i tehničkih zaštitnih mjera.
• pogođen je veliki broj korisnika, uključujući ranjive skupine poput maloljetnika.
• međunarodni doseg Replike predstavljao je značajan rizik za građane EU-a, jer nisu uvedene odgovarajuće zaštitne mjere za zaštitu prekogranične obrade podataka.

Osim novčane kazne, talijansko tijelo obvezalo je Luku Inc. na provođenje specifičnih poboljšanja. To je uključivalo pružanje potpune, lako razumljive politike privatnosti na talijanskom jeziku. Osim toga, informacije o prijenosu podataka u treće zemlje te o razdobljima pohrane i svrhama obrade moraju biti mnogo transparentnije i usklađene s GDPR-om.

Poseban naglasak je također na provedbi učinkovitog sustava provjere dobi koji će učinkovito kontrolirati pristup maloljetnika i osigurati zaštitne mjere primjerene dobi.

Praktični značaj: presedan za usluge umjetne inteligencije u EU

Odluka talijanskog tijela za zaštitu podataka protiv Luke Inc. ima temeljni značaj za rukovanje generativnim AI sustavima unutar Europske unije. Jasno je da se GDPR također primjenjuje bez ograničenja na vrlo dinamične, tehnološki vođene poslovne modele - čak i ako pružatelj usluga ima sjedište izvan EU-a.

AI aplikacije moraju biti od samog početka dizajnirane tako da se zaštita podataka i sigurnost podataka strukturno uzmu u obzir - ne kao naknadna misao, već kao dio dizajna. To se posebno odnosi na poslovne modele koji su posebno usmjereni na emocionalne ili psihološke aspekte ponašanja korisnika. Razmatranje mehanizama zaštite maloljetnika, transparentne informacije o automatiziranim procesima donošenja odluka i jasno razgraničenje svrha obrade podataka apsolutno su neophodni.

Slučaj Replika također pokazuje da su nadzorna tijela spremna podvrgnuti čak i tehnički složene sustave temeljitoj pravnoj analizi i nametnuti stroge sankcije ako se utvrde kršenja. To bi također trebalo potaknuti druge pružatelje chatbotova, virtualnih asistenata ili usluga digitalne terapije da kritički preispitaju svoje procese i izjave o zaštiti podataka.

Ova odluka je korisna jer pruža neke smjernice tvrtkama koje žele razviti ili koristiti rješenja temeljena na umjetnoj inteligenciji u svom poslovanju.

Takve tvrtke su (najmanje) dužne:

• usvojiti odgovarajuće mehanizme provjere dobi;
• osigurati da modeli umjetne inteligencije „na odgovarajući način“ komuniciraju s korisnicima (uključujući djecu i ranjive osobe);
• otkriti sve potrebne informacije o obradi u skladu s člankom 13. GDPR-a; i
• identificirati prikladnu pravnu osnovu za obradu u skladu s člankom 6. GDPR-a;
• jasno utvrditi rokove čuvanja;
• mapirati prijenose podataka i o navedenima kao i o rizicima informirati ispitanike;
• paziti na dizajn i funkcionalnosti sustava koji mora biti usklađen sa svim zahtjevima GDPR-a i regulative vezane uz AI.

Na kraju, ali ne i najmanje važno, odluka je ujedno i apel na međunarodnu regulaciju: Iako GDPR već uspostavlja visok standard zaštite, slučaj naglašava potrebu za globalnim minimalnim standardima transparentnosti, odgovornosti i vlasničkih prava u području umjetne inteligencije. Slučaj Luka Inc. stoga bi mogao igrati pionirsku ulogu za daljnje postupke na nacionalnoj i europskoj razini i poslužiti kao nacrt za ekosustav umjetne inteligencije u Europi koji je u skladu sa zaštitom podataka.

Ostaje vam provjeriti kako su usklađeno vaši sustavi i to ne samo s GDPR-om već i s drugim bliskim regulativama kao što je ona za umjetnu inteligenciju, sigurnost, korištenje otvorenih baza podataka i sl.