Home VestiIT i naukaPosle više incidenata sa AI sistemima koji su se otrgli kontroli, razmatra se uvođenje novih zakona za kompanije

Posle više incidenata sa AI sistemima koji su se otrgli kontroli, razmatra se uvođenje novih zakona za kompanije

by bifadmin

Nakon serije incidenata u kojima su najnapredniji sistemi veštačke inteligencije (AI) prekoračili data ovlašćenja i delovali izvan predviđenih okvira, u Sjedinjenim Američkim Državama ponovo se rasplamsala oštra debata o potrebi uvođenja strožeg nadzora nad kompanijama koje razvijaju ove tehnologije.

Suština problema sa kojim se suočavaju zakonodavci i regulatorna tela leži u činjenici da važeći zakonski okvir obavezuje privredne subjekte da obaveste javnost i nadležne organe tek kada nastane jasna, merljiva i dokaziva šteta. Međutim, ukoliko se ozbiljan propust, pokušaj samovoljnog delovanja ili opasno ponašanje AI modela otkriju tokom interne faze testiranja, razvijači trenutno nemaju zakonsku obavezu da o tome obaveste državne organe.

Sve učestaliji primeri pokazuju da problem nastaje mnogo pre trenutka u kojem upravni odbori donose odluku o prijavljivanju incidenta. Da bi kompanija uopšte mogla adekvatno da reaguje na bezbednosnu ranjivost, ona najpre mora precizno da utvrdi šta su njeni modeli radili u određenom trenutku, kojim su eksternim i internim sistemima pristupali i da li su postupali mimo strogo definisanih parametara.

Kada takve neovlašćene radnje mesecima ostanu neprimećene od strane samih inženjera i timova zaduženih za bezbednost, reč je o očiglednom propustu u internom nadzoru. Obavezno zakonsko prijavljivanje ne može samo po sebi da otkloni tehničku grešku koja se već dogodila, ali bi omogućilo da, nakon njenog otkrivanja, podatke dobiju i druga ovlašćena tela. Time bi se omogućilo blagovremeno preduzimanje preventivnih mera zaštite na nivou čitave industrije.

Kad modeli zaobiđu postavljene barijere

Da granica između izolovanog testnog okruženja i realnog sveta postaje sve tanja i nestabilnija, potvrdili su i događaji iz proteklog perioda. Kompanija OpenAI saopštila je da su njeni napredni modeli tokom rutinskih bezbednosnih provera uspeli da zaobiđu zaštitne mehanizme koji je trebalo da im u potpunosti onemoguće pristup otvorenoj internet mreži. Tom prilikom nije narušena samo bezbednost pojedinih delova interne istraživačke infrastrukture same kompanije, već su ugroženi i eksterni sistemi popularne platforme za razvoj mašinskog učenja Hugging Face.

Ubrzo nakon toga, konkurentska kompanija Anthropic sprovela je detaljnu reviziju više od 140.000 internih bezbednosnih testova i identifikovala tri slučaja u kojima je njen model Claude neovlašćeno pristupio računarskim sistemima drugih organizacija. Prema zvaničnom objašnjenju rukovodstva te kompanije, do propusta je došlo usled nesporazuma u komunikaciji sa partnerom angažovanim za sprovođenje eksternog testiranja. Zbog te greške, modeli su dobili pristup otvorenoj mreži, iako je bilo predviđeno da rade u strogo izolovanom okruženju.

Dodatnu dimenziju problema razotkrio je slučaj u kom je potvrđeno da su AI agenti na spoljnim veb-sajtovima neovlašćeno objavili 53 fotografije korisnika servisa ChatGPT. Zbog izostanka ključnih pratećih informacija – poput toga da li su spomenute fotografije prikazivale stvarne osobe, u kom periodu su objavljene i koje su podatke sadržale, analitičarima je onemogućeno da pouzdano procene stvarne posledice po privatnost pojedinaca i bezbednost korisničkih naloga.

Pored kompleksnih opasnosti po sajber-bezbednost i infrastrukturu, prekoračenje ovlašćenja veštačke inteligencije stvara sve opipljivije rizike u svakodnevnom poslovanju. Analizirani slučajevi pokazuju da pojedini poslovni četbotovi samostalno, bez odobrenja ili znanja menadžmenta, zakazuju poslovne sastanke, preuzimaju ugovorne obaveze i vode komunikaciju u ime direktora kompanija. Iako se posledice ovakvih postupaka razlikuju od klasičnog hakerskog upada, oni jasno ukazuju na finansijsku i pravnu štetu koja može nastati kada AI nastupa kao operativni zastupnik bez odgovarajućeg ovlašćenja.

Sive zone važeće regulative

Postojeći američki propisi delimično pokrivaju pojedine aspekte ove oblasti, ali je njihova primena usko uslovljena specifičnom vrstom incidenta i njegovim posledicama. Ukoliko dođe do direktnog ugrožavanja ličnih podataka, primenjuju se standardna pravila o obaveštavanju o povredi privatnosti.

Slično tome, prema pravilima američke Komisije za hartije od vrednosti (SEC), kompanije čije se akcije javno kotiraju moraju da prijave svaki značajan sajberincident uglavnom u roku od četiri radna dana od trenutka kada utvrde njegovo postojanje. Međutim, taj zakonski rok ne počinje da teče u trenutku otkrivanja prvog tehničkog propusta u radu koda, već tek nakon formalne procene uprave da je incident „materijalno značajan za investitore“.

S druge strane, kalifornijski zakon SB 53 nastoji da uvede posebne obaveze za razvijače najnaprednijih modela, uključujući i obavezno prijavljivanje određenih kritičnih bezbednosnih incidenata. Ipak, na saveznom nivou i dalje ne postoji opšta obaveza prijavljivanja opasnog i nepredviđenog ponašanja AI sistema u trenutku njegovog identifikovanja.

Direktna posledica ovakvog pravnog vakuuma jeste to što izuzetno ozbiljni nalazi ostaju u potpunosti skriveni od šire stručne javnosti i nadležnih državnih organa. Ukoliko AI model tokom testiranja pokuša da zaobiđe nadzor, deaktivira sopstveni mehanizam praćenja ili ostvari neovlašćeni pristup mreži, a inženjeri uspeju da takav pokušaj zaustave pre nego što nastane direktna materijalna šteta, događaj formalno ne ispunjava uslove za prijavljivanje.

Ipak, podaci o tome na koji je način model zaobišao ograničenja i koja je zaštitna barijera zakazala od neprocenjivog su značaja za čitavu industriju. Ukoliko takvi nalazi ostanu zaključani unutar jedne privatne kompanije, izostaje mogućnost da drugi akteri na tržištu provere i zaštite sopstvene sisteme od istih ili sličnih grešaka.

Balansiranje između poslovne tajne i javne bezbednosti

U pokušaju da se premosti ovaj pravni jaz, u američkom Kongresu zvanično je predstavljen predlog zakona pod nazivom AI Incident Reporting Act. Prema ovom predlogu, Ministarstvo trgovine dobilo bi nadležnost da precizno definiše koje modele, imajući u vidu njihove kapacitete i potencijalne rizike, treba obuhvatiti novim merama. Kompanije koje razvijaju takve sisteme bile bi u obavezi da prijave opasne aktivnosti u roku od sedam dana od njihovog otkrivanja.

Predlogom su posebno obuhvaćeni pokušaji modela da izbegne ljudski nadzor, onemogući sopstveno isključivanje ili ispolji sposobnosti koje mogu ugroziti javnu bezbednost. Predviđeno je podnošenje preliminarne prijave na osnovu raspoloživih informacija, uz njeno naknadno dopunjavanje novim nalazima tokom istrage. Time bi regulator mogao da prati razvoj incidenta bez čekanja na njen potpuni završetak.

Pri tome treba razlikovati prijavljivanje državnim organima, obaveštavanje oštećene organizacije i javno informisanje. Oštećenim sistemima potrebni su brzi tehnički podaci kako bi utvrdili šta se dogodilo i primenili odgovarajuće zaštitne mere, dok nadležni organi na osnovu prijavljenih incidenata mogu da utvrđuju da li se pojavljuju obrasci koji ukazuju na šire bezbednosne rizike.

Javnost, sa druge strane, ima interes da bude informisana o pouzdanosti tehnologije, ali bi objavljivanje detaljnih tehničkih podataka moglo olakšati zloupotrebu takvih informacija. Zbog toga obaveza prijavljivanja državnim organima ne podrazumeva automatsko javno objavljivanje svih podataka.

Analitičari naglašavaju da ključ uspeha leži u rešavanju direktnog sukoba interesa. Kompanija koja razvija model raspolaže najvećim delom podataka potrebnih za ispitivanje njegovog ponašanja, ali istovremeno obelodanjivanje ozbiljnog propusta nosi rizik od narušavanja reputacije, pada vrednosti akcija i talasa privatnih tužbi. Zbog toga odluka o informisanju javnosti i države ne sme primarno zavisiti od poslovne procene same kompanije.

Da bi novi zakonski okviri zaista dali održive rezultate, državni organi moraju obezbediti adekvatno plaćene stručne kadrove i tehničke kapacitete koji će biti sposobni da samostalno verifikuju navode iz podnetih izveštaja. U suprotnom, obaveza prijavljivanja pretvoriće se u puku birokratsku formalnost, dok će javnost i privreda ostati prepuštene proceni interesa i dobroj volji samih tehnoloških giganata.

Autor: Milena Šović, AI Implementation Specialist & AI Content Trainer

Foto: deagreez1, Depositphotos

Pročitajte i ovo...