Dogovarao sastanke sa poslovnim partnerima i izmišljao razloge zašto se nije pojavljivao na njima
Četbot namenjen rutinskoj korisničkoj podršci izašao je iz dodeljene uloge i počeo da nastupa kao ovlašćeni predstavnik kompanije. Samostalno je prihvatao termine poslovnih sastanaka, potvrđivao moje prisustvo i izmišljao razloge zbog kojih se nisam pojavila. Za prepisku koja je trajala danima saznala sam tek kada me je potencijalni poslovni partner pozvao telefonom.
Telefonski poziv počeo je pitanjem koje me je zateklo: zašto se ne pojavljujem na dogovorenim sastancima?
Nisam znala o kakvim sastancima je reč. Nisam prihvatila predložene termine, nisam potvrdila da ću prisustvovati. Sagovornik je, međutim, danima dobijao upravo takve poruke sa poslovnog mejla moje firme.
Četbot je trebalo da odgovara samo na osnovna pitanja
Četbot je bio integrisan na sajt moje firme, poslovni imejl, Fejsbuk (Facebook), Instagram (Instagram) i Votsap (WhatsApp). Napravljen je radi automatizacije jednostavnog i rutinskog zadatka: da na osnovu unapred pripremljene dokumentacije odgovara na osnovna pitanja korisnika o kompaniji i uslugama koje nudimo.
Ako u pripremljenoj dokumentaciji nije bilo odgovora na postavljeno pitanje ili je korisnik želeo da postigne konkretan dogovor, bot je trebalo da ga uputi da mi se obrati imejlom ili telefonom. Za takve situacije imao je unapred pripremljen odgovor.
Sistemski prompt bio je pažljivo napisan, dokumentacija pripremljena, a granice delovanja nedvosmisleno postavljene. Botu je bilo izričito zabranjeno da nastupa kao stvarna osoba, zaposleni ili, u ovom slučaju, direktor, da govori u moje ime ili da preuzima obaveze bez mog odobrenja.
Ovakve sisteme korisničke podrške već sam razvijala za nekoliko kompanija i oni su radili bez ikakvih problema. Sam bot bio je kvalitetno napravljen i uspešno je obavljao poslove za koje je namenjen, sve do ovog trenutka.
Bot je samoinicijativno dogovorio sastanak u moje ime
Problem je počeo kada je potencijalni poslovni partner poslao mejl u kome je predložio onlajn sastanak kako bi detaljnije razgovarao o mogućoj poslovnoj saradnji. Umesto da ga, u skladu sa instrukcijama, uputi direktno na mene, četbot je preuzeo dalju komunikaciju i počeo samostalno da dogovara sastanak.
Кada je sagovornik poslao link za sastanak preko Gugl mita (Google Meet) i obavestio da čeka da se pojavim, bot je odgovorio u prvom licu, kao da sam to ja, i najavio da ću se odmah priključiti.
Кada je sagovornik predložio da se sastanak održi dva sata kasnije, bot je prihvatio novi termin, a nakon što je dobio novi poziv i pristupni link, ponovo je potvrdio da ću se priključiti razgovoru.
Najproblematičnije je to što su poruke bile potpisane sa „Milena SMARTGORITHM“. Iako je bilo naznačeno da je sadržaj generisala veštačka inteligencija, način na koji su odgovori formulisani ostavljao je utisak da bot prenosi moje odluke i postupa uz moje odobrenje.
Bot je danima postupao suprotno instrukcijama
Ovaj slučaj ne može se svesti na uobičajenu halucinaciju u kojoj model pogreši podatak, ime ili datum. Bot je samostalno odlučivao u moje ime, davao netačne informacije o mojoj dostupnosti i izmislio razlog zbog kog se nisam pojavila na sastanku, iako za to nije imao nikakvo ovlašćenje.
Prepiska je trajala danima. Svaka nova poruka bila je prilika da sistem prepozna da pitanje izlazi iz okvira njegove nadležnosti i uputi sagovornika na čoveka, odnosno na mene. Umesto toga, ostao je u ulozi koju je sam preuzeo i održavao privid da raspolaže informacijama o mojim namerama i obavezama.
Posebno je važno što druga strana nije pokušavala da manipuliše četbotom ili ga navede da prekrši ograničenja. Nije bilo provokacije, prikrivene naredbe niti pokušaja zaobilaženja pravila. Čovek je vodio uobičajenu poslovnu komunikaciju, a sistem je sam izašao iz zadate uloge.
Šta se dogodilo unutar sistema
Iz sačuvane prepiske može se tačno rekonstruisati ponašanje četbota, ali ne i pouzdano utvrditi uzrok njegovog prvog odstupanja od instrukcija.
Nema osnova da se problem pripiše loše pripremljenoj dokumentaciji, nejasnom promptu ili postupku sagovornika. Sistem je imao sve podatke i ograničenja potrebne da pravilno reaguje, a situacija u kojoj se našao bila je rutinska. Trebalo je samo da navede da ne može da potvrdi termin i uputi čoveka na odgovarajući kontakt.
Ono što se sa sigurnošću može utvrditi jeste da je došlo do dugotrajnog otkaza u poštovanju sistemskih instrukcija. Nakon što je jednom prihvatio sastanak, bot je nastavio da tretira sopstvenu neistinitu tvrdnju kao stvarnu poslovnu obavezu. Кada se obećano prisustvo nije ostvarilo, stvorio je novu neistinu kako bi objasnio prethodnu.
Zašto je bot napustio zadatu ulogu za sada nije poznato. Iz sačuvane prepiske jasno se vidi kako je postupao, ali dostupni podaci nisu dovoljni da se pouzdano utvrdi šta je izazvalo ovakvo ponašanje. Zbog toga bi svako konkretnije objašnjenje u ovom trenutku bilo samo pretpostavka.
Кod mnogo složenijih četbotova ovakvi problemi nisu zabeleženi
Ovakvi incidenti nisu se događali kod drugih četbotova koje sam kreirala – četbotova istorijskih ličnosti, memorijalnih četbotova, niti kod sistema koji se koriste u obrazovnim institucijama.
Paradoks je u tome što ozbiljan problem nije nastao kod najsloženijih četbotova, već kod sistema zaduženog za potpuno rutinsku korisničku podršku.
Iako su ti četbotovi znatno složeniji, zasnovani na obimnijoj dokumentaciji i podležu brojnim sadržinskim, istorijskim i etičkim ograničenjima, nisu grešili, halucinirali niti izlazili iz uloge. Кorisnici su ih mnogo puta namerno testirali, pokušavali da ih navedu da izgovore nešto što im nije dozvoljeno, ali sistemi nisu popuštali pred takvim zahtevima.
Кada jezička greška postane poslovna radnja
Razlika između netačnog odgovora i prekoračenja ovlašćenja nije samo terminološka. Pogrešan podatak može da dovede korisnika u zabludu, ali su posledice daleko ozbiljnije kada bot bez ovlašćenja preuzme obavezu u ime osobe koja ni ne zna da se takva komunikacija vodi.
U ovom slučaju posledice su bile propušteni sastanci i narušena poslovna komunikacija. U nekom drugom slučaju, bot bi na isti način mogao da obeća uslugu, prihvati uslove saradnje, odobri popust ili klijentu saopšti odluku koja u kompaniji zapravo nikada nije doneta.
Uzrok ovog incidenta još uvek nisam utvrdila. Do sada nisam naišla na javno objavljena iskustva korisnika koji su se suočili sa sličnim problemom, ali odsustvo takvih svedočenja ne znači da se ovakvi slučajevi nisu događali. Moguće je da ih vlasnici sistema još nisu otkrili, da nisu u potpunosti sagledali njihovu ozbiljnost ili da o njima ne govore javno zbog mogućeg narušavanja poverenja klijenata.
O ovakvim incidentima, međutim, neophodno je govoriti otvoreno. Svaki zabeleženi slučaj treba analizirati kako bi se utvrdili uzroci i sprečilo da se ponovi. Ignorisanje problema samo stvara pogrešan utisak o pouzdanosti veštačke inteligencije i odlaže pronalaženje rešenja.
Izvor: Chicagonadlanu, autor Milena Šović, Implementation Specialist & Content Trainer
Foto: Pixabay