Korisnici koji redovno upotrebljavaju velike jezičke modele (Large Language Models – LLM) često primećuju da isti prompt ili instrukcije, koje su pre mesec ili dva davale kvalitetan odgovor, danas proizvode primetno drugačiji rezultat. Odgovor može biti kraći, formalniji ili manje kreativan, ali se promene ne odnose samo na stil pisanja. One mogu biti vidljive i u logičkom zaključivanju, brzini rada i načinu na koji model formuliše odgovore.
Iako korisnici promene u radu modela često pripisuju subjektivnom utisku, drugačijoj formulaciji prompta, kontekstu razgovora ili načinu na koji kompanija isporučuje model, veliki jezički modeli u suštini nisu statični sistemi. Oni se neprestano unapređuju kroz uvođenje novih verzija, izmene internih pravila ponašanja, unapređenje bezbednosnih mehanizama i optimizaciju infrastrukture. Sve ove promene, iako korisnicima često nisu vidljive, neposredno utiču na performanse modela i kvalitet njegovih odgovora.
Šta dovodi do promena performansi?
Redovna ažuriranja modela predstavljaju najočigledniji razlog ovih promena. Nove verzije i manja unapređenja uvode se kako bi se poboljšali logičko zaključivanje, praćenje instrukcija, programiranje, korišćenje alata i brzina generisanja odgovora, uz istovremeno smanjenje broja halucinacija i optimizaciju troškova izvršavanja. Dok se veća ažuriranja uglavnom javno najavljuju, brojna manja prolaze bez detaljnog objašnjenja, pa korisnici često nisu ni svesni da su performanse modela promenjene.
Važnu ulogu imaju i interna pravila koja određuju kako će model odgovarati, kada će odbiti zahtev, kako će proceniti rizik i na koji način će formulisati neizvesne tvrdnje. Kod OpenAI-a ona su opisana u dokumentu Model Spec, dok i drugi proizvođači primenjuju slične sisteme. Njihove izmene mogu učiniti model opreznijim, doslednijim u praćenju instrukcija ili formalnijim u komunikaciji, iako nije ponovo treniran.
Na promene utiču i bezbednosni i pravni razlozi. Kako se veliki jezički modeli koriste u milionima razgovora svakog dana, neprestano se unapređuju mehanizmi koji sprečavaju zloupotrebe, širenje dezinformacija, kršenje autorskih prava i otkrivanje osetljivih podataka. Tome doprinose i novi propisi, poput evropskog Akta o veštačkoj inteligenciji (EU AI Act), kao i sve veći broj sudskih sporova, zbog čega modeli mogu češće odbijati pojedine zahteve ili opreznije formulisati odgovore.
Značajan uticaj ima i optimizacija infrastrukture, kojom se smanjuju troškovi, ubrzava rad i efikasnije koriste računarski resursi. To uključuje raspoređivanje zahteva između servera (routing), A/B testiranja i postepeno uvođenje novih konfiguracija, zbog čega dva korisnika ponekad mogu koristiti isti model, a ipak dobijati drugačije rezultate.
Šta kažu naučna istraživanja?
Pitanje da li se performanse velikih jezičkih modela vremenom zaista menjaju nije ostalo samo na nivou utisaka korisnika. Poslednjih godina više istraživačkih timova pokušalo je da sistematski izmeri koliko su te promene stvarne i kako utiču na različite zadatke.
Jedno od najznačajnijih istraživanja na ovu temu objavili su 2023. godine Lingdžao Čen, Matei Zaharija i Džejms Zou sa Univerziteta Stanford i Univerziteta Kalifornije u Berkliju. Analizirajući više verzija modela GPT-3.5 i GPT-4 u periodu od nekoliko meseci, autori su pokazali da se njihove performanse vremenom menjaju u zavisnosti od vrste zadatka. Dok su na pojedinim testovima modeli ostvarivali bolje rezultate, na drugima je zabeležen pad uspešnosti, naročito u praćenju instrukcija, rešavanju matematičkih zadataka, generisanju programskog koda i formulisanju odgovora.
Zatvoreni i otvoreni modeli – suštinska razlika
Jedna od najvažnijih razlika između velikih jezičkih modela nije u njihovim mogućnostima, već u načinu na koji se razvijaju i koriste. Zatvoreni modeli, poput GPT-a, Claude-a, Gemini-ja i Grok-a, funkcionišu kao usluge koje se izvršavaju na serverima kompanije. To znači da se ponašanje modela može promeniti i bez ikakve intervencije korisnika.
Kod otvorenih modela, kao što su Llama, Mistral, Qwen ili Gemma, situacija je drugačija. Ako se pokreću lokalno, model ostaje nepromenjen sve dok korisnik sam ne preuzme novu verziju. To omogućava da isti prompt, uz iste parametre i isto okruženje, daje gotovo identične rezultate i posle dužeg vremena.
Ova stabilnost je posebno važna u naučnim istraživanjima i profesionalnoj primeni, gde je neophodno da se rezultati mogu ponoviti pod istim uslovima. Zato istraživači često koriste lokalne modele ili pažljivo beleže tačnu verziju komercijalnog modela koji je korišćen tokom eksperimenta.
Prednost lokalnih modela je i veća kontrola – korisnik sam odlučuje kada će ažurirati model i po potrebi može zadržati više verzija radi poređenja. Sa druge strane, komercijalni servisi brže dobijaju nove mogućnosti, raspolažu većim računarskim resursima i često nude bolje ukupne performanse zahvaljujući kontinuiranom razvoju.
Različiti pristupi razvoju velikih jezičkih modela
Iako sve vodeće kompanije redovno ažuriraju velike jezičke modele, razlikuju se po učestalosti izmena, nivou transparentnosti i kontroli koju korisnici imaju nad verzijama modela.
OpenAI modele ažurira veoma često. Veće izmene uglavnom su javno najavljene i dokumentovane, dok manja unapređenja, koja mogu uticati na stil odgovora, praćenje instrukcija ili bezbednosne mehanizme, često prolaze bez detaljnog objašnjenja.
Slično tome, i Anthropic redovno unapređuje Claude modele i među kompanijama važi za jednu od transparentnijih kada je reč o većim ažuriranjima i bezbednosnim principima na kojima zasniva njihov razvoj. Ipak, kao i kod drugih komercijalnih servisa, korisnici nemaju kontrolu nad svim promenama koje se uvode tokom vremena.
Google kontinuirano razvija Gemini modele. Dok deo novih mogućnosti predstavlja kroz zvanične objave, brojne optimizacije uvodi postepeno i bez posebne najave, pa korisnici često ne znaju kada je došlo do manjih izmena.
Kod kompanije xAI razvoj Grok modela odvija se u brzom ciklusu. Nove verzije često donose značajna poboljšanja, ali tehničke izmene koje utiču na performanse nisu uvek u potpunosti dokumentovane.
Nešto drugačiji pristup ima Meta, čiji su modeli iz porodice Llama dostupni kao otvoreni modeli. Kada se pokreću lokalno, korisnik sam odlučuje kada će preuzeti novu verziju, pa model ostaje nepromenjen do sledećeg ažuriranja. Isti princip važi i za druge otvorene modele, poput Mistral-a, Qwen-a i Gemma-e.
Da li svako ažuriranje znači i bolji model?
Kada kompanija objavi da je model ažuriran, većina korisnika očekuje da će nova verzija biti bolja od prethodne. Međutim, kod velikih jezičkih modela to nije uvek slučaj. Poboljšanje u jednoj oblasti često podrazumeva kompromis u drugoj, pa model može bolje rešavati programerske zadatke, preciznije pratiti instrukcije ili praviti manje činjeničnih grešaka, a istovremeno biti oprezniji u odgovorima, manje kreativan ili češće odbijati zahteve koje je ranije prihvatao. Stroži bezbednosni mehanizmi mogu povećati pouzdanost sistema, ali i ograničiti deo funkcionalnosti, dok optimizacija troškova i infrastrukture takođe može uticati na način na koji model odgovara.
To je naročito važno za kompanije koje su velike jezičke modele integrisale u svoje poslovne procese, za programere čije aplikacije zavise od njihovog ponašanja, kao i za istraživače kojima je reproduktivnost rezultata od ključnog značaja. S druge strane, korisnici koji LLM modele koriste povremeno, za pretragu informacija, prevođenje ili svakodnevnu komunikaciju, ove promene često neće ni primetiti, jer one uglavnom ne utiču na uobičajene načine korišćenja.
Kod velikih jezičkih modela ključno pitanje nije jednostavno da li je nova verzija bolja ili lošija, već za koga i u koju svrhu. Budući da se modeli neprestano razvijaju, njihove performanse će se menjati u skladu sa tehničkim unapređenjima, ali i prioritetima kompanija koje ih razvijaju.
Autor: Milena Šović, AI Implementation Specialist & Content Trainer