AI detektori diskriminiraju neizvorne govornike

Programi namijenjeni razlikovanju teksta chatbota od ljudskog pisanja imaju više od nekoliko problema. Evo još jednog problema koji treba dodati na popis: Detektori umjetne inteligencije često pogrešno kategoriziraju pisanje od strane neizvornog govornika engleskog kao pisanje koje je generirao bot. Prema istraživanju objavljenom u ponedjeljak u časopisu Patterns, više od polovice vremena detektori umjetne inteligencije krivo su pretpostavljali da je pisanje od strane govornika engleskog kao stranog jezika generirano umjetnom inteligencijom.

U svijetu u kojem se generativna umjetna inteligencija pojavljuje posvuda (doslovno posvuda), sposobnost razlikovanja tekstova generiranih umjetnom inteligencijom od tekstova koje je napisao stvarni čovjek postaje sve važnija. Osobe koje se prijavljuju za posao, studenti i drugi koji se redovito vrednuju na temelju svoje sposobnosti pisanja trebali bi moći predati svoj rad bez straha da će ga se pripisati računalnom programu. Istovremeno, učitelji, profesori i voditelji zapošljavanja idealno bi trebali znati kada netko predstavlja svoje napore i sebe iskreno.

No, zahvaljujući sve većim jezičnim modelima - obučenim na ogromnim skupovima podataka - postaje sve teže razlikovati rad osobe od automatski generiranih tekstova chatbota (barem dok ih ne provjerite činjenicama). Na isti način na koji deepfake slike, glasovi i videozapisi postaju sve zabrinjavajuće teški za prepoznati, i AI tekstovi postaju teže identificirati.

Više tvrtki je počelo pokušavati riješiti problem razvojem softvera za detekciju umjetne inteligencije, koji bi trebao moći razlikovati osobu od „računala“. Čak je i OpenAI, tvrtka koja je uvelike odgovorna za trenutni procvat generativne umjetne inteligencije, pokušala stvoriti alat za detekciju umjetne inteligencije. Ali upozorenje: Većina tih alata za detekciju umjetne inteligencije ne radi baš dobro ili ima ograničene primjene, unatoč tvrdnjama programera o nemoguće dokazivim metrikama poput „99% točnosti“.

Osim što nisu tako sjajni općenito, ti alati također mogu reproducirati ljudske pristranosti - baš kao i sama generativna umjetna inteligencija.

U novom istraživanju, istraživači su analizirali 91 esej napisan od strane govornika engleskog kao stranog jezika za TOEFL (Test engleskog kao stranog jezika), koristeći sedam „široko korištenih“ detektora GPT-a. Za usporedbu, iste su alate za detekciju umjetne inteligencije koristili za analizu 99 eseja američkih učenika osmog razreda. Unatoč tome što su detektori točno klasificirali više od 90% eseja osmog razreda kao one koje je napisao čovjek, alati za kategorizaciju nisu se proveli tako dobro s radovima TOEFL-a.

Kod svih sedam detektora GPT-a, prosječna stopa lažnih detekcija za eseje koje su napisali govornici engleskog kao stranog jezika bila je 61,3%. Barem jedan od detektora pogrešno je označio gotovo 98% eseja TOEFL-a kao generirane od strane AI-a. Svi detektori su jednoglasno identificirali istih oko 20% eseja TOEFL-a kao AI-generirane, unatoč tome što su ih napisali ljudi.

Većina detektora umjetne inteligencije radi tako da procjenjuje tekst na temelju mjere nazvane „perpleksnost“, objasnili su autori istraživanja. Perpleksnost je suštinski mjera koliko je riječ neočekivana u kontekstu niza teksta. Ako je riječ lako predvidljiva s obzirom na prethodne riječi, teoretski je veća vjerojatnost da je rečenica rezultat umjetne inteligencije, budući da ovi veliki jezični modeli koriste probabilističke algoritme za generiranje uvjerljivo organizirane mješavine riječi. To je kao nadograđeni automatski dovršetak teksta.

Međutim, govornici stranog jezika obično pišu na tom jeziku s relativno ograničenim vokabularom i predvidljivim rasponom gramatike, što može rezultirati predvidljivijim rečenicama i odlomcima. Istraživači su otkrili da jednostavno smanjenje ponavljanja riječi u uzorcima eseja TOEFL-a značajno smanjuje broj lažnih pozitiva koji su se pojavili u softveru za detekciju umjetne inteligencije. S druge strane, pojednostavljivanje jezika u eseju osmog razreda rezultiralo je većim brojem njihovog pogrešnog prepoznavanja kao stvaranja umjetne inteligencije.

Kako ukazuje novo istraživanje, to bi moglo predstavljati značajan problem za govornike engleskog kao stranog jezika koji već susreću diskriminaciju na tržištu rada i akademskim okruženjima. Na širem internetu, takvi stalni propusti AI detektora mogu pojačati postojeće nejednakosti.

„Autori istraživanja navode da bi detektori GPT-a na društvenim medijima neopravdano mogli označavati sadržaj autora koji nisu izvorni govornici kao plagijat umjetne inteligencije, otvarajući put za neopravdano uznemiravanje određenih zajednica koje nisu izvorni govornici“, pišu autori.

„Internetske tražilice, poput Googlea, koje primjenjuju mehanizme za devalorizaciju sadržaja generiranog umjetnom inteligencijom, nenamjerno mogu ograničiti vidljivost zajednica koje nisu izvorni govornici, potencijalno utišavajući raznolike perspektive“.

Sve dok detekcija umjetne inteligencije značajno ne napreduje, „snažno upozoravamo protiv korištenja detektora GPT-a u evaluacijskim ili obrazovnim okruženjima, posebno prilikom procjene rada govornika engleskog kao stranog jezika“. Ipak, teško je vidjeti kako bi detekcija umjetne inteligencije (koja često koristi usporedivi model umjetne inteligencije) ikada zaista mogla naučiti nadmudriti samu sebe.