AI detektori teksta prate promjenjive uvjete
- Objavljeno u Znanost

Profesor koji vjeruje da je studentski seminarski rad možda napisan pomoću modela velikog jezika (LLM) može upotrijebiti alat za otkrivanje teksta generiranog umjetnom inteligencijom kako bi potvrdio svoje sumnje. No, profesor bi trebao dvaput razmisliti prije nego što u potpunosti vjeruje detektoru.
Istraživači s MIT-a i Sveučilišta Cornell pokazali su da se takvi alati za detekciju, koji su sami modeli umjetne inteligencije, mogu prevariti tekstom generiranim umjetnom inteligencijom, prikrivenim tako da izgleda kao da ga je napisao čovjek. Detektori također mogu propustiti identificirati tekst umjetne inteligencije zbog prirodnih promjena u navikama pisanja tijekom vremena ili pojave novih LLM-ova.
U novom radu, istraživači su pokazali kako posebna tehnika treniranja čini AI detektor preciznijim i otpornijim na obmanu, čak i dok se ljudsko i AI pisanje stalno mijenja.
Koristili su metodu nazvanu adaptacija u vrijeme testiranja, koja omogućuje implementiranom modelu detekcije da uči iz novih, neoznačenih podataka prilagođavanjem svojih unutarnjih funkcija u hodu. Na taj se način model prilagođava nevidljivim ulazima bez ponovnog učenja od nule.
U eksperimentima, komercijalni detektor mogao je identificirati samo oko 27 posto teksta generiranog umjetnom inteligencijom koji je bio prikriven, dok je novi pristup postigao točnost od 93 posto.
Ova metoda mogla bi pomoći edukatorima, urednicima, izdavačima i menadžerima za zapošljavanje da označe tekstove generirane LLM-om koje ljudi pokušavaju predstaviti kao ljudske. Također bi je mogli koristiti stručnjaci za kibernetičku sigurnost za sprječavanje prijevara putem e-pošte s krađom identiteta ili za identificiranje prijevara s optimizacijom za tražilice.
Istraživači su istraživali može li prilagodba vremena testiranja (TTA) učiniti AI detektor otpornijim na ove promjene u distribuciji.
U TTA-i, umjesto zamrzavanja modela kako se ne bi mogao mijenjati tijekom implementacije, istraživači dopuštaju tom modelu da se prilagodi dolaznim podacima nakon što je objavljen. Za AI detektor teksta, ti su podaci novi dijelovi teksta koje su korisnici prenijeli.
Ovi podaci nisu označeni, pa programeri detektora ne znaju koje su podatke napisali ljudi, a koje modeli umjetne inteligencije. Ali ovi novi podaci predstavljaju suvremeno ljudsko i umjetno pisanje, upravo ono što programeri žele da model bude u stanju predvidjeti.
S dovoljno primjera, detektor uči identificirati obrasce kako bi odredio koji su podaci generirani umjetnom inteligencijom, a koji ljudskim djelovanjem.
Istraživači su proučavali TTA stvaranjem skupova podataka koji sadrže određenu količinu teksta generiranog umjetnom inteligencijom i ljudskom inteligencijom, ali ne daju te oznake modelu. Također su koristili LLM-ove za generiranje nekih primjera koji nalikuju tekstu koji je napisala umjetna inteligencija kako bi posebno izbjegla detektor, a zatim su proveli proces TTA obuke i testirali model na stvarnim podacima.
U eksperimentima osmišljenima da oponašaju prirodnu promjenu ljudskog jezika tijekom vremena, detektor koji je koristio TTA bio je 85 posto točan, dok su tradicionalne metode postigle samo 73 posto točnosti.
A kada je riječ o pisanju osmišljenom da osujeti alate za detekciju, postojeće metode mogle su identificirati samo oko 27 posto, dok je TTA omogućio modelu da uhvati više od 93 posto prikrivenog teksta.
Istraživači upozoravaju da TTA možda neće uvijek biti učinkovito rješenje jer budući LLM-ovi proizvode prirodniji jezik i postaje teže pronaći provjerljiv ljudski tekst za korištenje u obuci.
U budućnosti, istraživači žele istražiti slična strateška područja gdje bi TTA mogla biti korisna i izgraditi bolje alate za mjerenje performansi kako bi pomogli inženjerima da dinamički poboljšaju ove modele detekcije umjetne inteligencije.
Znanstveni rad možete pronaći na ovoj poveznici.