OpenAI detektira tekst generiran AI-jem u ChatGPT-u
- Objavljeno u Svijet
Zakon EU o umjetnoj inteligenciji zahtijeva od pružatelja generativne umjetne inteligencije da generirani tekst učine prepoznatljivim. OpenAI kaže da Vodeni žig i detekcija teksta ostaju rane tehnologije sa značajnim ograničenjima, a stavovi o njihovim prednostima i odgovornoj upotrebi još se razvijaju.
"Naš fazni pristup odražava i zahtjeve Zakona EU o umjetnoj inteligenciji kao i ograničenja tehnologije, s naglaskom na transparentnosti o tome što vodeni žig teksta može, a što ne može reći ljudima", navodi OpenAI u svojem priopćenju.
To znači da će se korisnici API-ja diljem svijeta moći odlučiti za dodavanje tekstualnog vodenog žiga za odabrane modele, no to zasad neće biti "po defaultu", već će dodavanje tekstualnog vodenog žiga ostati isključeno prema zadanim postavkama u API-ju.
Iz tvrtke ističu kako će tijekom nadolazećih tjedana dodati nevidljivi vodeni žig na tekstualni izlaz ChatGPT-a i Codexa koji ispunjava uvjete u Europskoj uniji.
Pristup će u početku biti ograničen na odobrene istraživače i stručne organizacije koje mogu pomoći OpenAi-ju u procjeni i poboljšanju tehnologije.
Tehnologija vodenog žiga u tekstu pod nazivom textGrain, dodaje nevidljivi statistički signal odabiru riječi u modelu. Detektor traži taj signal kako bi procijenio sadrži li odlomak vodeni žig OpenAI-ja.
OpenAI kaže kako je u njegovim evaluacijama, textGrain postigao ili nadmašio performanse drugih pristupa koje su testirali, uključujući SynthID za tekst. "Unatoč tome, snažne performanse u idealnim uvjetima ne jamče pouzdano otkrivanje u svakodnevnoj upotrebi", kaže OpenAI i dodaje kako detektori mogu napraviti dvije vrste pogrešaka: mogu prijaviti vodeni žig tamo gdje ga nema - lažno pozitivan rezultat - ili propustiti vodeni žig koji je prisutan - lažno negativan rezultat.
Nadalje kažu da je kraći ili ograničeniji tekst teže otkriti. Uz ciljanu stopu lažno pozitivnih rezultata od 1%, detektor je identificirao vodene žigove u oko 80% odlomaka s 200 tokena, u usporedbi s oko 95% odlomaka s 400 tokena, za sadržaj poput psihologije. Stope otkrivanja bile su znatno niže za sadržaj poput matematike, gdje postoji manja fleksibilnost u izboru riječi.
Također kažu da uređivanje može oslabiti vodeni žig. U evaluaciji odlomaka s 400 tokena, zamjena 10% riječi sinonimima smanjila je detekciju s oko 92% na 66%, a zamjena 25% riječi smanjila ju je na 17%.
Iz tvrtke ističu da vodeni žig ne mjeri ljudski doprinos. Može ukazivati na to da je OpenAI sustav generirao ili obradio dio odlomka, ali ne i koliko je ljudske prosudbe, uređivanja ili kreativnosti uloženo u to. Vodeni žig ne utvrđuje vlasništvo ili odgovornost. Ne određuje tko je vlasnik teksta, je li njegova upotreba bila zakonita, je li bilo potrebno otkrivanje ili tko je za njega odgovoran. Vodeni žig ne identificira korisnika. Ne povezuje osobu, organizaciju, račun, upit ili razgovor s tekstom. Vodeni žig ne potvrđuje točnost. Ne govori vam je li odlomak istinit, obmanjujući, štetan ili predstavljen u pravom kontekstu.
Odsutnost otkrivenog vodenog žiga ne dokazuje ljudsko autorstvo. Tekst generiran OpenAI alatima može biti prekratak, uređen ili preveden da bi otkrivanje pouzdano funkcioniralo. Također može potjecati iz nepodržanog modela, biti stariji od vodenog žiga ili ga mogu generirati alati druge tvrtke.
Tijekom nadolazećih tjedana planiraju dodavanje vodenog žiga u tekst za korisnike ChatGPT-a i Codexa koji ispunjavaju uvjete u svim planovima unutar EU. Dodavanje vodenog žiga u tekstu neće biti globalno zadano prilikom pokretanja.
To znači da će u početku textGrain detektor isključivo poslužiti OpenAI-ju da pokuša poboljšati detektiranje teksta generiranog umjetnom inteligencijom, a planiraju i javno objaviti izvorni kod textGraina.
Tražili smo od ChatGPT-ja da nam vizualizira način na koji radi textGrain pa je kreirao ovu ilustraciju uz napomenu da je ovo samo konceptualna vizualizacija.
OpenAI navodi da textGrain ne označava pojedine riječi niti ubacuje skrivene znakove, nego traži statistički uzorak u načinu na koji su riječi odabrane.