AI može proći Turingov test ljudskosti

Istraživači sa Sveučilišta Kalifornije u San Diegu (UC San Diego) proveli su rigorozni Turingov test i otkrili da, uz pravi upit o "personi", napredna umjetna inteligencija može proći kao čovjek u chatovima uživo.

Njihovo istraživanje otkriva prvi empirijski dokaz da moderni sustav umjetne inteligencije može proći Turingov test, glavno znanstveno mjerilo koje postavlja pitanje može li stroj oponašati ljudski razgovor toliko uvjerljivo da ga ljudi ne mogu pouzdano razlikovati od stvarne osobe. U nizu eksperimenata, ljudi često nisu mogli razlikovati ljude od naprednih modela velikih jezika (LLM-ova).

Studija objavljena u časopisu Proceedings of the National Academy of Sciences prva je koja rigorozno testira LLM-ove metodom koju je britanski matematičar i "otac računalne znanosti" Alan Turing stvorio 1950. godine. To je ujedno i prvi put da je netko otkrio da su modeli procijenjeni kao ljudski jednako često kao i stvarni ljudi koristeći Turingov okvir.

U randomiziranim, kontroliranim eksperimentima s dvije neovisne skupine sudionika, studentima preddiplomskog studija na UC San Diegu i online sudionicima, ispitivači su vodili kratke tekstualne razgovore, a zatim donosili svoje prosudbe. U eksperimentima sudionici su razgovarali s GPT-4.5 i LLaMa-3.1-405B kao najsuvremenijim modelima, a istraživači su također uključili starije osnovne modele za usporedbu GPT-4o i ELIZA, klasični chatbot temeljen na pravilima iz 1960-ih.

U četiri LLM-a, GPT-4.5 je procijenjen kao čovjek u 73% slučajeva, što znači da su ga ispitivači značajno češće odabirali kao "čovjeka" nego što su odabirali pravog ljudskog sudionika. LLaMa-3.1-405B, s istim upitom, procijenjen je kao čovjek u 56% slučajeva - statistički nerazlučiv od ljudi s kojima je uspoređen.

Osnovni sustavi su se pokazali daleko lošijim: ELIZA i GPT-4o su odabrani kao ljudski samo u oko 23% odnosno 21% slučajeva.

Studija također otkriva da znanstvenici od sada moraju početi drugačije razmišljati o Turingovom testu.

„Turingov test započeo je kao način da se utvrdi mogu li strojevi konkurirati ljudskoj inteligenciji“, rekao je koautor studije Ben Bergen, profesor kognitivne znanosti na Sveučilištu Kalifornije u San Diegu. „Ali sada znamo da umjetna inteligencija može odgovoriti na mnoga pitanja brže i točnije od ljudi, tako da pravi problem nije sirova moždana snaga. Vidjeti da strojevi mogu proći test - i vidjeti kako ga prolaze - prisiljava nas da preispitamo što on mjeri. Sve više mjeri ljudskost.“

Rezultati imaju implikacije iz stvarnog svijeta na povjerenje na internetu, posebno zato što modeli koji se predstavljaju kao ljudi to čine tijekom duljih razgovora od pet ili 15 minuta. „Relativno je lako potaknuti ove modele da se ne razlikuju od ljudi“, rekao je Cameron Jones, docent psihologije  na Sveučilištu Stony Brook. „Moramo biti oprezniji kada komuniciramo sa strancima na internetu“.

Istraživači napominju da se nadaju da će rad izoštriti javno razumijevanje onoga što ovi sustavi sada mogu učiniti i kakve bi vrste zaštitnih mjera društvo moglo trebati.