Procjena etike autonomnih sustava

Umjetna inteligencija sve se više koristi za optimizaciju donošenja odluka u okruženjima s visokim ulozima. Na primjer, autonomni sustav može prepoznati strategiju distribucije energije koja minimizira troškove uz održavanje stabilnog napona.

No iako ovi rezultati potaknuti umjetnom inteligencijom mogu biti tehnički optimalni, jesu li pravedni? Što ako strategija distribucije jeftine energije ostavi siromašnija naselja ranjivijima od područja s višim prihodima?

Kako bi pomogli dionicima da brzo utvrde potencijalne etičke dileme prije implementacije, istraživači MIT-a razvili su automatiziranu metodu evaluacije koja uravnotežuje međudjelovanje između mjerljivih ishoda, poput troškova ili pouzdanosti, i kvalitativnih ili subjektivnih vrijednosti, poput pravednosti.

Sustav odvaja objektivne evaluacije od korisnički definiranih ljudskih vrijednosti, koristeći model velikih jezika (LLM) kao zamjenu za ljude kako bi uhvatio i uključio preferencije dionika.

Adaptivni okvir odabire najbolje scenarije za daljnju evaluaciju, pojednostavljujući proces koji obično zahtijeva skup i dugotrajan ručni rad. Ovi testni slučajevi mogu pokazati situacije u kojima se autonomni sustavi dobro usklađuju s ljudskim vrijednostima, kao i scenarije koji neočekivano ne zadovoljavaju etičke kriterije.

U velikom sustavu poput elektroenergetske mreže, procjena etičke usklađenosti preporuka modela umjetne inteligencije na način koji uzima u obzir sve ciljeve posebno je teška.

Većina okvira za testiranje oslanja se na prethodno prikupljene podatke, ali označene podatke o subjektivnim etičkim kriterijima često je teško pronaći. Osim toga, budući da se etičke vrijednosti i sustavi umjetne inteligencije stalno razvijaju, metode statičke evaluacije temeljene na pisanim kodeksima ili regulatornim dokumentima zahtijevaju česta ažuriranja.

Istraživači su pristupili ovom problemu iz drugačije perspektive. Oslanjajući se na svoj prethodni rad na procjeni robotskih sustava, razvili su okvir eksperimentalnog dizajna kako bi identificirali najinformativnije scenarije, koje bi ljudski dionici zatim detaljnije procijenili. 

Njihov dvodijelni sustav, nazvan Skalabilni eksperimentalni dizajn za etičko testiranje na razini sustava (SEED-SET), uključuje kvantitativne metrike i etičke kriterije. Može identificirati scenarije koji učinkovito zadovoljavaju mjerljive zahtjeve i dobro se usklađuju s ljudskim vrijednostima i obrnuto.

Važno je napomenuti da SEED-SET ne zahtijeva postojeće podatke o evaluaciji i prilagođava se višestrukim ciljevima. Na primjer, elektroenergetska mreža može imati nekoliko korisničkih skupina, uključujući veliku ruralnu zajednicu i podatkovni centar. Iako obje skupine mogu željeti jeftinu i pouzdanu energiju, prioritet svake skupine s etičkog gledišta može se uvelike razlikovati.

SEED-SET se bavi ovim izazovom dijeljenjem problema na dva dijela, slijedeći hijerarhijsku strukturu. Objektivni model uzima u obzir kako sustav funkcionira na temelju opipljivih metrika poput troškova. Zatim se subjektivni model koji uzima u obzir procjene dionika, poput percipirane pravednosti, nadovezuje na objektivnu evaluaciju.

Za provođenje subjektivne procjene, sustav koristi LLM kao zamjenu za ljudske procjenitelje. Istraživači kodiraju preferencije svake korisničke skupine u upit prirodnog jezika za model.

LLM koristi ove upute za usporedbu dva scenarija, odabirući preferirani dizajn na temelju etičkih kriterija.

SEED-SET koristi odabrani scenarij za simulaciju cijelog sustava (u ovom slučaju, strategije distribucije energije). Ovi rezultati simulacije vode njegovu potragu za sljedećim najboljim scenarijem kandidata za testiranje.

Na kraju, SEED-SET inteligentno odabire najreprezentativnije scenarije koji ili zadovoljavaju ili nisu usklađeni s objektivnim metrikama i etičkim kriterijima. Na taj način korisnici mogu analizirati performanse AI sustava i prilagoditi njegovu strategiju.

Na primjer, SEED-SET može identificirati slučajeve distribucije električne energije koji daju prioritet područjima s višim prihodima tijekom razdoblja vršne potražnje, ostavljajući siromašnija naselja sklonijima nestancima.

Kako bi testirali SEED-SET, istraživači su procijenili realistične autonomne sustave, poput elektroenergetske mreže vođene umjetnom inteligencijom i sustava za usmjeravanje gradskog prometa. Mjerili su koliko su generirani scenariji usklađeni s etičkim kriterijima.

Sustav je u istom vremenskom razdoblju generirao više nego dvostruko više optimalnih testnih slučajeva od osnovnih strategija, a istovremeno je otkrio mnoge scenarije koje su drugi pristupi previdjeli. 

Kako bi se izmjerilo koliko bi SEED-SET bio koristan u praksi, istraživači će morati provesti studiju korisnika kako bi vidjeli pomažu li scenariji koje generira u stvarnom donošenju odluka.

Osim provođenja takve studije, istraživači planiraju istražiti upotrebu učinkovitijih modela koji se mogu proširiti na veće probleme s više kriterija, poput procjene donošenja odluka u LLM-u.

Čitav znanstveni rad možete pronaći na ovoj poveznici.