AI model za stvaranje realističnih animiranih avatara

Microsoft je predstavio svoj novi AI model pod nazivom VASA-1, za koji tvrdi da može stvoriti realistične animirane avatare s originalnim likom i glasom korisnika, temeljem jedne vaše statičke fotografije i kratkog audio zapisa govora.

"Osim što su pokreti lica avatara sinkronizirani sa zvukom, model može uhvatiti širok spektar nijansi facijalnih izraza i prirodnih pokreta glave koji doprinose percepciji autentičnosti i živosti", navodi Microsoft u opisu VASA-1 modela te kaže da inovacije uključuju holističku facijalnu dinamiku i model generiranja pokreta glave koji radi u latentnom prostoru lica te razvoj takvog izražajnog i rastavljenog latentnog prostora lica pomoću videozapisa.

Microsoft navodi kako se pokazalo da kroz provedene eksperimente koji uključuju procjenu skupa novih mjernih podataka, ova metoda značajno nadmašuje sve prethodne sustave u kreiranju realističnih AI avatara ali i manje realističnih prema želji i potrebi.

"Naša metoda ne samo da pruža visoku kvalitetu videozapisa s realističnom dinamikom lica i glave, već također podržava online generiranje videozapisa rezolucije  512x512 piksela do 40 FPS sa zanemarivom početnom latencijom. Utire put za angažmane u stvarnom vremenu sa realističnim avatarima koji oponašaju ljudska ponašanja u razgovoru", navode  Microsoftovi istraživači u radu objavljenom na ovoj poveznici.

Za testiranje i obučavanje modela VASA-1 je koristio portretne slike virtualnih nepostojećih ljudi koje su generirali StyleGAN2 ili DALL·E-3 modeli, što znači da nije koristio fotografije i audio zapise stvarnih ljudi.

Zasad nije poznato gdje bi se novi avatari mogli koristiti ali već možemo zamisliti sastanak na Zoomu, na kojem će ljudi razgovarati svojim AI ličnostima umjesto osobno. Možda nema nekog prevelikog smisla ali sigurni smo da bi nekim ljudima odgovaralo da se na sastancima sakriju iza svojih animacija.