VIDEO: Sonar na naočalama prati pogled i izraze lica

Tehnologija koju su razvili istraživači na američkom Sveučilištu Cornell, dovoljno je mala da stane na komercijalne pametne naočale ili headestove za virtualnu i proširenu stvarnost, a troši znatno manje energije od sličnih alata koji koriste kamere.

Tehnologija koristi zvučnike i mikrofone postavljene na okvir naočala kako bi odbili nečujne zvučne valove od lica i uhvatili reflektirane signale uzrokovane pokretima lica i očiju. Jedan uređaj, GazeTrak, prvi je sustav za praćenje oka koji se oslanja na akustične signale. Drugi, EyeEcho, prvi je sustav temeljen na naočalama koji kontinuirano i precizno otkriva izraze lica i rekreira ih kroz avatar u stvarnom vremenu.

"Maleno je, jeftino i super niske potrošnje, tako da ga možete nositi na pametnim naočalama svaki dan i neće uništiti vašu bateriju", rekao je Cheng Zhang, asistent profesora informacijskih znanosti na Cornell Ann S. Bowers College of Computing.

"U VR okruženju želite rekreirati detaljne izraze lica i pokrete pogleda kako biste mogli imati bolju interakciju s drugim korisnicima", rekao je Ke Li, doktorand u polju informacijskih znanosti koji je vodio razvoj GazeTrak i EyeEcho tehnologija.

Korištenje zvučnih signala umjesto videa također predstavlja manje zabrinutosti za privatnost, rekao je Li. "U ovom području istraživanja ili čak na komercijalnim proizvodima postoje mnogi sustavi koji se temelje na kamerama za praćenje izraza lica ili pokreta pogleda, poput Vision Pro ili Oculusa", rekao je. "Ali ne žele svi kamere na nosivim uređajima da snimaju vas i vašu okolinu cijelo vrijeme."

Za GazeTrak, istraživači su postavili jedan zvučnik i četiri mikrofona oko unutarnjeg dijela okvira svakog oka naočala, kako bi odbijali i pokupili zvučne valove iz očne jabučice i područja oko očiju. Rezultirajući zvučni signali šalju se u prilagođeni cjevovod dubokog učenja koji koristi umjetnu inteligenciju za kontinuirano zaključivanje smjera pogleda osobe, kao što možete vidjeti u ovom videu. 

GazeTrak još ne radi tako dobro kao tehnologija za praćenje očiju koja se oslanja na kamere, ali je dokaz koncepta da su audio signali također učinkoviti. Istraživači misle da mogu postići istu točnost i smanjiti broj potrebnih zvučnika i mikrofona, s obzirom na daljnju optimizaciju.

Za EyeEcho, jedan zvučnik i jedan mikrofon smješteni su pored šarki naočala, usmjereni prema dolje kako bi uhvatili pokrete kože dok se mijenjaju izrazi lica. Reflektirani signali također se tumače pomoću umjetne inteligencije.

Uz ovu tehnologiju, korisnici mogu imati hands-free video pozive preko avatara, čak i u bučnom kafiću ili na ulici. Dok neke pametne naočale imaju sposobnost prepoznavanja lica ili razlikovanja između nekoliko specifičnih izraza lica, trenutačno niti jedna ne prati izraze kontinuirano kao EyeEcho.

GazeTrak i EyeEcho također bi potencijalno mogli pomoći u dijagnosticiranju ili praćenju neurodegenerativnih bolesti, poput Alzheimerove i Parkinsonove bolesti. Kod ovih stanja pacijenti često imaju abnormalne pokrete očiju i manje izražajna lica, a ova vrsta tehnologije mogla bi pratiti napredovanje bolesti iz udobnosti pacijentova doma.

Čitavo istraživanje možete pronaći na ovoj poveznici.