Tehnologija koristi refleksije objekata za gledanje okoliša

Kamere na samovozećim automobilima ne vide uglove zgrada i druge objekte koji su im skriveni od pogleda. MIT-ev sustav računalnog vida ORCa, mogao bi im jednog dana to omogućiti uz malu pomoć refleksija na sjajnim predmetima koje mogu vidjeti. 

Tehnologija analizira iskrivljene refleksije na površini sjajnih objekata kako bi se dobila jasnija slika o tome što se odražava i koliko je udaljeno. U scenariju automobila bez vozača, sjajna površina drugog vozila parkiranog u blizini nadolazećeg raskrižja mogla bi pružiti pogled na približavanje prometa na križanju ulice. 

Sustav radi tako da dobije više slika dotičnog sjajnog objekta, od kojih je svaka snimljena iz malo drugačijeg kuta kako se kamera približava tom objektu. Softver temeljen na strojnom učenju rastavlja refleksiju na površini tog objekta na pojedinačne piksele.

Analizirajući kako se ti pikseli mijenjaju jedan u odnosu na drugi između različitih slika, softver može odrediti oblik objekta (zajedno s njegovom bojom i teksturom) i tako kompenzirati način na koji iskrivljuje odraz. 

Dodatno, modeliranjem reflektirane scene kao onoga što je poznato kao 5D polje zračenja, ORCa može odrediti smjer i intenzitet svjetlosnih zraka koje padaju ili koje emitira svaka točka u toj sceni. Ove informacije zauzvrat omogućuju sustavu da utvrdi koliko je svaka od tih točaka udaljena od reflektirajuće površine i jedna od druge. 

"Pokazali smo da se bilo koja površina može pretvoriti u senzor s ovom formulacijom koja pretvara objekte u virtualne piksele i virtualne senzore", rekao je Kushagra Tiwary, jedan od vodećih autora studije . "Ovo se može primijeniti na mnogo različitih područja." 

Uz upotrebu u aplikacijama kao što su sustavi za izbjegavanje sudara za samovozeće automobile, tehnologija se također može koristiti u bespilotnim letjelicama. Analizirajući refleksije na sjajnim objektima koji se nalaze na tlu, dron bi mogao dobiti prizemni pogled na okolinu nad kojom leti.