VIDEO: Roboti prepoznaju objekte po odjeku

Zamislite da sjedite u mračnom kinu i pitate se koliko je cole ostalo u vašoj čaši. Umjesto da skinete čep i pogledate, malo protresete šalicu da čujete koliko leda unutra zvecka, što vam pruža spoznaju o tome je li vaše piće pri kraju. Nakon toga se zapitate je li naslon za ruku napravljen od pravog drveta. Nakon što ga nekoliko puta kucnete i čujete šuplji odjek, postane vam jasno da je izrađen od plastike.

Ova sposobnost tumačenja svijeta kroz akustične vibracije koje dolaze iz predmeta je nešto što radimo bez razmišljanja, a tu sposobnost sada istraživači s američkog Sveučilišta Duke žele pružiti robotima kako bi povećali njihov brzo rastući skup senzorskih sposobnosti.

Njihovo novo istraživanje detaljno opisuje sustav nazvan SonicSense koji robotima omogućuje interakciju s okolinom na načine koji su prije bili ograničeni na ljude .

"Roboti se danas uglavnom oslanjaju na vid za tumačenje svijeta", objasnio je Jiaxun Liu, glavni autor rada i student u laboratoriju Boyuan Chena, profesora strojarstva i znanosti o materijalima na Dukeu. "Htjeli smo stvoriti rješenje koje bi moglo raditi sa složenim i raznolikim objektima, dajući robotima mnogo bogatiju sposobnost da osjete i razumiju svijet."

SonicSense ima robotsku ruku s četiri prsta, od kojih je svaki opremljen kontaktnim mikrofonom ugrađenim u vrh prsta. Ovi senzori detektiraju i bilježe vibracije koje nastaju kada robot lupka, hvata ili trese predmet. A budući da su mikrofoni u kontaktu s objektom, to robotu omogućuje ugađanje okolnih zvukova.

Na temelju interakcija i detektiranih signala, SonicSense izdvaja frekvencijske značajke i koristi svoje prethodno znanje, upareno s nedavnim napretkom u umjetnoj inteligenciji, kako bi otkrio od kojeg je materijala napravljen objekt i njegov 3D oblik. Ako je to objekt koji sustav nikada prije nije vidio, moglo bi biti potrebno 20 različitih interakcija da sustav dođe do zaključka, ali ako se radi o objektu koji već ima u svojoj bazi podataka, može ga ispravno identificirati u samo četiri interakcije, kao što možete vidjeti u ovom videu.

U demonstracijama Chen i njegov laboratorij prikazuju niz mogućnosti koje omogućuje SonicSense. Okretanjem ili protresanjem kutije napunjene kockicama može se izbrojati koliko ih se nalazi u njoj kao i njihov oblik. Učinivši isto s bocom vode, može se odrediti koliko se tekućine nalazi unutra. A tapkanjem po vanjskoj strani objekta, slično kao što ljudi istražuju objekte u mraku, može se napraviti 3D rekonstrukcija oblika objekta i odrediti od kojeg je materijala napravljen.

Sposobnost da osjeti akustične vibracije kroz taktilne interakcije daje ovoj robotskoj ruci osjećaj dodira poput ljudskog za bolje opažanje svijeta, a postavka robotske ruke s četiri prsta opremljena "dodirnim mikrofonom" omogućuje sustavu prepoznavanje objekata koji se sastoje od više od jednog materijala sa složenim geometrijama, prozirnim ili reflektirajućim površinama i materijalima koji su izazovni za sustave temeljene na vidu.

SonicSense daje robotima novi način da čuju i osjećaju, slično ljudima, što može promijeniti način na koji sadašnji roboti percipiraju objekte i komuniciraju s njima. Ove sposobnosti čine SonicSense robusnim temeljem za obuku robota da opažaju objekte u dinamičnim, nestrukturiranim okruženjima.

Istraživačka grupa sada radi na poboljšanju sposobnosti sustava za interakciju s više objekata. Integracijom algoritama za praćenje objekata, roboti će se moći nositi s dinamičnim, pretrpanim okruženjima, što će ih približiti ljudskoj prilagodljivosti u stvarnim zadacima.

Drugi ključni razvoj leži u dizajnu same ruke robota. "Ovo je tek početak. U budućnosti predviđamo da će se SonicSense koristiti u naprednijim robotskim rukama sa spretnim vještinama manipulacije, omogućujući robotima da obavljaju zadatke koji zahtijevaju nijansirani osjet dodira," rekao je Chen. "Uzbuđeni smo što možemo istražiti kako se ova tehnologija može dalje razvijati da integrira više senzorskih modaliteta, kao što su tlak i temperatura, za još složenije interakcije."