VIDEO: Nvidijin AI u sekundama pretvara 2D slike u 3D modele

Nvidia je predstavila novi AI alat pod nazivom Instant NeRF koji je u stanju u sekundama pretvoriti 2D fotografije snimljene iz nekoliko kutova u punokrvni 3D model.

NeRF se temelji na radu znanstvenika Googlea, Sveučilišta Berkeley i San Diego koji su koristili neuralne mreže za renderiranje fotorealističnih 3D slika korištenjem malog seta 2D fotografija objekta snimanog iz različitih kutova.

NeRF u osnovi funkcionira tako da predviđa koje informacije boje i svjetla nedostaju u unesenim podacima (2D fotkama) i potom popunjava praznine stvarajući 3D model.

Iako su rani NeRF alati mogli proizvesti renderirane scene za nekoliko minuta, obuka neuronskih mreža trajala je znatno dulje, a Nvidija je tehnologiju razvila u Instant NeRF sustav koji skraćuje vrijeme obuke i renderiranja za, kako kažu, "nekoliko redova veličine", jer može trenirati model na nekoliko desetaka fotografija (zajedno s podacima o kutu kamere) u samo nekoliko sekundi, a zatim renderirati 3D scenu na 1.920 x 1080 piksela desetke milisekundi kasnije, kao što možete vidjeti u ovom videu.

To je omogućeno zahvaljujući razvoju nove metode kodiranja ulaza pod nazivom "multi-resolution hash grid encoding", koja je optimizirana za Nvidijine GPU-ove.

"Ako su tradicionalni 3D prikazi poput poligonalnih mreža slični vektorskim slikama, NeRF-ovi su nalik bitmapama. Gusto hvataju način na koji svjetlost zrači iz objekta ili unutar scene", rekao je Nvidijin potpredsjednik odjela za istraživanje grafike David Luebke. "U tom smislu, Instant NeRF bi mogao biti važan za 3D kao što su digitalni fotoaparati i JPEG kompresija bili važni za 2D fotografiju".