VIDEO: Računalo samo stvara zvuk za nijemi video
- Objavljeno u Znanost
U većini filmova i posebice crtića, uobičajeno je da se zvuk naknadno dodaje snimljenom video materijalu kako bi mu se podigla kvaliteta, uklonio šum loših mikrofona, ili jednostavno pojačali specijalni efekti poput pucnjeva i eksplozija.
Za taj posao filmaši angažiraju profesionalce koji će se pobrinuti da naknadno dodani zvuk djeluje autentično kako se ne bi dogodilo da udarac mačem po oklopu zvuči kao da je nekome pala žlica na tanjur.
Kako se čini, sada bi ti stručnjaci mogli završiti na burzi rada, jer njihov posao preuzima računalo.
Znanstvenici MIT-evog laboratorija CSAIL (Computer Science and Artificial Intelligence Lab), naučili su svoj "deep-learning" algoritam da iz video slike prepoznaje materijale koji stvaraju zvuk, pa na "nijemi video" može dodati one zvukove koji odgovaraju događajima koje prepozna poput recimo udarca štapa po metalu, drvu, travi i drugim objektima i predmetima, kao što možete vidjeti u ovom videu.
Da bi računalo bilo u stanju precizno dodavati zvuk na navedeni način, znanstvenici su udarali razne predmete palicom za bubnjeve, te potom pokazivali video algoritmu, koji je na taj način došao u priliku učiti o tome kako se koji zvuk veže uz koji vizualni prikaz.
Nakon toga su algoritmu pokazali novi video i rekli mu da generira odgovarajuće zvučne efekte, što je ovaj odradio tako savršeno da je uspio zavarati ljude koji nisu uspjeli razabrati koji su zvukovi pravi a koje je računalo naknadno dodalo.
Pored toga, znanstvenici su računalu omogućili da ne koristi snimljene zvukove iz svoje baze, već ih potpuno samostalno sintetizira i potom dodaje videu, što ljudima koji su testirali sustav uopće nije pomoglo u tome da otkriju koji zvukovi nisu pravi.
Znanstvenici navode da ovaj algoritam ne razvijaju s idejom da oduzmu posao tonskim stručnjacima u filmskim studijima, jer je njegova mogućnost primjene prilično šira, te uključuje poboljšanje navigacije robota.
"Robot bi mogao pogledati pločnik i instinktivno znati da je betontvrd, te da je trava meka, pa će se znati ponašati kada se nađe pred takvim tlom", navodi znanstvenik Andrew Owens, glavni autor ove studije. "Mogućnost predviđanja zvuka je važan prvi korak u mogućnosti predviđanja posljedica fizičkih interakcija sa svijetom".
Izvor: MIT