Fizički AI uči robote novim zadacima iz jednog videa

Tvrtka Skild AI je razvila novi model za robote pod nazivom S1 koji je osmišljen za učenje prethodno neviđenih zadataka dugoročnog karaktera iz jedne video demonstracije. Model, lansiran prošli tjedan, koristi video kao ulaz za razumijevanje i izvršavanje zadatka bez ažuriranja njegovih težina ili podvrgavanja post-treningu specifičnom za zadatak - tehnici koja se naziva učenje u kontekstu. 

Skild je izgradio S1 i proveo istraživanje NVIDIA AI infrastrukture, kao dio šire suradnje koja obuhvaća generiranje sintetičkih podataka, obuku modela, simulaciju i primjenu umjetne inteligencije u stvarnom svijetu. Tvrtke surađuju kako bi prilagodljivu robotsku inteligenciju premjestile iz laboratorija u tvornice i druga dinamična operativna okruženja.

Većina industrijskih robota izgrađena je za fiksne poslove, tako da svaki novi proizvod, proces ili raspored zahtijeva više podataka, ponovnu obuku i validaciju.

S1 koristi drugačiji pristup: Operater snima videozapis željenog zadatka i pruža ga modelu kao upit. Interpretira demonstriranu namjeru, objekte i slijed, a zatim ih mapira u akcije za robota ispred sebe - bez ponovne obuke - i često za zadatak koji nije obuhvaćen njegovim skupom podataka za pretreniranje.

S1 može obavljati nepoznate zadatke u trajanju do 10 minuta, uključujući sadnju biljaka, izradu palačinki, kuhanje kave i sastavljanje kompleta. Ti zadaci mogu obuhvaćati desetke koraka manipulacije i zahtijevaju od robota da sastavlja vještine u sekvencama koje prije nije izvodio, kao što možete vidjeti u ovom videu.

U jednom testu sadnje biljaka, Skild AI tim je prešao sa snimanja demonstracije na autonomno izvršavanje na hardveru za samo 11 minuta. Model se također može prilagoditi kada se objekti pomiču, oporaviti od pogrešaka i kombinirati vještine u sekvencama koje nisu bile eksplicitno programirane.

U Skildovim testovima na novim, višekoračnim zadacima, njihov robot S1 uspio je oko 66% vremena u svakom koraku, u usporedbi s 9% za sličan AI sustav, što je više od sedmerostrukog poboljšanja.

Skild također procjenjuje da prikazivanje robotu jednog kratkog video primjera može biti jednako korisno kao i davanje otprilike 380 praktičnih primjera za obuku. Osoba koja ručno prikupi te primjere mogla bi potrošiti 50-100 sati.

NVIDIA ubrzano računalstvo daje Skildu skalu za treniranje zajedničkog robotskog mozga korištenjem simulacije, ljudskog videa, teleoperacije i, gdje je dopušteno, podataka o implementaciji. NVIDIA Cosmos modeli otvorenog svijeta pomažu u diverzifikaciji podataka za treniranje i pretvaranju videa u strukturirane opise, dok Cosmos Curator pomaže u označavanju, filtriranju i organiziranju podataka u velikim razmjerima.

Skild intenzivno koristi NVIDIA-ine otvorene simulacijske okvire za obuku i validaciju svog robotskog mozga prije implementacije u stvarnom svijetu. NVIDIA Omniverse biblioteke i NVIDIA Isaac Sim okvir pružaju fizički utemeljena virtualna okruženja za generiranje podataka, testiranje rubnih slučajeva i validaciju ponašanja.

Skild dodatno jača vještine svog mozga kroz učenje s potkrepljenjem u Isaac Labu, otvorenom modularnom okviru za učenje robota. Pokretan Newtonovim fizikalnim mehanizmom, Isaac Lab pomaže Skildovim inženjerima da precizno modeliraju različite fizičke parametre, poput sila, kontakta, sudara i tlaka, te smanje jaz između simulacije i stvarnosti.