Google predstavio Gemini Robotics ER 2 model za robote

Google je predstavio Gemini Robotics ER 2 model „utjelovljenog rasuđivanja“ za robotiku kojeg nazivaju mozgom visoke razine za robote.

Omogućuje robotima razgovor s ljudima, razumijevanje fizičkog svijeta i planiranje višekoračnih zadataka. Gemini Robotics ER 2 također može izvorno pozivati ​​alate poput Google pretraživanja kako bi pronašao informacije ili bilo koju drugu korisnički definiranu funkciju, te omogućuje robotu da „razmišlja“ o tome što slijedi dok istovremeno izvodi svoje radnje, kao što možete vidjeti u ovom videu.

Gemini Robotics ER 2 predstavlja značajno poboljšanje u odnosu na Gemini Robotics ER 1.6. Gledanjem kontinuiranih video prijenosa, roboti sada mogu pratiti vlastiti napredak, prilagoditi se ako nešto pođe po zlu i točno znati kada prijeći na sljedeći korak. Također uvodi suradnju više robota, omogućujući robotima da rade zajedno u zajedničkim prostorima i dovršavaju složene tijekove rada koje jedan robot ne bi mogao obaviti sam.

Gemini Robotics ER 2 je javno dostupan programerima putem Gemini API-ja, Google AI Studija i na Gemini Enterprise Agent Platformi.

Google ističe da je Gemini Robotics ER 2 fizički agent koji orkestrira korake za robota i omogućuje mu samoispravljanje i generalizaciju na novije situacije. Za izgradnju agentske postavke, programeri mogu deklarirati sučelja niske razine upravljanja, poput modela Vision-Language-Action (VLA) ili navigacijskih API-ja, kao alate i streamati multimodalni video, audio ili tekst izravno u model.

Pronalaženje trenutka mjeri sposobnost modela da identificira točan video kadar u kojem se odvija kritični događaj, primjerice kada prestati ulijevati kavu u šalicu. Gemini Robotics ER 2 postiže značajna poboljšanja u performansama pronalaženja trenutka, omogućujući robotima precizno prebacivanje između zadataka, provjeru uspjeha i predlaganje ispravaka.

Za zadatke pronalaženja trenutka, Gemini Robotics ER 2 postiže točnost od 91,3% i srednju apsolutnu udaljenost od 0,96 s.

Model radi na sirovim video zapisima umjesto na statičkim snimkama kako bi se uhvatili kvarovi usred izvršavanja poput prelijevanja, proklizavanja ili neusklađenosti.

Opće očitavanje instrumenata proširuje se na kružne brojčanike i kontrolna stakla te uključuje digitalne zaslone, linearne skale, ravnala i tekuće termometre, a tu je i poboljšano vizualno odgovaranje na pitanja kroz Geminijev napredak u multimodalnom razumijevanju.