VIDEO: Google poboljšava AI spekulativnim dekodiranjem
Veliki jezični modeli (LLM-ovi) u središtu su nedavnog brzog napretka u umjetnoj inteligenciji . Iako su revolucionarni, izazov za proizvode namijenjene korisniku je u tome što su ti veliki modeli zbog svoje veličine spor i u zaključivanju, odnosno "generiranju izlaza", što može rezultirati neželjeno sporim korisničkim iskustvom.
Google je 2022. godine objavio "brzo zaključivanje iz transformatora putem spekulativnog dekodiranja", koje je uvelo tehniku koja se zove spekulativno dekodiranje koje može značajno smanjiti vrijeme zaključivanja za LLM.
Sada Google detaljno objašnjava...
- Objavljeno u Novosti