HBC demonstrira vodstvo u AI zaključivanju

Qualcomm Technologies unapređuje AI inferenciju s prvom generacijom Qualcomm High Bandwidth Compute (HBC ) silicija koji je uspješno izveo kompletan put čitanja i pisanja u memoriji i izračune blizu memorije u laboratoriju u San Diegu. Ovi hardverski rezultati pokazuju da ključna tehnologija radi kako je dizajnirana - prekretnica u pružanju memorijske osnove za Qualcommove platforme AI inferencije sljedeće generacije.

Prve generacije Qualcomm HBC silicija validirale su put čitanja i pisanja cijele memorije i izračune blizu memorijskog nivoa u dimenzijama reprezentativnim za produkciju.

Kako umjetna inteligencija prelazi u produkciju, sustavi zaključivanja moraju se suočiti s ključnim izazovom skaliranja: kako se sve sposobniji modeli mogu posluživati ​​u velikom obimu bez dopuštanja da snaga i troškovi rastu istom brzinom?

Za zaključivanje modela velikih jezika, propusnost memorije je središnje ograničenje. Generiranje svakog tokena zahtijeva podatke modela koji se moraju dostaviti za izračun. Na razini podatkovnog centra, energija i latencija povezane s tim kretanjem značajno utječu na propusnost, potrošnju energije i ukupne troškove vlasništva.

Qualcomm kaže da HBC rješava ovo ograničenje u samom izvoru. Smještajem računalstva bliže memoriji, HBC smanjuje kretanje podataka i povećava efektivnu propusnost, poboljšavajući jednadžbu performansi po vatu za opterećenja zaključivanja umjetne inteligencije.

Sljedeći korak je već u tijeku. Qualcomm Dragonfly AI250, čija se dostupnost očekuje u prvoj polovici 2027., integrirat će HBC u cjelovitu platformu za akcelerator AI inferencije. U Qualcomm Dragonfly Racku, full-stack rješenje za inferencijalnu infrastrukturu, prema Qualcommu će donijeti provjerene prednosti HBC-a u pogledu propusnosti i učinkovitosti.

"Za hiperskalere, pružatelje usluga u oblaku i poduzeća, vrijednosna ponuda je izravna: visokoučinkovito zaključivanje umjetne inteligencije osmišljeno za poboljšanje tokena po dolaru po vatu, uz fleksibilnost otvorene, dezagregirane arhitekture racka", kaže Qualcomm u svojem priopćenju.