Cerebras lansira AI procesor s 900 tisuća jezgri

Cerebras predstavlja CS-3 procesor, treću generaciju AI akceleratora veličine vafera koji je namjenski napravljen za treniranje najnaprednijih AI modela. S više od 4 trilijuna tranzistora, odnosno 57 puta više od najvećeg GPU-a, CS-3 je 2 puta brži od svog prethodnika i postavlja rekorde u obučavanju velikih jezičnih i multimodalnih modela.

Korištenjem SwarmX međuveze, do 2048 CS-3 sustava može se povezati zajedno za izgradnju superračunala s umjetnom inteligencijom hiperskaliranja do četvrtine zetaflopa (10^21).

CS-3 se može konfigurirati s do 1200 terabajta vanjske memorije, što omogućuje jednom sustavu da obučava modele s do 24 trilijuna parametara, otvarajući put ML istraživačima za izradu modela 10 puta većih od GPT-4.

Svaka CS-3 jezgra ima 8 širokih FP16 SIMD jedinica, dvostuko više u odnosu na CS-2. Poboljšane su performanse za nelinearne aritmetičke operacije i povećana memorija i propusnost po jezgri. U testiranju u stvarnom svijetu korištenjem modela Llama 2, Falcon 40B, MPT-30B i multimodalnih modela, izmjereno je do 2 puta više tokena/sekundi u odnosu na CS-2.

Dok novi GPU-i troše više nego dvostruku količinu energije, CS-3 udvostručuje performanse bez povećanja snage ili troškova, uvelike smanjujući ukupne troškove.

CS-3 podržava klastere od 2048 sustava koji isporučuju 256 exaflopsa AI računanja i mogu trenirati Llama2-70B od nule za manje od jednog dana. Za usporedbu, Llama2-70B treba otprilike mjesec dana za obuku na Metinom GPU klasteru. Osim toga, zahvaljujući Cerebrasovoj arhitekturi Weight Streaminga, cijeli klaster se programira kao jedan čip, uvelike pojednostavljujući zadatak distribuiranog računalstva.

 Za razliku od GPU-a, Cerebras Wafer Scale Clusters odvajaju računalne i memorijske komponente, omogućujući jednostavno povećanje memorijskog kapaciteta u MemoryX jedinicama. Cerebras CS-2 klasteri podržavaju 1,5 TB i 12 TB MemoryX jedinice. Konfiguracija od 1200 TB sposobna je pohraniti modele s 24 trilijuna parametara, utirući put za modele sljedeće generacije koji su red veličine veći od GPT-4 i Geminija. 

Prvo AI superračunalo izgrađeno pomoću CS-3 je Condor Galaxy 3 (CG-3), treće superračunalo izgrađeno u suradnji između G42 i Cerebrasa. Pokretano pomoću 64 CS-3 sustava, CG-3 od 8 exaflopsa udvostručuje računalni kapacitet CG-2 bez povećanja snage. Za razliku od GPU klastera s desecima tisuća čipova i složenim memorijskim hijerarhijama, CG-3 se predstavlja kao jedan procesor s jednom unificiranom memorijom. To je jedino AI superračunalo koje izgleda i programira se kao jedan uređaj. CG-3 će se proizvoditi u Dallasu, Teksas, a dostupan je u drugom kvartalu 2024. 

Cerebras se udružio i s Qualcommom kako bi razvili zajedničku AI platformu za obuku AI modela. Modeli obučeni na CS-3 mogu se ubrzati na Qualcomm AI 100 Ultra akceleratorima.

Cerebras CS-3 postavlja nove standarde u performansama AI velikih razmjera. Omogućujući exa-scale performanse u jednom logičkom uređaju, klasteri temeljeni na CS-3 pružaju najjednostavniji i najbrži način za izgradnju AI modela sljedeće generacije. CS-3 se od danas isporučuje odabranim kupcima. Cerebras poziva sve zainteresirane koji žele isprobati CS-3 putem oblaka da se obrate njegovom korisničkom timu putem kontaktne forme na ovoj poveznici.