L'azienda californiana Cerebras (dal latino cerebrum cioè "cervello") è nata 9 anni fa ed è nota per la sua capacità di produrre dispositivi elettronici per applicazioni di Intelligenza Artificiale basati sulla tecnologia "Wafer-Scale Engine" (WSE), ovvero grandi quanto l'intero wafer di silicio su cui vengono realizzati. Normalmente, invece, da un singolo wafer di 30 cm di diametro l'industria dei semiconduttori ricava svariate dozzine o anche centinaia di dispositivi (processori, acceleratori o memorie), ciascuno con una superficie di pochi centimetri quadrati.
Batterie di server CS basati sul processore Cerebras WFS - Credits: Cerebras
Già nel 2019 l'azienda aveva impressionato il mondo con il primo acceleratore WSE-1, dotato di ben 1200 miliardi di transistor, a costituire 400000 cores e 18 GB di memoria SRAM incredibilmente veloce, capace di scambiare ogni secondo 100 Petabit di informazioni on-board (1017 bit/s). Nell'aprile 2021, poi, venne presentato WSE-2, dotato di 850000 cores e capace di gestire un sistema di rete neurale con ben 120000 miliardi (120 trillions) di connessioni, una complessità già confrontabile con quella del cervello umano! Come mostrato nel grafico sottostante, in questo modo Cerebras ha infranto la celebre "Legge di Moore" alla quale, per decenni, si era attenuta l'industria dei semiconduttori, raddoppiando il numero di transistor su ogni chip ogni 2 anni.
Adesso Cerebras è giunta alla terza generazione WSE, con un chip realizzato in tecnologia di fabbricazione TSMC a 5 nm, grazie alla quale è stato possibile stipare su una superficie di 46255 mm2 la bellezza di 4000 miliardi di transistor. Questo consente di avere quasi un milione di cores e 44 GB di memoria SRAM, che comunica a 170 Pb/s. Per confronto, il concorrente più performante sul mercato, il chip H100 di Nvidia, occupa 814 mm2, conta circa 17000 cores (tra FP16 e Tensor cores) e la memoria "on-board" è di soli 50 MB, con una velocità 7000 volte più bassa!
Confronto tra le dimensioni degli ultimi chip di Cerebras e Nvidia - Credits: Cerebras - Processing: Marco Di Lorenzo
Il nuovo WSE-3 raddoppia le prestazioni del precedente WSE-2 ma ne mantiene invariati i consumi e il prezzo. "WSE-3 è il chip AI più veloce al mondo", ha dichiarato senza mezzi termini Andrew Feldman, CEO e co-fondatore di Cerebras. Il sistema CS-3, basato su questo processore, nasce per addestrare i più grandi modelli di intelligenza artificiale del settore, utilizzando fino a 24000 miliardi di parametri con una prestazione di picco di 125 petaflops in bassa precisione (FP16).
CS-3, il server che alloggia un singolo WSE-3, è destinato alla prossima generazione di sistemi AI, un ordine di grandezza più estesi rispetto a GPT-4 e Gemini. Grazie all'interconnessione SwarmX di nuova generazione si possono connettere tra loro fino a 2048 sistemi CS-3 (contro i 192 di CS-2), attingendo ad un massimo di 1,2 PB (petabyte) di memoria esterna e raggiungendo l'incredibile potenza di calcolo di 250 exaflops in bassa precisione ovvero un quarto di zettaflops!
Confronto tra la complessità di addestramento dei sistemi AI tradizionali (in blu) e di Cerebras-GPT (in arancio); questi ultimi, non appaiono dipendere dal numero di parametri! - Credits: Cerebras - Processing: Marco Di Lorenzo
Difficile immaginare le conseguenze di questa nuova rivoluzione, l'impressione è che ormai siamo molto vicini alla creazione di una intelligenza umana o sovrumana (quella che gli esperti chiamano AGI o Artificial General Intelligence), simile per certi versi al celebre HAL di 2001 Odissea nello Spazio, ma con 25 anni di ritardo nella realizzazione!
GOOGLENEWS
