NVIDIA H100 NVL è l’acceleratore pensato esclusivamente per ChatGPT
NVIDIA ha presentato una nuova soluzione destinata alla gestione di grandi modelli linguistici.
nvidia

Articolo del

NVIDIA ha presentato una nuova soluzione destinata alla gestione di grandi modelli linguistici.

In base a quanto diffuso dalla società, H100 NVL (H100 NVLink) prevede connettori NVLink nella parte superiore che consentono di collegare due schede adiacenti, inserite però in slot PCI Express 5.0 separati.

H100 NVL è dotata di un chip identico nelle caratteristiche alla versione H100 SXM5, ma troviamo 94 GB di memoria HBM3 per GPU al posto di 80 GB, per un totale di 188 GB. In virtù della maggiore memoria, il bus sale a 6144 bit (1024 bit per ogni stack HBM3) per una bandwidth di 7,8 GB/s.

Sebbene le due schede operino in tandem, parlare di dual GPU appare un attimo forzato: non ci sono due GPU sullo stesso PCB né il progetto ricorda la GeForce 7950 GX2, la scheda gaming a “panino” con due GPU e altrettanti PCB ma un singolo connettore PCIe.

NVIDIA afferma che diverse H100 NVL possono essere usate in parallelo nei server, tanto che i partner stanno mettendo a punto sistemi capaci di ospitare da due a quattro coppie. Ogni H100 NVL viene vista dal sistema operativo come due GPU, ma il carico viene distribuito automaticamente tra i chip senza richiedere modifiche o intervento umano.

Oltre alla H100 NVL, NVIDIA ha presentato NVIDIA L4, una proposta basata su architettura Ada Lovelace che prende il posto della T4 basata sul progetto Turing. Anche in questo caso, la scheda è destinata alla decodifica e transcodifica di flussi video e audio nel cloud.

Google Cloud prevede di usarla in nuove macchine virtuali di classe G2 per accelerare soluzioni basate sull’intelligenza artificiale come Descript. Nella gestione di calcoli di intelligenza artificiale nei video, la nuova NVIDIA L4 raggiunge prestazioni 120 volte superiori e un’efficienza migliore del 99% rispetto a un sistema basato su CPU. La scheda può anche essere usata per decodificare fino a 1.040 flussi video in parallelo. NVIDIA L4 è disponibile in un fattore di forma a basso profilo ed è alimentata solamente tramite lo slot PCIe.

Infine, NVIDIA ha creato anche NVIDIA L40 per la generazione di immagini. “È ottimizzata per grafica e generazione di immagini 3D, 2D e video con l’IA. La piattaforma L40 serve come motore di NVIDIA Omniverse e offre prestazioni fino a 7 volte maggiori nell’inferenza per Stable Diffusion e 12 volte le prestazioni per Omniverse rispetto alla generazione precedente”.

Facebook
Twitter
LinkedIn
Pinterest
Reddit
Tumblr
Telegram
WhatsApp
Print
Email

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

ALTRI ARTICOLI