NVIDIA H100 NVL
Architektura GPU NVIDIA Hopper
Akcelerator GPU zoptymalizowany do AI, LLM i obliczeń w centrach danych
14592 rdzenie NVIDIA CUDA do obliczeń równoległych na dużą skalę
456 rdzeni NVIDIA Tensor do trenowania i inferencji modeli AI
94 GB pamięci HBM2e z ECC do obsługi bardzo dużych modeli sztucznej inteligencji
Przepustowość pamięci do 3,9 TB/s
Interfejs PCIe 5.0 x16 zapewniający maksymalną przepustowość danych
Pasywne chłodzenie przeznaczone do serwerów i klastrów GPU
Maksymalny pobór mocy: 400 W
Na zamówienie
Darmowa dostawa
Promocja cenowa na model HDR-15-5
Produkt przeznaczony wyłącznie do zastosowań profesjonalnych
NVIDIA H100 NVL
Opis
NVIDIA H100 NVL - akcelerator GPU dla dużych modeli AI
NVIDIA H100 NVL to zaawansowany akcelerator GPU zaprojektowany specjalnie do obsługi największych modeli sztucznej inteligencji oraz infrastruktury generatywnej AI. Układ oparty na architekturze NVIDIA Hopper zapewnia wyjątkową wydajność w trenowaniu oraz wnioskowaniu modeli AI wykorzystywanych w nowoczesnych centrach danych.
GPU H100 NVL został opracowany z myślą o pracy z ogromnymi modelami językowymi oraz systemami sztucznej inteligencji wykorzystywanymi w przedsiębiorstwach. Dzięki bardzo dużej pojemności pamięci oraz ekstremalnej przepustowości danych umożliwia efektywne przetwarzanie modeli o miliardach parametrów.
NVIDIA H100 NVL został zaprojektowany dla generatywnej AI i dużych modeli językowych — umożliwia trenowanie i uruchamianie najbardziej zaawansowanych systemów sztucznej inteligencji w środowiskach centrów danych.
Architektura NVIDIA Hopper i Tensor Cores
GPU H100 NVL wykorzystuje architekturę NVIDIA Hopper, która została zaprojektowana z myślą o przyspieszeniu obliczeń AI oraz analizie ogromnych zbiorów danych. Akcelerator wyposażony jest w 14592 rdzenie CUDA oraz 456 rdzeni Tensor, które przyspieszają operacje macierzowe wykorzystywane w deep learningu.
Karta oferuje również 94 GB pamięci HBM2e z korekcją błędów ECC oraz przepustowość sięgającą 3,9 TB/s, co pozwala obsługiwać największe modele sztucznej inteligencji dostępne obecnie na rynku.
14592
rdzenie CUDA
rdzenie CUDA
456
rdzenie Tensor
rdzenie Tensor
94 GB
pamięci HBM2e
pamięci HBM2e
3,9 TB/s
przepustowości pamięci
przepustowości pamięci
GPU dla generatywnej sztucznej inteligencji
NVIDIA H100 NVL jest wykorzystywany w infrastrukturze obliczeniowej dla najbardziej zaawansowanych systemów AI. Akcelerator umożliwia zarówno trenowanie ogromnych modeli, jak i ich wdrażanie w środowiskach produkcyjnych.
Large Language Models
trenowanie i inferencja LLM
trenowanie i inferencja LLM
Multimodal AI
modele łączące tekst, obraz i wideo
modele łączące tekst, obraz i wideo
Systemy RAG
AI z bazą wiedzy przedsiębiorstwa
AI z bazą wiedzy przedsiębiorstwa
AI w chmurze
platformy AI-as-a-Service
platformy AI-as-a-Service
Analiza danych
big data i AI enterprise
big data i AI enterprise
HPC
obliczenia naukowe i symulacje
obliczenia naukowe i symulacje
Infrastruktura GPU dla centrów danych
NVIDIA H100 NVL został zaprojektowany do pracy w nowoczesnych systemach serwerowych oraz klastrach GPU obsługujących najbardziej wymagające obciążenia obliczeniowe. Interfejs PCIe 5.0 x16 zapewnia bardzo wysoką przepustowość komunikacji z systemem serwerowym.
Dzięki pasywnemu chłodzeniu oraz maksymalnemu poborowi mocy wynoszącemu 400 W, karta jest przeznaczona do instalacji w profesjonalnych platformach GPU wykorzystywanych w centrach danych oraz infrastrukturze AI.
GPU dla infrastruktury LLM i AI enterprise
Rosnąca złożoność modeli sztucznej inteligencji powoduje zapotrzebowanie na coraz większą moc obliczeniową oraz przepustowość pamięci. NVIDIA H100 NVL został zaprojektowany właśnie z myślą o takich wymaganiach i stanowi jedno z kluczowych rozwiązań wykorzystywanych do budowy infrastruktury AI w przedsiębiorstwach oraz centrach danych.
Specyfikacja
| H100 SXM | H100 NVL | |
|---|---|---|
| FP64 | 34 teraFLOPS | 30 teraFLOPS |
| Rdzenie Tensor FP64 | 67 teraFLOPS | 60 teraFLOPS |
| FP32 | 67 teraFLOPS | 60 teraFLOPS |
| Rdzenie Tensor TF32* | 989 teraFLOPS | 835 teraFLOPS |
| Rdzenie Tensor BFLOAT16* | 1,979 teraFLOPS | 1,671 teraFLOPS |
| Rdzenie Tensor FP16* | 1,979 teraFLOPS | 1,671 teraFLOPS |
| Rdzenie Tensor FP8* | 3,958 teraFLOPS | 3,341 teraFLOPS |
| Rdzenie Tensor INT8* | 3,958 TOPS | 3,341 TOPS |
| Pamięć GPU | 80 GB | 94 GB |
| Przepustowość pamięci GPU | 3,35 TB/s | 3,9 TB/s |
| Dekodery | 7 NVDEC, 7 JPEG | 7 NVDEC, 7 JPEG |
| Maksymalny pobór mocy (TDP) | Do 700 W (konfigurowalny) | 350-400 W (konfigurowalny) |
| Wieloinstancyjne GPU (MIG) | Do 7 MIG po 10 GB każdy | Do 7 MIG po 12 GB każdy |
| Format karty | SXM | PCIe dual-slot, chłodzenie powietrzem |
| Interfejs połączenia | NVIDIA NVLink™: 900 GB/s, PCIe Gen5: 128 GB/s | NVIDIA NVLink: 600 GB/s, PCIe Gen5: 128 GB/s |
| Opcje serwerowe | NVIDIA HGX H100, Partner i systemy certyfikowane przez NVIDIA z 4 lub 8 GPU | NVIDIA DGX H100 z 8 GPU, Partner i systemy certyfikowane przez NVIDIA z 1–8 GPU |
| Dodatki NVIDIA Enterprise | Wliczone | Wliczone |
| Uwagi | *Z użyciem sparsity | |
