Dobór stacji pod lokalne AI | Cz. 2: GPU i akceleratory NVIDIA

Seria: dobór stacji pod lokalne AI · Część 02 / 06

GPU to serce stacji do AI i zwykle jej najdroższy element. To też wybór, w którym najłatwiej przepłacić albo kupić kartę, która nie udźwignie modelu. Ta część jest praktycznym przewodnikiem: jak czytać specyfikację akceleratora pod inferencję i agentów, jak rozumieć architektury oraz formaty precyzji NVIDIA i jak dobrać konkretny układ do modelu i obciążenia.

W części 1 ustaliliśmy trzy liczby rządzące lokalnym AI: pojemność pamięci (VRAM), jej przepustowość i moc obliczeniową. Teraz przykładamy je do realnych kart NVIDIA, od stacji roboczych po centrum danych. Skupiamy się na NVIDIA, bo to ekosystem CUDA i sprzęt, który faktycznie trafia do stacji oraz serwerów AI u naszych klientów.

Komputery AI Elmatic z kartami NVIDIA RTX. Zobacz platformy RTX

01 Co naprawdę liczy się w karcie do AI

Karta do gier i karta do AI to dwa różne kryteria zakupu. Co więcej, samo „AI" to nie jeden workload: inne parametry decydują przy generowaniu tekstu, inne przy treningu, a jeszcze inne przy renderingu. Patrzymy na cztery rzeczy: pojemność VRAM, przepustowość pamięci, rdzenie CUDA (FP32) oraz rdzenie Tensor (niska precyzja FP8/FP4). Poniższa macierz pokazuje, które z nich są decydujące, istotne lub drugorzędne w zależności od zastosowania.

Wniosek dla lokalnych agentów LLM jest jednoznaczny. Przy dekodowaniu, czyli generowaniu odpowiedzi token po tokenie, decydują VRAM i przepustowość pamięci, a rdzenie CUDA schodzą na drugi plan. Rola rdzeni Tensor i niskiej precyzji rośnie dopiero przy dużym batchu, wielu użytkownikach i treningu. To dlatego karta z dużą i szybką pamięcią potrafi bić kartę z samymi wysokimi TFLOPS-ami.

02 Typy pamięci: GDDR, HBM, LPDDR

Akceleratory NVIDIA używają dziś trzech rodzajów pamięci, a różnice w przepustowości między nimi są ogromne. GDDR (GDDR6, GDDR7) trafia do kart konsumenckich i stacji roboczych. HBM (HBM3, HBM3e) to pamięć układana w stos, montowana tuż przy rdzeniu w kartach do centrum danych. LPDDR5x to pamięć unified, współdzielona z procesorem.

W praktyce różnicę najlepiej widać na wykresie przepustowości kilku reprezentatywnych układów:

HBM bywa kilkukrotnie szybsze od GDDR i to ono napędza najszybszą generację tokenów oraz obsługę dużej liczby równoległych sesji. GDDR7 w kartach RTX PRO jest jednak bardzo dobre dla pojedynczego użytkownika i niewielkich zespołów, przy ułamku ceny i poboru mocy układów HBM. Pamięć unified stawia na pojemność kosztem przepustowości.

03 Pamięć unified kontra dedykowany VRAM

W klasycznej karcie każdy układ ma własną, dedykowaną pamięć (GDDR lub HBM). W architekturze Grace Blackwell (układ GB10 w DGX Spark czy GB200) CPU i GPU współdzielą jedną, dużą pulę pamięci unified. To zupełnie inny kompromis.

Tu wraca wątek modeli MoE z części 1. Skoro przy każdym tokenie aktywuje się tylko ułamek parametrów, niższa przepustowość pamięci unified mniej przeszkadza, a jej duża pojemność pozwala w ogóle zmieścić model. Dlatego DGX Spark ze 128 GB unified uruchamia modele rzędu 200 mld parametrów, których nie zmieści żadna pojedyncza karta z dedykowanym VRAM. To świetna platforma do prototypowania i pracy z dużymi modelami przy biurku, choć nie do maksymalnej przepustowości produkcyjnej.

04 Architektury i compute capability

Każda generacja NVIDIA dokłada nowe możliwości, zwłaszcza w obsłudze niskiej precyzji. „Compute capability" (CC, oznaczenie sm_) to wersja architektury, od której zależy, jakie formaty i instrukcje karta wspiera natywnie. To ważne, bo nie każda karta „rozumie" FP8 czy FP4.

Najważniejsze skoki dla AI to FP8 (Ada, Hopper) oraz FP4 (Blackwell). Ciekawostka: konsumencki Blackwell (RTX 50, RTX PRO Blackwell) ma compute capability 12.0, a zintegrowany GB10 z DGX Spark to 12.1. Oba obsługują FP4, ale ich model rdzeni Tensor jest bliższy generacji Ampere niż wersji data-center. W praktyce: FP4 owszem, lecz część najnowszych usprawnień wydajnościowych zarezerwowano dla układów data-center (B200, B300).

05 Formaty precyzji: od FP32 do FP4

W części 1 patrzyliśmy na kwantyzację od strony „ile zajmie VRAM". Tu spojrzymy od strony sprzętu, czyli które formaty karta liczy natywnie. Zasada jest prosta: mniej bitów to mniej pamięci i większa szybkość, kosztem dokładności. Nowoczesne karty potrafią mieszać formaty, trzymając wagi w niskiej precyzji, a wrażliwe operacje w wyższej.

Dla lokalnej inferencji w 2026 punktem wyjścia jest FP8 (Hopper, Ada, Blackwell), a FP4 (tylko Blackwell) daje maksymalny throughput tam, gdzie liczy się przepustowość. BF16 i FP16 zostają głównie do treningu oraz jako format referencyjny. To bezpośredni powód, dla którego generacja Blackwell jest dziś tak atrakcyjna do lokalnego AI.

06 Mapa układów NVIDIA: pełny przegląd

Poniższa tabela porządkuje aktualną ofertę według roli i generacji. Kolor komórki przepustowości odpowiada klasie pamięci: czerwony poniżej 1 TB/s, bursztynowy od 1 do 3 TB/s, zielony powyżej 3 TB/s (HBM).

Widać tu wyraźny podział. Karty RTX (Ada i Blackwell PRO) nie mają NVLink i łączą się przez PCIe Gen5, co dla jednej lub dwóch kart w stacji jest w zupełności wystarczające. NVLink i NVSwitch to domena układów HBM w centrum danych. FP4 pojawia się dopiero w generacji Blackwell i to ona wyznacza dziś kierunek dla najwydajniejszej inferencji.

07 NVLink i skalowanie multi-GPU

Gdy jedna karta przestaje wystarczać, wiele GPU trzeba ze sobą połączyć. Sposób połączenia decyduje o tym, jak dobrze skalują się duże modele rozłożone na kilka kart (tzw. tensor parallelism), w którym karty muszą bardzo szybko wymieniać dane przy każdej warstwie.

• PCIe Gen5: uniwersalna magistrala, którą łączą się karty RTX. Wystarcza do obsługi wielu użytkowników i do 2–4 kart, ale ma niższą przepustowość między GPU niż NVLink.
• NVLink: bezpośredni, szybki most między kartami HBM. W Hopperze to 900 GB/s, w Blackwellu 1,8 TB/s na GPU. Pozwala wielu kartom pracować niemal jak jedna.
• NVSwitch i NVL72: przełącznik łączący wiele GPU w jeden, spójny pool pamięci. W GB200 NVL72 aż 72 układy działają jak jeden gigantyczny akcelerator.

08 Ta sama karta w różnych edycjach

Jeden i ten sam układ graficzny NVIDIA często trafia na rynek w kilku edycjach. Nie różnią się one krzemem ani pamięcią, lecz środowiskiem pracy: zasilaniem, chłodzeniem i formatem. To powtarzalny wzorzec w całej ofercie profesjonalnej, więc warto zrozumieć go raz. Najlepiej widać go na RTX PRO 6000 Blackwell, który występuje w trzech edycjach dzielących ten sam krzem (GB202, 24 064 rdzenie CUDA, 752 rdzenie Tensor 5. generacji, 96 GB GDDR7 ECC, 1,79 TB/s, FP4, PCIe Gen5, bez NVLink):

W praktyce: Workstation daje maksimum z jednej karty na biurku, Max-Q jest stworzona do gęstego upakowania 2 do 4 kart przy najlepszej efektywności energetycznej, a Server trafia do szaf rack pracujących bez przerwy. Ten sam podział na edycje obejmuje też inne karty RTX PRO Blackwell (np. RTX PRO 4500 i 5000, a w wariantach oszczędnych RTX PRO 4000 SFF i RTX PRO 2000).

Liczy się też fizyczny format karty

Edycja to jedno, ale przy zabudowie równie ważny jest format fizyczny: wysokość, liczba zajmowanych slotów i sposób montażu. Ta sama klasa układu bywa dostępna w wersji do dużej wieży i w niskoprofilowej do obudowy SFF (Small Form Factor) albo serwera 1U. Najczęstsze formaty zebraliśmy w tabeli.

Dlatego ten sam układ miewa kilka wcieleń. H100 występuje aż w trzech formatach: moduł SXM (700 W, pełny NVLink), karta PCIe (350 W) oraz parowana NVL (dwie karty spięte mostkami). Workstationowa RTX 4000 Ada ma z kolei niskoprofilową odmianę SFF o połowie poboru mocy (70 W zamiast 130 W). Wniosek praktyczny: przy wyborze patrz nie tylko na nazwę i pamięć karty, ale też na edycję i format dopasowane do Twojej obudowy oraz chłodzenia.

09 Platformy: od DGX Spark po MGX

Te same układy trafiają do bardzo różnych obudów, od mini-komputera na biurko po szafę w serwerowni. Poniżej te platformy w ujęciu „jaki GPU i jaka pamięć". Szczegóły dotyczące zasilania, chłodzenia, sieci i kosztu rozwiniemy w częściach 3 do 6.

Widać prawidłowość z poprzednich sekcji: im bliżej centrum danych, tym szybsza pamięć (HBM), więcej kart i wyższa moc, ale też wyższy koszt i pobór energii. DGX Spark wygrywa pojemnością unified i ceną wejścia, stacje i serwery RTX skalują się kartami RTX PRO 6000, a MGX to modularny fundament pod dowolne układy data-center.

10 NVIDIA AI Enterprise: co daje licencja

Sama karta wystarczy, by uruchomić CUDA, PyTorch czy vLLM. NVIDIA AI Enterprise (NVAIE) to płatna warstwa produkcyjna: wsparcie z gwarancją, wirtualizacja, orkiestracja i długoterminowe łatki. Część kart (np. edycja Server, H200 NVL) bywa sprzedawana w pakiecie z licencją. Pełne rozważania kosztowe zostawiamy do części 6, tu pokazujemy, co konkretnie dokłada licencja.

Krótko: do prototypu i pracy deweloperskiej licencja nie jest potrzebna. Staje się istotna, gdy wchodzisz na produkcję dla realnych użytkowników, wirtualizujesz GPU między zespołami albo potrzebujesz wsparcia z gwarancją i stabilnych, długo wspieranych wersji sterowników.

11 Jak dobrać GPU do modelu i obciążenia

Dobór zaczyna się od wzoru z części 1: VRAM ≈ wagi modelu + (KV cache na sesję × liczba sesji) + ~15% narzutu. Najpierw liczysz, ile pamięci potrzebujesz, a potem dobierasz klasę karty i platformę. Poniżej praktyczna ściąga dla typowych scenariuszy.

To punkt wyjścia, a nie ostateczna recepta. Realny dobór zależy jeszcze od długości kontekstu, liczby równoczesnych sesji, wymagań co do czasu odpowiedzi oraz budżetu. Tu właśnie warto skorzystać z konsultacji, żeby nie przepłacić ani nie kupić za małej karty.

Zobacz też nasz wpis Jaka karta graficzna do AI oraz platformy Elmatic z NVIDIA RTX.

Co dalej w serii

Mamy już serce stacji. W części 3 zajmiemy się resztą węzła wokół GPU: CPU, RAM i platformą. Pokażemy, ile rdzeni i pamięci systemowej naprawdę potrzeba, czym są linie PCIe i dlaczego zbyt słaby procesor albo za mało RAM potrafią zmarnować potencjał nawet najdroższej karty.

Jeśli chcesz dobrać akcelerator pod konkretny model i obciążenie, nasi inżynierowie pomogą przejść od wymagań do gotowej konfiguracji.