Posty otagowane 'Komputery rack 19” i wolnostojące'

Liczy GPU, ale to procesor, pamięć operacyjna i platforma decydują, czy karta dostanie dane na czas. W tej części, prowadzonej w duchu Intel-first, tłumaczymy, ile rdzeni i kanałów pamięci naprawdę potrzeba, czym jest akcelerator AMX do inferencji na CPU i jak dobrać platformę: od Core Ultra, przez Xeon w, po Xeon 6 i NVIDIA Grace.

Dobra odpowiedź na pytanie „jaki sprzęt pod lokalne AI?" nie zaczyna się od nazwy karty graficznej. Zaczyna się od zrozumienia, co obciąża sprzęt podczas pracy modelu. W pierwszej części serii rozkładamy lokalne AI na trzy liczby: pojemność pamięci (VRAM), jej przepustowość i moc obliczeniową, oraz pokazujemy, jak kwantyzacja i KV cache decydują o doborze stacji.