List of GPUs Nvidia for Artificial Intelligence

Список графічних процесорів Nvidia для штучного інтелекту

20 травень 2025 р. OLEKSANDR SYZOV

Список графічних процесорів Nvidia для штучного інтелекту

NVIDIA пропонує широкий спектр графічних прискорювачів (GPU), спеціально розроблених та оптимізованих для робочих навантажень штучного інтелекту (ШІ) та глибокого навчання. Ці GPU використовують спеціалізовані ядра, такі як Tensor Cores, для значного пришвидшення обчислень, критично важливих для навчання ШІ, логічного висновку та обробки даних.

Ось список відомих графічних процесорів NVIDIA для штучного інтелекту, а також їхні ключові технічні характеристики:

Графічні процесори NVIDIA для центрів обробки даних (розроблені для високопродуктивних робочих навантажень штучного інтелекту)

1. NVIDIA H200 (архітектура Хоппера)

Архітектура: Хоппер
Форм-фактор: Доступний у SXM (для систем HGX) та PCIe (NVL)
Пам'ять графічного процесора: 141 ГБ HBM3e (пам'ять високої пропускної здатності 3e)
Пропускна здатність пам'яті: 4,8 ТБ/с
З'єднання:

NVLink: 900 Гбіт/с (двонаправлений)
PCIe Gen5: 128 ГБ/с

Продуктивність тензорного ядра (з розрідженістю):

FP8: до 3958 TFLOPS (SXM), 3341 TFLOPS (PCIe)
FP16/BF16: до 1979 TFLOPS (SXM), 1671 TFLOPS (PCIe)
TF32: до 989 TFLOPS (SXM), 835 TFLOPS (PCIe)

Продуктивність FP32: 67 TFLOPS (SXM), 60 TFLOPS (PCIe)
Продуктивність FP64: 34 TFLOPS (SXM), 30 TFLOPS (PCIe)
TDP (розрахункова теплова потужність): до 700 Вт (SXM), до 600 Вт (PCIe)
Багатоекземплярний графічний процесор (MIG): Так, до 7 екземплярів
Ключ до ШІ: H200 розроблений для найвимогливіших робочих навантажень ШІ, особливо для навчання та логічного висновку моделей великих мов (LLM), пропонуючи значні покращення обсягу пам'яті та пропускної здатності порівняно з H100.

2. NVIDIA H100 (архітектура Hopper)

Архітектура: Хоппер
Форм-фактор: Доступний у SXM (для систем HGX) та PCIe
Пам'ять графічного процесора: 80 ГБ HBM3 (або HBM2e для деяких варіантів)
Пропускна здатність пам'яті: до 3,35 ТБ/с (HBM3)
З'єднання:

NVLink: 900 Гбіт/с (двонаправлений)
PCIe Gen5: 128 ГБ/с

Продуктивність тензорного ядра (з розрідженістю):

FP8: до 3958 TFLOPS
FP16/BF16: до 1979 TFLOPS
TF32: до 989 TFLOPS

Продуктивність FP32: до 67 TFLOPS
Продуктивність FP64: до 34 TFLOPS
TDP: до 700 Вт (SXM), 350 Вт (PCIe)
Багатоекземплярний графічний процесор (MIG): Так
Ключ до ШІ: H100 — це графічний процесор найвищого рівня для масштабного навчання ШІ, особливо для генеративного ШІ та LLM, що пропонує революційну продуктивність завдяки своїй архітектурі Hopper та тензорним ядрам.

3. NVIDIA L40S (архітектура Ада Лавлейс)

Архітектура: Ада Лавлейс
Форм-фактор: Двослотовий FHFL (повнорозмірний, повнодовжиний) PCIe
Пам'ять відеокарти: 48 ГБ GDDR6 з ECC
Пропускна здатність пам'яті: 864 ГБ/с
Міжмережеві з'єднання: PCIe Gen4 x16 (64 Гбіт/с)
Продуктивність тензорного ядра (з розрідженістю):

FP8: 1466 TFLOPS
FP16/BF16: 733 терафлопс
TF32: 366 TFLOPS

Продуктивність FP32: 91,6 TFLOPS
TDP: до 350 Вт
Ключ до ШІ: Розроблений як універсальний графічний процесор для генеративного ШІ, виведення та навчання моделей великих мов програмування, а також 3D-рендерингу. Він поєднує потужні можливості ШІ з чудовими графічними функціями.

4. NVIDIA A100 (архітектура Ampere)

Архітектура: Ампер
Форм-фактор: Доступний у SXM (для систем HGX) та PCIe
Пам'ять графічного процесора: 40 ГБ або 80 ГБ HBM2e
Пропускна здатність пам'яті: до 1,55 ТБ/с (40 ГБ) / 2,03 ТБ/с (80 ГБ)
З'єднання:

NVLink: 600 Гбіт/с (двонаправлений)
PCIe Gen4 x16 (64 Гбіт/с)

Продуктивність тензорного ядра (з розрідженістю):

FP16/BF16: до 624 TFLOPS
TF32: до 312 TFLOPS
INT8: До 1248 TOPS

Продуктивність FP32: 19,5 TFLOPS
Продуктивність FP64: 9,7 TFLOPS (19,5 TFLOPS з тензорним ядром)
TDP: 250 Вт (40 ГБ PCIe), 300 Вт (80 ГБ PCIe), до 400 Вт (SXM)
Багатоекземплярний графічний процесор (MIG): Так, до 7 екземплярів
Ключ до ШІ: Робоча конячка для широкого спектру робочих навантажень ШІ/ML, включаючи навчання складних моделей глибокого навчання, високопродуктивні обчислення (HPC) та аналітику даних. Функціональність MIG дозволяє створювати ефективні багатокористувацькі середовища.

5. NVIDIA A40 (архітектура Ampere)

Архітектура: Ампер
Форм-фактор: Двослотовий FHFL (повнорозмірний, повнодовжиний) PCIe
Пам'ять відеокарти: 48 ГБ GDDR6 з ECC
Пропускна здатність пам'яті: 696 ГБ/с
З'єднання:

NVLink: 112,5 ГБ/с (двонаправлений, при підключенні)
PCIe Gen4 x16 (64 Гбіт/с)

Продуктивність тензорного ядра (з розрідженістю):

FP16/BF16: до 299,4 терафлопс
TF32: до 149,6 TFLOPS
INT8: до 1197,4 TOPS

Продуктивність FP32: 37,4 TFLOPS
Теплова потужність (TDP): 300 Вт
Ключ до ШІ: Чудово підходить для візуальних обчислень у поєднанні зі ШІ, таких як віртуальні робочі станції, 3D-рендеринг, моделювання та корпоративний ШІ-вивід, особливо там, де великий обсяг пам'яті є перевагою.

6. NVIDIA L4 (архітектура Ади Лавлейс)

Архітектура: Ада Лавлейс
Форм-фактор: Однослотовий, низькопрофільний PCIe
Пам'ять відеокарти: 24 ГБ GDDR6
Пропускна здатність пам'яті: 300 ГБ/с
Міжмережеві з'єднання: PCIe Gen4 x16 (64 Гбіт/с)
Продуктивність тензорного ядра (з розрідженістю):

FP8: 485 TFLOPS
FP16/BF16: 242 терафлопси
TF32: 120 TFLOPS

Продуктивність FP32: 30,3 TFLOPS
Теплова потужність (TDP): 72 Вт
Ключ до ШІ: високоенергоефективний графічний процесор, ідеальний для логічного висновку ШІ та навчання ШІ меншого масштабу на периферії або в центрах обробки даних, де обмежені потужність та простір. Також підтримує обробку відео та генеративні завдання ШІ.

7. NVIDIA A2 (архітектура Ampere)

Архітектура: Ампер
Форм-фактор: Однослотовий, низькопрофільний PCIe
Пам'ять відеокарти: 16 ГБ GDDR6
Пропускна здатність пам'яті: 200 ГБ/с
Міжмережеві з'єднання: PCIe Gen4 x8
Продуктивність тензорного ядра (з розрідженістю):

FP16/BF16: до 36 TFLOPS
INT8: До 72 TOPS

Продуктивність FP32: 4,5 TFLOPS
TDP: 40-60 Вт (налаштовується)
Ключ до ШІ: графічний процесор початкового рівня для логічного виводу, розроблений для розгортання на периферії та менших робочих навантажень ШІ, де низьке енергоспоживання та компактний форм-фактор є критично важливими.

Пояснення ключових технічних характеристик:

Архітектура (наприклад, Hopper, Ampere, Ada Lovelace): Базова конструкція графічного процесора, яка визначає його основні можливості, ефективність та функції, такі як тензорні ядра. Новіші архітектури зазвичай пропонують значне підвищення продуктивності.
Пам'ять графічного процесора (VRAM): обсяг виділеної високошвидкісної пам'яті на графічному процесорі. Вирішально важлива для обробки великих наборів даних та складних моделей штучного інтелекту (наприклад, моделей великих мов програмування). HBM (пам'ять з високою пропускною здатністю) забезпечує значно більшу пропускну здатність, ніж GDDR.
Пропускна здатність пам'яті: Як швидко дані можуть переміщуватися до пам'яті графічного процесора та з неї. Вища пропускна здатність є важливою для робочих навантажень штучного інтелекту, що потребують інтенсивної обробки даних.
Тензорні ядра: Спеціалізовані процесори на графічних процесорах NVIDIA, призначені для прискорення множення матриць, що є фундаментальними операціями в глибокому навчанні. Вони підтримують різні формати точності (FP16, BF16, TF32, FP8, INT8).
TFLOPS (TeraFLOPS) / TOPS (TeraOPS): одиниці операцій з плаваючою комою за секунду (TFLOPS) або цілочисельних операцій за секунду (TOPS). Більші числа вказують на більшу обчислювальну потужність.

FP32 (одинарна точність обчислень з плаваючою комою): обчислення загального призначення.
FP16 (числа з плаваючою комою половинної точності): поширений варіант для навчання ШІ, що дозволяє заощадити пам'ять і збільшити швидкість з мінімальною втратою точності.
BF16 (Bfloat16): Ще один 16-бітний формат обчислень з плаваючою комою, що пропонує ширший динамічний діапазон, ніж FP16, часто використовується в навчанні штучного інтелекту.
TF32 (Tensor Float 32): формат NVIDIA, який забезпечує діапазон FP32 з точністю FP16, прискорюючи навчання ШІ на тензорних ядрах.
FP8 / INT8: Формати з нижчою точністю, що використовуються переважно для високоефективного штучного виведення.
Розрідженість: метод, за якого частини нейронної мережі з незначним впливом видаляються, що дозволяє тензорним ядрам досягати ще вищої продуктивності.

Міжмережеві з'єднання (NVLink, PCIe):

NVLink: високошвидкісна технологія з'єднання "точка-точка" від NVIDIA, яка дозволяє графічним процесорам безпосередньо взаємодіяти один з одним та з процесорами з набагато вищою пропускною здатністю, ніж PCIe, що є вирішальним для навчання кількох графічних процесорів.
PCIe (PCI Express): Стандартний інтерфейс для підключення графічних процесорів до материнської плати сервера. PCIe Gen5 пропонує вдвічі більшу пропускну здатність, ніж Gen4.

TDP (теплова проектна потужність): максимальна кількість тепла, що генерується графічним процесором, яку система охолодження повинна розсіювати. Впливає на споживання енергії та вимоги до охолодження.
Багатоекземплярний графічний процесор (MIG): функція, яка дозволяє розділити один графічний процесор на кілька ізольованих екземплярів графічного процесора, кожен з яких має виділені ресурси. Це покращує використання графічного процесора для різноманітних або менших робочих навантажень.