Графічні процесори Intel Gaudi 3 для штучного інтелекту

Графічні процесори Intel Gaudi 3 для штучного інтелекту

Intel Gaudi 3 — це останнє покоління прискорювачів штучного інтелекту Intel, спеціально розроблених для обробки вимогливих робочих навантажень генеративного штучного інтелекту та моделей великих мов програмування (LLM) як для навчання, так і для логічного висновку. Intel прагне запропонувати конкурентоспроможну альтернативу домінуючим графічним процесорам NVIDIA на ринку штучного інтелекту, роблячи акцент на відкритих стандартах та економічній ефективності.

Intel Gaudi 3 доступний у двох основних форм-факторах:

1. HL-325L (модуль прискорення OCP - мезонінна плата OAM): це високопродуктивна версія з високою потужністю, розроблена для щільних серверних конфігурацій.
2. HL-338 (плата розширення PCIe): це більш стандартний форм-фактор PCIe для ширшої сумісності з серверами.

Ось ключові технічні характеристики Intel Gaudi 3, що об'єднують характеристики для обох форм-факторів, де це можливо:

Загальна архітектура та основні характеристики:

• Виробничий процес: Побудовано на 5-нм техпроцесі TSMC.
• Обчислювальні двигуни:
• Механізми множення матриць (MME): 8 одиниць. Це спеціалізовані ядра для ефективних операцій з матрицями, що є вирішальними для глибокого навчання.
• Ядра тензорних процесорів (TPC): 64 одиниці. Це програмовані векторні процесори, призначені для глибокого навчання та логічного висновку.
• Вбудована SRAM: 96 МБ із пропускною здатністю 12,8 ТБ/с, що забезпечує швидку локальну пам'ять для ядер.
• Медіа-двигуни: 14 декодерів, 4 ротаторні двигуни, що вказує на можливості обробки різних медіаформатів для застосувань штучного інтелекту.
• Інтерфейс хоста: PCIe Gen 5.0 x16, що забезпечує високу пропускну здатність (128 Гбіт/с у двонаправленому режимі) для зв'язку з процесором хоста.

Підсистема пам'яті:

• HBM (пам'ять високої пропускної здатності): 128 ГБ пам'яті HBM2e.
• Пропускна здатність HBM: 3,7 ТБ/с, що забезпечує надзвичайно високу пропускну здатність даних для моделей штучного інтелекту, що ресурсомісткі з пам'яттю. Контролер HBM оптимізований як для випадкових, так і для лінійних шаблонів доступу.

Мережева робота та масштабованість:

• Вбудований Ethernet: 24 інтегровані порти RoCE (RDMA over Converged Ethernet) зі швидкістю 200 Гбіт/с. Це суттєва відмінність, яка сприяє відкритій та гнучкій мережі на основі Ethernet для масштабованого (в межах одного сервера) та масштабованого (між кількома серверами) підключення.
• Загальна двонаправлена ​​пропускна здатність мережі: 1200 Гбіт/с. Це забезпечує величезну пропускну здатність зв'язку між прискорювачами всередині вузлів та між ними, що є критично важливим для масштабного розподіленого навчання ШІ.
• Відкритий стандарт: Intel наголошує на використанні галузевого стандарту Ethernet, що має на меті зменшити прив'язку до постачальника та спростити інтеграцію порівняно з пропрієтарними з'єднаннями.

Показники продуктивності (порівняно з Gaudi 2 та часто H100):

• Обчислення ШІ (FP8): 1835 TFLOPS (терафлопс).
• Обчислення ШІ (BF16): 1835 TFLOPS (терафлопс).
• Вектор BF16 TFLOPs: 28.7.
• Покращення поколінь: Intel заявляє про вдвічі більшу обчислювальну потужність штучного інтелекту (FP8), вчетверо більшу обчислювальну потужність штучного інтелекту (BF16), вдвічі більшу пропускну здатність мережі та в 1,5 раза більшу пропускну здатність пам'яті порівняно з Gaudi 2.
• Час навчання: Intel стверджує, що Gaudi 3 може бути в середньому в 1,5 раза швидшим за часом навчання, ніж NVIDIA H100 для певних моделей.

Характеристики живлення та форм-фактора:

• HL-325L (ОАМ):
• Теплова потужність (TDP): 900 Вт.
• Форм-фактор: сумісний з модулем прискорення OCP V2.0. Вони призначені для інтеграції в спеціалізовані базові плати, часто групами по вісім на серверний вузол (наприклад, в інтегрованій підсистемі потужністю 7,6 кВт).
• HL-338 (карта PCIe):
• Теплова потужність (TDP): 600 Вт.
• Форм-фактор: Повнорозмірна, подвійної ширини, 10,5-дюймова плата PCIe. Це дозволяє встановлювати її в ширший спектр серверів, що підтримують карти PCIe подвійної ширини.

Цільове застосування:

Intel Gaudi 3 розроблений для найвимогливіших робочих навантажень штучного інтелекту, зокрема:

• Навчання та логічний висновок моделей великих мов (LLM): Висока ємність пам'яті, пропускна здатність та обчислювальна потужність роблять її ідеальною для величезних обчислювальних потреб та вимог до пам'яті LLM.
• Генеративний ШІ: Забезпечення роботи з мультимодальними застосунками генеративного ШІ, включаючи перетворення тексту на зображення, тексту на відео та інші завдання створення контенту.
• Високопродуктивні обчислення (HPC): прискорення складних наукових симуляцій та аналізу даних, що використовують паралельну обробку.
• Корпоративний ШІ: Забезпечення масштабованого та ефективного рішення для різних випадків використання корпоративного ШІ.

Стратегія Intel з Gaudi 3 полягає в тому, щоб запропонувати переконливу альтернативу на ринку апаратного забезпечення штучного інтелекту, зосереджуючись на продуктивності, відкритій розробці програмного забезпечення та економічній ефективності завдяки використанню Ethernet для масштабування.

Найкращі ціни на офіційні сервери DELL PowerEdge R760 в Україні.

Безкоштовна консультація за телефоном +38 (067) 819 38 38

Доступні моделі серверів відповідно до Києва:

Сервер Dell PowerEdge R760 - Intel Xeon Silver 4510 2.4-4.1Ghz 12 ядер

Сервер Dell PowerEdge R760 - Intel Xeon Silver 4514Y 2.0-3.4Ghz 16 ядер

Сервер Dell PowerEdge R760 - Intel Xeon Gold 6526Y 2.8-3.9Ghz 16 ядер

Сервер Dell PowerEdge R760 - Intel Xeon Gold 5420+ 2.0-4.1Ghz 28 ядер