Графические процессоры Intel Gaudi 3 для искусственного интеллекта

Графические процессоры Intel Gaudi 3 для искусственного интеллекта

Безкоштовная Профессиональная консультация по серверному обладанию.

Тел: +38 (067) 819-38-38 / E-mail: server@systemsolutions.com.ua

Конфигуратор Сервера DELL PowerEdge R760

Intel Gaudi 3 — это новейшее поколение ИИ-ускорителей Intel, специально разработанных для ресурсоёмких задач генеративного ИИ и больших языковых моделей (LLM) как для обучения, так и для вывода. Intel стремится предложить конкурентоспособную альтернативу доминирующим графическим процессорам NVIDIA на рынке ИИ, делая упор на открытые стандарты и экономическую эффективность.

Intel Gaudi 3 доступен в двух основных форм-факторах:

1. HL-325L (модуль ускорителя OCP — мезонинная плата OAM): это высокопроизводительная и мощная версия, предназначенная для плотных конфигураций серверов.
2. HL-338 (карта расширения PCIe): это более стандартный форм-фактор PCIe для более широкой совместимости с серверами.

Ниже приведены основные технические характеристики Intel Gaudi 3, объединяющие спецификации для обоих форм-факторов, где это применимо:

Общая архитектура и основные характеристики:

• Производственный процесс: построен на 5-нм техпроцессе TSMC.
• Вычислительные машины:
• Механизмы умножения матриц (MME): 8 единиц. Это специализированные ядра для эффективных матричных операций, критически важных для глубокого обучения.
• Ядра тензорных процессоров (TPC): 64 единицы. Это программируемые векторные процессоры, предназначенные для задач глубокого обучения и вывода.
• Встроенная SRAM: 96 МБ с пропускной способностью 12,8 ТБ/с, обеспечивающая быструю локальную память для ядер.
• Медиа-движки: 14 декодеров, 4 ротатора, что указывает на возможности обработки различных медиа-форматов для приложений ИИ.
• Хост-интерфейс: PCIe Gen 5.0 x16, обеспечивающий высокую пропускную способность (128 ГБ/с в обоих направлениях) для связи с центральным процессором.

Подсистема памяти:

• HBM (память с высокой пропускной способностью): 128 ГБ памяти HBM2e.
• Пропускная способность HBM: 3,7 ТБ/с, что обеспечивает чрезвычайно высокую скорость передачи данных для моделей искусственного интеллекта, требующих больших объёмов памяти. Контроллер HBM оптимизирован как для случайных, так и для линейных шаблонов доступа.

Сетевые возможности и масштабируемость:

• Встроенный Ethernet: 24 интегрированных порта RoCE (RDMA over Converged Ethernet) со скоростью 200 Гбит/с. Это существенное отличие, способствующее созданию открытой и гибкой Ethernet-структуры для масштабирования как в пределах сервера, так и вширь (на несколько серверов).
• Общая пропускная способность двунаправленной сети: 1200 ГБ/с. Это обеспечивает огромную пропускную способность связи между ускорителями внутри узлов и между ними, что критически важно для масштабного распределенного обучения ИИ.
• Открытый стандарт: Intel делает акцент на использовании отраслевого стандарта Ethernet, который призван снизить зависимость от поставщика и упростить интеграцию по сравнению с фирменными соединениями.

Показатели производительности (по сравнению с Gaudi 2 и часто H100):

• ИИ-вычисления (FP8): 1835 терафлопс (терафлопс).
• AI Compute (BF16): 1835 TFLOPS (терафлопс).
• BF16 Vector TFLOPs: 28,7.
• Улучшение поколений: Intel заявляет о двукратном увеличении вычислительной мощности ИИ (FP8), четырехкратном увеличении вычислительной мощности ИИ (BF16), двукратном увеличении пропускной способности сети и в 1,5 раза увеличении пропускной способности памяти по сравнению с Gaudi 2.
• Время обучения: Intel утверждает, что Gaudi 3 может быть в среднем в 1,5 раза быстрее по времени обучения, чем NVIDIA H100 для некоторых моделей.

Характеристики мощности и форм-фактора:

• HL-325L (ОАМ):
• Тепловая мощность: 900 Вт.
• Форм-фактор: совместимый с OCP Accelerator Module V2.0. Они предназначены для интеграции в специализированные платы, часто группами по восемь модулей на серверный узел (например, в интегрированной подсистеме мощностью 7,6 кВт).
• HL-338 (карта PCIe):
• Тепловая мощность: 600 Вт.
• Форм-фактор: полноразмерная PCIe-карта двойной ширины длиной 10,5 дюйма. Это позволяет устанавливать её на более широкий спектр серверов, поддерживающих PCIe-карты двойной ширины.

Предполагаемые области применения:

Intel Gaudi 3 разработан для самых ресурсоемких рабочих нагрузок ИИ, включая:

• Обучение и вывод на основе большой языковой модели (LLM): большой объем памяти, пропускная способность и вычислительная мощность делают его идеальным для удовлетворения огромных вычислительных и ресурсоемких требований LLM.
• Генеративный ИИ: поддержка многомодальных приложений генеративного ИИ, включая преобразование текста в изображение, преобразование текста в видео и другие задачи по созданию контента.
• Высокопроизводительные вычисления (HPC): ускорение сложного научного моделирования и анализа данных с использованием параллельной обработки.
• Корпоративный ИИ: предоставление масштабируемого и эффективного решения для различных вариантов использования корпоративного ИИ.

Стратегия Intel в отношении Gaudi 3 заключается в том, чтобы предоставить убедительную альтернативу на рынке оборудования для ИИ, уделяя особое внимание производительности, открытой разработке программного обеспечения и экономической эффективности за счет использования Ethernet для масштабирования.

Получите доступ к официальным серверам DELL PowerEdge R760 в Украине.

Безкоштовная консультация по телефону +38 (067) 819 38 38

Доступные модели серверов на складе в Киеве:

Сервер Dell PowerEdge R760 - Intel Xeon Silver 4510 2.4-4.1Ghz 12 Cores

Сервер Dell PowerEdge R760 - Intel Xeon Silver 4514Y 2.0-3.4Ghz 16 Cores

Сервер Dell PowerEdge R760 — Intel Xeon Gold 6526Y 2,8–3,9 ГГц, 16 ядер

Сервер Dell PowerEdge R760 — Intel Xeon Gold 5420+ 2,0–4,1 ГГц, 28 ядер