Ansys 2021 R2 Требования к программно-аппаратному обеспечению

Выбор подходящего оборудования для использования с инструментами ANSYS окажет значительное влияние на производительность с точки зрения размера модели, производительности и удобства работы пользователей. При конструировании вычислительной системы необходимо учитывать все нижеперечисленные факторы. На этой странице подобрана информация для инженеров, которые хотят принимать обоснованные решения при выборе высокопроизводительного оборудования.

При конфигурировании вычислительной техники рекомендуется рассматривать ее компоненты в порядке приведенного приоритета:

•RAM (оперативная память) – Ограничивает максимальную размерность вычислительной модели (DOF, Degrees of Freedom), которую возможно решить.
•CPU (вычислительные ядра центрального процессора) – Количество вычислительных ядер и их тактовая частота определяют, насколько быстро может быть проведено решение модели. Хороший метод сравнения вариантов CPU является больший безразмерный показатель - F (тактовая частота процессора в номинальном режиме) * N (количество вычислительных ядер) / Cost (стоимость).
•Накопители (диски HDD, SSD) – Определяет, какой объем данных может храниться в системе и как быстро они могут быть записаны / прочитаны.
•Графика (видеокарты) – Рекомендуется дискретная видеокарта для рабочих станций для беспрепятственной визуализации сложных численных моделей и результатов расчета.
•GPU (видеоускорители) – Многие приложения ANSYS получают значительное ускорение в расчетах при использовании графических процессоров. Для некоторых приложений, например Ansys Discovery Live, наличие GPU в системе является обязательным требованием, так как все операции программа выполняет в графическом процессоре.
•Интерконнект (сеть) – Высокопроизводительная сеть (Mellanox Infiniband) позволяет объединять вычислители в кластеры.

Важное замечание: Quad Core Sockets – 4-х сокетные системы. Во многих случаях ANSYS не рекомендует использовать 4-х сокетные системы из-за пропускной способности памяти. Пожалуйста, проконсультируйтесь с представителями ANSYS, если вы рассматриваете такие решения.

MBU (Mechanical)

Процессоры:

•Используйте процессоры с высокой тактовой частотой, но не обязательно с наибольшей. Например, процессоры Intel® Xeon Core серии 62xxR, также известные как процессоры Cascade Lake
•ANSYS рекомендует включить Turbo boost (Intel)/Turbo Core (AMD) и отключить Hyper-threading

Память:
•Рекомендуемый объем оперативной памяти на машину 192 ГБ, но чем больше, тем лучше.
•Для работы на максимальной скорости все каналы памяти должны быть равномерно заполнены одинаковыми объемами памяти. Модули оперативной памяти также должны быть одной модели и частоты.
•Настоятельно рекомендуется использовать память с максимальной частотой, так как пропускная способность памяти является важным фактором. Рекомендуется использовать DDR-2933 МГц или выше.

Интерконнект (решение только для серверов/кластеров):
•Интерконнект Omni-Path, EDR, QDR или FDR IB для распараллеливания задач с использованием двух и более вычислительных узлов в кластере. Минимальная скорость сети для кластеров 10G.

Накопитель:
•Рекомендуется использовать SSD диск (NVMe, M2 интерфейс) для размещения задач для вычисления и HDD диск для хранения.

Графика (рендеринг):
•ANSYS рекомендует различные карты NVIDIA, например NVIDIA Quadro P4000, NVIDIA Quadro RTX 4000. Проверьте рекомендуемые графические адаптеры по ссылке.

Замечание: для рендеринга / отображения - ANSYS требует OpenGL. Рекомендуемый рабочий процесс заключается в том, чтобы выполнять всю преобработку или постобработку на рабочей станции, а не на сервере, если это не графический сервер. Для комфортной работы рекомендуется использовать дискретные видеокарты с поддержкой OpenGL и последние драйверы от производителя.

FBU (CFD-Fluids)

Процессоры:
•Используйте процессоры с высокой тактовой частотой, но не обязательно с наибольшей. Например, процессоры Intel® Xeon Core серии 62xxR, также известные как процессоры Cascade Lake
•ANSYS рекомендует включить Turbo boost (Intel)/Turbo Core (AMD) и отключить Hyper-threading

Память:
•Рекомендуемый объем оперативной памяти на машину 192 ГБ, но чем больше, тем лучше.
•Все каналы памяти должны быть заполнены одинаковыми объемами памяти для работы на максимальной скорости.
•Настоятельно рекомендуется использовать память с максимальной частотой, так как пропускная способность памяти является важным фактором. Рекомендуется использовать DDR-2933 МГц или выше.

Интерконнект (решение только для серверов/кластеров):
•Интерконнект Omni-Path, EDR, QDR или FDR IB для распараллеливания задач с использованием двух и более узлов. Для кластеров минимальная скорость сети 10G.

Замечание: для рендеринга / отображения - ANSYS требует OpenGL. Рекомендуемый рабочий процесс заключается в том, чтобы выполнять всю преобработку или постобработку на рабочей станции, а не на сервере, если это не графический сервер. Используйте дискретные видеокарты с поддержкой OpenGL и последние драйверы от производителя.

AVX2 (только ANSYS Fluent):
•Для ANSYS Fluent 18.2 и выше включение инструкций AVX2 ориентированных на повышение быстродействия процессоров через строку запуска: -platform=intel

EBU (Electronics – High Frequency & Low Frequency)

ANSYS HFSS является in-core решателем. Поэтому важными факторами для HFSS являются объем и скорость ОЗУ, тактовая частота процессора.

Замечание: для рендеринга / отображения - ANSYS требует OpenGL. Рекомендуемый рабочий процесс заключается в том, чтобы выполнять всю преобработку или постобработку на рабочей станции, а не на сервере, если это не графический сервер. Используйте дискретные видеокарты с поддержкой OpenGL и последние драйверы от производителя.

LS-DYNA

•Процессоры:
Intel Xeon Scalable 2-го поколения (62xx/82xx) или AMD EPYC 2-3 поколения (7XX2-7XX3).

•Память:
максимальная скорость при одинаковом заполнении всех каналов памяти, не требуется слишком большой объем оперативной памяти, рекомендуется 8–16 ГБ на ядро.

•Накопитель:
аналогично CFD, LS-DYNA записывает файлы результатов с временным интервалом, обычно эта процедура не доминирует в общем затраченном времени. При небольшом размере модели (10 миллионов), обычного NFS или SSD будет достаточно.

•Интерконнект:
MPI с низкой задержкой (latency) критически важен для запуска LS-DYNA MPP на нескольких вычислительных узлах, даже при их небольшом количестве (от 2 до 4 вычислительных узлов). Настоятельно рекомендуется использовать InfiniBand (Mellanox, Intel) или RDMA Ethernet.

Ansys Discovery

Основные рекомендации для Ansys Discovery.

Минимальные требования для ANSYS Discovery:
•64-битная система Intel или AMD под управлением Windows 10.
•8 ГБ RAM
•Дискретная видеокарта с последними драйверами и видеопамятью не менее 1 ГБ с поддержкой OpenGL 4.5 и DirectX 11 или выше. Использование встроенной графики (например, Intel HD / IRIS) не рекомендуется и не поддерживается на этапе «Refine» в ANSYS Discovery. Ниже приведены специальные требования к графике для этапа «Explore» в ANSYS Discovery.

Требования к графике для ANSYS Discovery Explore
Этап Explore в Ansys Discovery (формально называется Ansys Discovery Live) опирается на новейшие технологии графического процессора для обеспечения вычислений и визуального восприятия. Для запуска программы вам потребуются:
•Специальная видеокарта NVIDIA GPU (рекомендуется Quadro, поддерживается GeForce) на базе архитектуры Kepler, Maxwell, Pascal или Turing. Настоятельно рекомендуется Maxwell 2000 или лучше.
•Не менее 4 ГБ видеопамяти (рекомендуется 8 ГБ) графического процессора.

Утилита проверки совместимости Discovery Explore Stage Compatibility Utility будет запущена после установки, чтобы проверить, поддерживает ли ваше текущее графическое оборудование ANSYS Discovery. Если у вас нет видеокарты, соответствующей этим спецификациям, программное обеспечение не запустится. Кроме того, убедитесь, что у вас установлена последняя версия драйвера для вашей видеокарты, доступная в разделе NVIDIA Driver Downloads загрузок драйверов NVIDIA.

Сервера или рабочие станции

Если у вас есть в наличии или планируется расширение до 32 и более параллельных лицензий (HPC, HPC Pack или HPC Workgroup) и у вас есть один или несколько пользователей, которым необходимо отправлять задания, используя большее количество вычислительных ядер, чем доступно на текущих рабочих станциях, мы рекомендуем серверы (или кластер) с поддерживаемым планировщиком заданий.

Операционные системы

OS Platform Support | OS Platform Support – By Application

Продукты ANSYS поддерживаются в 64-битных операционных системах. Большинство наших клиентов успешно запускают вычислительные модули ANSYS на рабочих станциях под управлением Windows 10. По ссылкам выше представлен полный обзор поддерживаемых платформ ОС.

Серверная ОС (Windows Server или Red Hat Linux / SUSE Enterprise Linux) потребуется в следующих случаях:
•Более 2-х физических сокетов центральных процессоров в системе
•Несколько машин, работающих в кластере
•Множество одновременно работающих пользователей на машине (удаленной или локальной)

Процессор

Рекомендуются новейшие 64-разрядные многоядерные процессоры Intel Xeon и AMD с наивысшей доступной тактовой частотой и количеством ядер. Hyper threading не увеличивает скорость моделирования, всегда оценивайте количество физических ядер для моделирования в ANSYS. Всегда старайтесь получить самую последнюю версию архитектуры ЦП, даже если тактовая частота или количество ядер не кажутся улучшенными. Сегодняшние процессоры почти в два раза быстрее, чем процессоры трехлетней давности, указанные на той же тактовой частоте.

Имейте в виду, что Windows 7/8/10 поддерживает не более двух физических процессоров. Для более двух физических процессоров требуется ОС Windows Server или Linux.

Память

ANSYS рекомендует минимум 16 ГБ памяти. Лучше всего иметь как можно больше памяти с коррекцией ошибок ECC. Объем оперативной памяти, необходимой для конкретной задачи, будет зависеть от размерности сетки, задействованных физических моделей и сложности домена.

Что касается влияния памяти на производительность, у системы либо ее достаточно, либо нет. Если вашей операционной системе не хватает памяти, она попытается использовать жесткий диск в качестве «виртуальной» памяти, что окажет катастрофическое влияние на производительность системы.

Чтобы понять, почему это так, полезно рассмотреть, как работает центральный процессор. У CPU очень малый объем памяти, к которому он может получить доступ немедленно - регистр. Чтобы внести в регистр новые данные, CPU должен дождаться завершения операции текущего процесса, произвести запись нового объема информации в память и только после этих действий продолжить выполнение вычислительного процесса. Существует несколько уровней памяти, к которым имеет доступ ЦП, с возрастающим размером и убывающей производительностью. Уровни кэш-памяти находятся непосредственно в самом CPU и имеют различные уровни, называемые L1, L2 и т. д. Системная память - ОЗУ добавляется к материнской плате модульно, как и жесткий диск. Чтобы соотнести пропорциональную скорость этих уровней памяти, мы можем использовать такое сравнение:

•L1-кэш: 3 секунды
•L2-кэш: 12 секунд
•Системная память: 4 минуты
•Доступ к жесткому диску: 1 год и 3 месяца.

Поэтому можно утверждать, что не стоит экономить на объеме системной памяти!

Накопитель

Для установки и использования программного обеспечения ANSYS рекомендуемый объем дискового пространства 1 ТБ. Эффективный подход к организации хранилища для ANSYS может быть выбор одного диска меньшего объема и очень быстрого (NVMe), который будет использоваться для решения задач, и второго, значительно большего, медленного (HDD, SSD) для хранения архивных проектов. В Ansys Mechanical пользователь может указать каталог Solver Scratch Directory, чтобы решения автоматически выполнялись на высокопроизводительных дисках, но сохранялись в хранилище общего назначения.
Точное влияние хранилища на производительность будет зависеть от того, как ввод-вывод связан с конкретным типом анализа, но производительность дисковой системы становится все более важной по мере увеличения размеров модели. Если для вашего типа анализа ввод/вывод может стать узким местом в производительности системы, обязательно обратите внимание на приведенные ниже дополнительные рекомендации по организации хранилища.

Типы анализа чувствительные к I/O:
•Sparse Solver в Ansys Mechanical с сообщением Out of core
•Block Lanczos Eigensolver
•Решение с методом Distributed Memory Parallel (DMP). В отличие от SMP, где у решателя создается один набор файлов, в DMP каждый параллельный процесс имеет свой собственный набор файлов, и ввод/вывод становится узким местом
•Transient FEA или CFD, при которых большой объем данных записывается на диск

Есть разные способы увеличить производительность хранилища:

NVMe: в последнее время цена на NVMe снизилась, а производительность улучшилась. NVMe (Non-Volatile Memory Express) - наиболее рекомендуемый тип хранилища для требований высокой производительности при чтении и записи данных.

SSD: из расчета на 1 ГБ значительно дороже, чем механические жесткие диски, но могут иметь на 2 порядка более высокую производительность чтения и на порядок более высокую производительность записи. Убедитесь, что у вас установлена современная операционная система с поддержкой TRIM, иначе скорость записи SSD со временем снизится.

RAID0: хотя существует множество различных конфигураций RAID, в которых есть компромиссы между скоростью, отказоустойчивостью и эффективным использованием пространства, RAID0 - единственная конфигурация, которую следует использовать для повышения производительности. RAID0 больше всего жертвует отказоустойчивостью ради производительности, поэтому если какой-либо из дисков в массиве RAID0 выходит из строя, все данные теряются.

SSD + RAID0: убедитесь, что TRIM поддерживается специально для RAID0 с выбранной вами маркой дисков и операционной системой. Если SSD диск поддерживает TRIM, то это еще не означает, что он поддерживается в массивах RAID0 из этих дисков, что является относительно недавней разработкой, для которой часто требуется последняя операционная система (например, Windows 10) и необходимые драйверы.

Графические карты

Чтобы избежать проблем с задержкой отображения при работе с большими сборками рекомендуется использовать профессиональные видеокарты Nvidia и AMD из списка протестированных.

Интегрированная видеокарта ухудшит процесс подготовки задач и обработки результатов на компьютере. Кроме того, приложения AIM и SpaceClaim не будут работать без дискретной видеокарты.

Графические ускорители GPU

Чтобы обеспечить более высокую производительность во время решения, некоторые продукты Ansys (Ansys Mechanical, Ansys Fluent, Ansys HFSS, Ansys Maxwell, Ansys Icepak и Ansys Polyflow) поддерживают перенос части вычислительных операций на GPU. Все типы HPC лицензий позволяют задействовать GPU для ускорения вычислений, при этом чип GPU приравнивается к одному ядру CPU. Обратите внимание, что поддерживаются не все видеокарты с поддержкой CUDA, а только старшие модели NVIDIA Quadro и NVIDIA Tesla. Рекомендуется приобретать карту с максимальным объемом памяти. Список протестированных графических ускорителей приведен ниже:

Поддерживаемые карты GPU

Замечание об использовании GPU для вычислений ANSYS:
•Решения NVIDIA Tesla более функциональны по состоянию на 2021 год;
•Не все типы анализа и операции поддерживаются для вычислений на GPU;
•Вычисления на GPU в настоящее время хорошо подходят для решения определенных типов задач:

‐ Mechanical: прямой решатель Sparse Solver в режиме In-Core с размерностью задачи более 500k+ DOF, до размерности полного использования памяти GPU (обычно <8M DOF);
‐ Mechanical: Решатели PCG / ICG Solver с включенными настройками меньшего значения уровня сложности (Level of Difficulty) и отключенной опцией MSAVE;
‐ Fluent (и Icepak): однофазное течение, связанные решатели, размер модели > 3-4 млн элементов;
‐ Fluent: расчет факторов видимости (View Factor) для модели лучистого теплообмена Surface-to-Surface. Решение уравнений лучистого теплообмена для модели Discrete Ordinates (DO).

Лицензии HPC

Обзор ANSYS HPC

Чтобы в полной мере использовать вычислительное оборудование, убедитесь, что у вас есть соответствующие лицензии HPC, которые отвечают за количество используемых вычислительных потоков (вычислительные ядра CPU, видеускорители GPU).

Существуют гибкие варианты лицензирования: лицензии HPC, HPC Pack и HPC Workgroup. Один графический процессор GPU лицензируется как одно вычислительное ядро. Лицензии HPC Pack имеют бонус нелинейно добавлять к расчету вычислительных потоков. Более полную информацию можно найти в разделе ANSYS HPC.

Форм фактор. Workstation, Server, Cluster

Существует широкий спектр возможных аппаратных решений, и приведенные ниже форм-факторы являются общими категориями. Прежде чем углубляться в детали, ознакомьтесь с ними и определите, что лучше всего подходит для вашей организации.

Рабочие станции

Рабочая станция в первую очередь предназначена для одного инженера и, как правило, предлагает лучший пользовательский интерфейс с точки зрения преобработки и постобработки, при условии, что оборудование подходит для решения моделей требуемой размерности. Для более сложных задач используйте серверное оборудование. Это также единственный форм-фактор, в котором возможны центральные процессоры потребительского уровня с соответствующей стоимостью.

Типичная спецификация:
•1-2 центральных процессоров, Intel Xeon / Core или AMD EPYC (предпочтительные спецификации в зависимости от стоимости - новейшая архитектура, максимальная тактовая частота, наибольшее количество ядер)
•Материнская плата: однопроцессорная для рабочих станций / материнская плата для сервера
•16GB RAM (минимум), 64GB+ рекомендуется, до 256GB
•Дисковое хранилище: 512 ГБ NVMe + 2 ТБ HDD
•Дискретная видеокарта
•Операционная система Windows 10 или RedHat/SUSE Linux

Дополнительно:
•Сервис аренды лицензий и вычислительных мощностей ANSYS Cloud для кратковременного расширения HPC ресурсов
•Nvidia Tesla GPU при необходимости (ускорения решения задач через ГПУ)
•RAID0 SSDs + дисковое хранилище для резервных копий

Сервер

Сервер сетевого доступа (headless server) — это специализированная машина, предназначенная исключительно для вычислений с сетевым доступом. Форм-фактор сервера, а также отсутствие необходимости в графических возможностях, позволяют максимизировать его вычислительные возможности. Этот форм-фактор обычно требует наличия у расчетчика рабочей станции, для преобработки и постобработки.
ANSYS рекомендует настроить и использовать на пре/пост рабочих станциях расчетчиков Remote Solve Manager для автоматизации процесса вычисления с использованием вычислительных ресурсов сетевого сервера. В таком случае скорость сети будет являться важным фактором, особенно при передаче больших файлов результатов.
Тем не менее существует альтернативный вариант работы с сервером сетевого доступа. Пользователи могут удаленно подключаться к его рабочему столу (например, по RDP), копировать туда файлы и работать на нем, как на локальной машине.

Типичная спецификация:
•2-4 центральных процессоров, 8-20 физических ядер в каждом (>2 центральных процессоров требуют серверную ОС)
•64-512GB+ RAM
•6TB+ дисковое хранилище
•Серверная операционная система если используется 3-4 CPU
Дополнительно:
•Сервис аренды лицензий и вычислительных мощностей ANSYS Cloud для кратковременного расширения HPC ресурсов
•Nvidia Tesla GPU
•RAID0 SSDs + дисковое хранилище для резервных копий
•Лицензии Prep-Post (для работы в пре/постпроцессоре во время решения)

Кластер

Для организаций с профильными задачами, превосходящими возможности отдельных вычислительных машин, кластеры будут единственным решением. В некоторых случаях построение кластеров может иметь финансовый смысл при сравнении стоимости двух хороших машин (в кластере) с одной машиной (сервер) топового уровня. Построение вычислителей уровня кластера в большей степени, чем любой другой форм-фактор, потребует привлечения ИТ-специалистов компании с самого начала. Для организации коммуникации расчетчиков с кластером всегда используют Remote Solve Manager и коммерческие планировщики заданий с системой очередей заданий. Также в кластерах очень важна скорость связи (сеть) между вычислительными узлами (серверами) из которых он состоит. Для всех кластеров кроме двухузловых CFD кластеров, рекомендуется использовать высокопроизводительные сети типа Infiniband с большой пропускной способностью (bandwidth) и низким значением задержки обмена данными (latency).

Типичная спецификация одного узла кластера:
•1-2 центральных процессоров, 8-16 физических ядер в каждом (возможны различные варианты в зависимости от класса задач, количества лицензий на решатели и HPC)
•64-256GB+ RAM
•2TB+ дисковое хранилище
•Серверная операционная система

Дополнительно:
•Сервис аренды лицензий и вычислительных мощностей ANSYS Cloud для кратковременного расширения HPC ресурсов
•Nvidia Tesla GPU
•RAID0 SSDs
•Лицензии Prep-Post (для работы в пре/постпроцессоре во время решения)

Дополнительные материалы

Начните построение оптимальной компьютерной инфраструктуры для использования программного обеспечения ANSYS с изучения технической информации о вычислительных платформах, которые тестируются и поддерживаются ANSYS. Используйте ссылки ниже, чтобы узнать о поддерживаемых ANSYS вычислительных платформах, а также о типовых архитектурах вычислительных систем, рекомендованных уважаемыми партнерами.

Данные актуальны для ANSYS 2021R2

Приведенные ниже файлы PDF содержат информацию о поддерживаемых платформах для текущего выпуска Ansys, включая информацию о сертификации и тестировании операционных систем, видеокарт, планировщиков заданий и других компонентов платформы.

Информационные ресурсы, предоставленные партнерами HPC

Для клиентов, которым требуется руководство по конфигурациям высокопроизводительных вычислений (HPC), полезные ресурсы доступны по следующим ссылкам:

•HPC Partner Ecosystem
•Intel Cluster Ready Solutions
•Workstation Refresh ROI Estimator

Тесты производительности Ansys Benchmarks

•Standard Benchmarks: Overview and Performance
•FREE Ansys Performance Benchmark Program