Demenev A.G. MSSiVT-2012

Сервисы Научно-образовательного центра Сервисы Научно-образовательного центра

«Параллельные и распределенные вычисления» «Параллельные и распределенные вычисления» для решения задач механики сплошных среддля решения задач механики сплошных сред

ФГБОУ ВПО «Пермский государственный национальный исследовательский университет»

Научно-образовательный центр «Параллельные и распределенные вычисления»

Доклад на семинаре кафедры механики сплошных сред и вычислительных технологий

(г.Пермь, ПГНИУ, 12 марта 2012 г.)

Автор - к. ф.-м. н., доц. Деменев Алексей Геннадьевич, директор НОЦ ПиРВ, доцент кафедры прикладной математики и информатики мех.-мат.ф-та ПГУ, [email protected]

Деменев А.Г., 2012 1

АктуальностьАктуальность

2

Мультиядерные и многоядерные центральные процессоры (CPU) содержат от нескольких до десятков вычислительных ядер.

Многоядерные графические процессоры общего назначения (GPGPU) содержат десятки-сотни вычислительных ядер.

Объединяют высокоскоростными каналами связи

• компьютеры внутри лаборатории → вычислительные кластеры -.

• вычислительные кластеры разных лабораторий → грид-сети.

Суперкомпьютеры - вычислительные системы из списков TOP500 мира и TOP50 СНГ по производительности.

Деменев А.Г., 2012

АктуальностьАктуальность

3

• Современный компьютерный мир уже массово стал «параллельным» и «распределенным»

• Поэтому требуются специалисты, компетентные в области технологий параллельных и распределенных вычислений.

• Современные наука и техника не могут обойтись без применения высокопроизводительных вычислительных систем, в том числе суперкомпьютеров.

• Поэтому требуются «элитные» специалисты, компетентные в области суперкомпьютерных технологий.

• Ведущие университеты России должны создать научно-образовательную среду для подготовки таких специалистов.

Суперкомпьютерные технологии, в т.ч.облачные

Технологии параллельных и распределенных вычислений

Информационные и коммуникационные

технологии


ЦелиЦелиТребуются специалисты, имеющие особые компетентности:

• формулировать математическую постановку задачи и выбирать численный метод так, чтобы был большой потенциал для распараллеливания вычислений;

• выбирать соответствующий или конструировать новый алгоритм такой, чтобы он допускал эффективную реализацию на многоядерных вычислительных системах;

• свободно владеть современными технологиями разработки параллельных и распределенных программ.

Формирование среды, необходимой для подготовки таких специалистов -направление «Параллельные компьютерные технологии и высокопроизводительные

вычисления» Инновационной образовательной программы Пермского государственного университета (приоритетный национальный проект «Образование», 2006-2007 гг.)


Развитие достижений инновационной Развитие достижений инновационной образовательной программыобразовательной программы

5

2009 г. Научно-образовательный центр «Параллельные и распределенные вычисления» (ПиРВ): •закрепление и развития достижений инновационной образовательной программы. Основные цели НОЦ ПиРВ:

o обеспечение высокого уровня подготовки, переподготовки и повышения квалификации специалистов, в том числе высшей квалификации, по приоритетным и перспективным направлениям науки и технологий, используя новейшие результаты исследований и разработок в области параллельных и распределенных вычислений;

o повышение эффективности научных исследований и инновационной деятельности путем объединения усилий и ресурсов с организациями (ВУЗами, институтами, предприятиями), подписавшими договор о таком сотрудничестве с Университетом.


Инициаторы создания НОЦ ПиРВИнициаторы создания НОЦ ПиРВ

Терпугов Виктор Николаевич, к.т.н., доц., зам. заведующего кафедрой механики сплошных сред и вычислительных технологий ПГУ[email protected]

Русаков Сергей Владимирович, д.ф.-м.н., проф., зав. кафедрой прикладной математики и информатики ПГУ[email protected]

Любимов Дмитрий Викторович, д.ф.-м.н., проф. Годы жизни (1949-2012)

Деменев Алексей Геннадьевич, к.ф.-м.н, доц., директор НОЦ «Параллельные и распределенные вычисления» ПГНИУ, [email protected]

6Деменев А.Г., 2012

Образовательные инновации в ПГУОбразовательные инновации в ПГУ

Особенности инновационных учебных курсов в национальном исследовательском университете:

• самостоятельная работа студентов предусматривает использование средств систем дистанционного обучения, а также активное использование Интернет-ресурсов в качестве источника информации;

• лабораторный практикум предусматривает проведение микроисследований в составе команды из двух-трех студентов.

Использование ресурсов Партнеров, в том числе:• членов Суперкомпьютерного консорциума университетов России;• членов Национальной Суперкомпьютерной Технологической

Платформы;• участников инновационной программы «Университетский кластер»;• участников академических программ, инициируемых

компьютерными компаниями (IBM, Intel, HP, Nvidia и др.)


Суперкомпьютерный консорциум университетов Суперкомпьютерный консорциум университетов РоссииРоссии

• Ежегодное собрание представителей участников Суперкомпьютерного консорциума университетов России (СКУР), в т.ч. Пермского университета.

• СКУР – исполнитель президентского проекта “Создание системы подготовки высококвалифицированных кадров в области суперкомпьютерных технологий и специализированного программного обеспечения”.

http://hpc-russia.ru

http://hpc-russia.ru http://hpc-education.ru http://hpc-education.ru


http://hpc-russia.ru/




http://hpc-education.ru/

http://hpc-education.ru/

Инфраструктура программы «Университетский Инфраструктура программы «Университетский кластер»кластер»

Сайт Программы:http://unicluster.ru • Вычислительные

кластеры, суперкомпьютеры, системы хранения данных, системы визуализации и иные технические средства (Ресурсы);

• каналы связи, объединяющие Ресурсы в единую распределенную вычислительную инфраструктуру;

Технологическая платформа UniHUB.ru:

http://unihub.ru


http://unicluster.ru/

http://unicluster.ru/

http://unihub.ru/

Академические программы Академические программы IBMIBM

• Мэйнфрейм – бесплатно предоставлен IBM для дистанционного использования студентам в рамках конкурса «z-Мастер»;

• Студенты Пермского университета в числе победителей конкурса 2010 г.


Программа развития ПГНИУ

•Тема - «Рациональное природопользование: технологии прогнозирования и управления природными и социально-экономическими системами». •Направлена на создание системы подготовки кадров, генерацию новых знаний и технологий, инновационную деятельность для реализации приоритетного направления развития науки, технологий и техники «Рациональное природопользование».•Сосредоточена на вопросах технологий прогнозирования и управления природными и социально-экономическими системами, по которым Университет находится на лидирующих позициях в Российской Федерации. •Логическое продолжение инновационной образовательной программы, реализованной ПГУ в 2006-2007 гг. в рамках Национального проекта «Образование».

Деменев А.Г., 2012 11

Научно-образовательные комплексы ПГНИУ

Реализация программы предполагается в рамках 4 научно-образовательных комплексов:• «Технологии изучения, освоения, прогнозирования и управления георесурсами и геосистемами» (НОК1),• «Моделирование и управление физическими и химическими процессами, развитие технологий» (НОК2),• «Наукоёмкие технологии управления живыми системами» (НОК3),• «Прогнозирование и управление процессами социально-экономического развития стран и территорий на основе современных информационных технологий» (НОК4).Новые высокопроизводительные сервисы создаются по проекту «Развитие центра коллективного пользования высокопроизводительными вычислительными ресурсами – НОЦ ПиРВ» (руководитель Деменев А.Г.) в рамках НОК2


Центр коллективного пользования высокопроизводительными вычислительными

ресурсами ПГНИУ

Коллектив ЦКП ВВР, оказывая всестороннюю поддержку в проведении ресурсоемких вычислений, помогает клиентам кардинально снижать издержки, существенно повышать скорость внедрения инноваций и увеличивать свою конкурентоспособность.Миссия ЦКП ВВР - устранение барьеров, которые затрудняют исследователям и разработчикам доступ к сверхмощным вычислительным ресурсам. Такими барьерами на сегодня являются высокая стоимость суперкомпьютерного оборудования и специализированного ПО для вычислений, а также дефицит специалистов, способных качественно выполнить сложные расчеты. Коллектив ЦКП ВВР решает эти проблемы клиентов с минимальными затратами: •предоставляет вычислительные мощности и ПО в пользование; •выполняет расчеты силами собственных экспертов; •помогает более эффективно управлять существующими суперкомпьютерными ресурсами.


Высокопроизводительный вычислительный Высокопроизводительный вычислительный комплекс с гибридной архитектуройкомплекс с гибридной архитектурой

Производительность суперкомпьютера «ПГУ-Тесла» :•до 240 задач на вычислительных ядрах CPU Intel Xeon 5670, •до 5376 подзадач на вычислительных ядрах GPGPU Nvidia Tesla S2050; •высокоскоростная сеть QDR Infiniband позволяет в 40 раз быстрее обмениваться информацией между задачами, чем обычная сеть Gigabit Ethernet;•9,0 Терафлопс – пиковая (на операциях с вещественными числами двойной точности);•4,9 Терафлопс – на тесте Linpack (большие задачи линейной алгебры);•суммарный объем оперативной памяти вычислительных узлов – 960 Гигабайт;•система хранения данных – 20 Терабайт.


Суперкомпьютер «ПГУ-Тесла» Суперкомпьютер «ПГУ-Тесла»

Позволяет решать: • научные или инженерные задачи с широкой областью применения, эффективное решение которых возможно только с использованием мощных (суперкомпьютерных) вычислительных ресурсов; • проблему подготовки специалистов, обладающих компетенциями эффективно решать задачи в приоритетных направлениях науки и техники, а также развивать критические и прорывные технологии.Исследователи университета решают научно-технические задачи:• разработка вычислительных и информационных технологий, в том числе суперкомпьютерных и грид-технологий;• математическое моделирование и обработка данных лабораторных экспериментов в области области био- и нанотехнологий, нелинейной физики, механики, математики, информатики, химии, наук о Земле и других;• оптимизация конфигураций инженерно-технических сооружений и установок, а также соответствующих технологических процессов;• разработка новых методов управления экономикой регионов и страны в целом.Используют суперкомпьютер для учебной и учебно-методической работы в 2011–2012 учебном году преподаватели нескольких факультетов ПГУ.


Развитие МТБ для проведения исследований: Развитие МТБ для проведения исследований: высокопроизводительный SMP-сервервысокопроизводительный SMP-сервер

17

Приобретен программно-технический комплекс "высокопроизводительный SMP-сервер".

• Тип компьютера – SMP, процессоров – 8, ядер - 32. Тип процессора - Opteron. ОЗУ - 128 гигабайт. ЖД - 4 терабайта. Коммуникационные интерфейсы - 3 порта GigabitEthernet. ОС - Linux (CentOS). Ускоритель CUDA - ГПУ NVIDIA GTX480.

Предназначен для применения стратегических информационных технологий при проведения исследований, поддержанных грантами РФФИ (09-01-00618, 10-01-9603, 09-06-00254, 09-08-99075-р_офи) :

• (01) математика, информатика и механика; • (06) науки о человеке и обществе;• (07) информационные технологии и вычислительные системы; • (08) фундаментальные основы инженерных наук. Cозданы "облачные" вычислительные сервисы для оказания

информационно-вычислительных услуг по требованию. Комплекс вошел в состав оборудования центра коллективного

пользования высокопроизводительными вычислительными ресурсами – НОЦ ПиРВ ПГНИУ.


Облачные сервисы НОЦ ПиРВ ПГНИУОблачные сервисы НОЦ ПиРВ ПГНИУ

SaaS• на базе открытых пакетов OpenFOAM, Salome, Paraview;• возможность решения задач механики сплошной среды;• визуализации больших объемов научных данных;• инструмент построения сложных расчетных сеток.

PaaS• на базе ОС Linux (CentOS, Ubuntu, Open Suse);• средства разработки параллельного ПО;• возможность создания собственного ПО и участие в проектах Open

Source.IaaS

• на базе Citrix XenServer Free Edition;• возможность создания системного ПО и участие в проектах Open

Source по созданию ОС.HPCaaS

• на базе Torque, Ganglia;• возможность решения задач высокой вычислительной сложности


Высокопроизводительные вычисления для Высокопроизводительные вычисления для фундаментальных исследований в ПГНИУфундаментальных исследований в ПГНИУ

19

Фундаментальные проблемы, решаемые при поддержке РФФИ : • Особенности распространения примеси в пористой среде с учетом

аномальной диффузии.• Особенности теплопереноса через конвективные ячейки,

заполненных суспензией ферромагнитных наночастиц.• Проблемы сохранения, документирования и визуализации

рукописного и печатного историко-культурного наследия и создания на основе современных информационных технологий комплексов исторических источников, представляющих собой полнотекстовые базы данных и информационные системы.

• Особенности механизмов деформирования и разрушения породных и искусственных массивов при их взаимодействии с целью проектирования горнотехнических систем, обеспечивающих эффективное и безопасное освоение месторождений твердых полезных ископаемых подземным способом с закладкой выработанного пространства.


Высокопроизводительные ресурсы для исследования Высокопроизводительные ресурсы для исследования процессов многомасштабной динамики наномагнитов в процессов многомасштабной динамики наномагнитов в твердых телахтвердых телах

20

• Исследователи ПГУ имеют серьезный задел в исследованиях процессов многомасштабной динамики наномагнитов в твердых телах. •Применение суперкомпьютерных технологий в исследовании процессов в парамагнитных и ферромагнитных наноструктурах позволит использовать реалистичные модели из тысяч магнитных частиц.•Результаты важны для развития технологий получения нанодетекторов слабых излучений и создания компактных систем быстрой магнитной записи.


Высокопроизводительные ресурсы для исследования Высокопроизводительные ресурсы для исследования конвективных течений жидкостей, содержащих конвективных течений жидкостей, содержащих наночастицынаночастицы

21

• Исследование конвекции неоднородных по составу жидких сред, содержащих наночастицы: коллоидных смесей и магнитных жидкостей, давно проводится на физическом факультете Пермского университета. •Обнаружены новые механизмы неустойчивости жидкостей, стратифицированных в неоднородном магнитном или гравитационном поле. •Решение задачи на нелинейной стадии осложняется наличием тонких пограничных слоев между областями с различной концентрации примеси, аккуратное разрешение которых требует применения высокопроизводительной вычислительной техники. •Знание законов поведения конвективных течений и теплопереноса, осуществляемого ими, может помочь в конструировании тепловых клапанов. .


Высокопроизводительные ресурсы для прогнозирования Высокопроизводительные ресурсы для прогнозирования состояния атмосферы с более высоким разрешением состояния атмосферы с более высоким разрешением

22

• Пермском государственном университете проводятся исследования связанные с прогнозирование состояния атмосферы с помощью гидродинамических мезомасштабных моделей. •Основной моделью используемой для проведения научных исследования является WRF. •За последние 2 года проведены исследования связанные с изучением возможностей прогнозирования моделью возникновения и развития макромасштабных атмосферных вихрей циклонов и антициклонов. •Были получены поля с разрешением в 10 км. •Изучено пространственно-временное распределение доступной потенциальной и кинетической энергии. •С появлением более производительной вычислительной техники на кафедре появилась возможной получать поля с более высоким разрешением 4 км. .


Услуги НОЦ ПиРВУслуги НОЦ ПиРВ

23

НОЦ ПиРВ готов оказывать различные услуги, в том числе:•предоставление вычислительных ресурсов для математического моделирования, вычислительного эксперимента, обработки информации в научно-образовательных и инновационных целях;•производственная, эксплуатационная деятельность по программному обеспечению функционированию высокопроизводительных ресурсов университета.•В числе потенциальных пользователей услуг НОЦ ПиРВ высокотехнологичные предприятия Пермского края, реализующие инновационные программы развития. •В числе первых, кто протестировал возможности суперкомпьютера «ПГУ-Тесла» на своих задачах ОАО «ПМЗ» и ОАО «Авиадвигатель» , которым уже не хватает вычислительных ресурсов для реализации планов инновационного развития.

.


Список прочностных тестовых задач ОАО Список прочностных тестовых задач ОАО «Авиадвигатель»«Авиадвигатель»

24

Nнаименова

ние

приблизи тельный размер

сеточной модели

приблизитель ный размер на

диске, Мбтип

реша тель

1Рабочая

лопатка ПС-12

163671 узлов; 567317

элементов351

Расчет на прочность

ANSYS

2Корпус

вентилятора ПС-90А2

1094876 узлов; 984493


Расчет пробиваемо сти корпуса

LS-DYNA


Расчет пробиваемости корпусаРасчет пробиваемости корпуса

25

Пакет LS-DYNA v971 R5.1 rev 65543

• Обрыв лопатки рабочего колеса вентилятора авиационного двигателя и соударение ее с корпусом вентилятора (рисунок).

• Число узлов: 1094876; • число элементов: 984493.

Рассчитываемое физическое время процесса 5.0е-5 секунды


Список прочностных тестовых задач ОАО Список прочностных тестовых задач ОАО «Авиадвигатель»«Авиадвигатель»

26

Тестирование расчеты проводились:

• на одном, двух, трех и четырех узлах с использованием разного количества ядер;

• решателем LS-DYNA v971 R5.1 rev 65543 с двойной точностью;

• распараллеливание при помощи Open MPI 1.4.1.

Время расчета зависит не только от числа используемых ядер (Cores), но и от того, на скольких узлах (Nodes) проходит расчет.

Распределение напряжений Распределение напряжений


Время решения задачи в пакете LS-DYNA Время решения задачи в пакете LS-DYNA


Коэффициент распараллеливания при решении задачи в Коэффициент распараллеливания при решении задачи в пакете LS-DYNA пакете LS-DYNA


Расчет пробиваемости корпусаРасчет пробиваемости корпуса

29

Пакет ANSYS13• Задача определения НДС

рабочей лопатки первой ступени турбины газотурбинного двигателя (рисунок).

• Число узлов: 163671; • число элементов: 567317.• Решалась задача контакта

лопатки с диском. • Материалы лопатки и диска

линейно-упругие.• Учитывалась геометрическая

нелинейность.


Рабочая лопатка ПС-12Рабочая лопатка ПС-12

30

Тестовые расчеты проводились на одном, двух, трех и четырех узлах с

использованием разного количества ядер.

Задача решалась решателем PCG.Для ее решения достаточно 8 Гб

оперативной памяти.Активное взаимодействием с дисковой

подсистемой в процессе расчета. В режиме Shared распараллеливание

лишь в рамках одного узла. В режиме Distributed задача

распараллеливалась на нескольких узлах при помощи HPMPI. Распределение напряжений Распределение напряжений


Время решения задачи в пакете ANSYSВремя решения задачи в пакете ANSYS


Коэффициент распараллеливания при решении задачи в Коэффициент распараллеливания при решении задачи в пакете ANSYSпакете ANSYS


Список газодинамических тестовых задач ОАО Список газодинамических тестовых задач ОАО «Авиадвигатель»«Авиадвигатель»

33

Nнаименова

ние

размер сеточной модели

размер на диске, Мб

тип реша тель

1 Сопло Boeing5 млн


газодинамический нестационарный

Fluent

2Вентиляторная ступень ПС-

904.5 млн узлов 2000


ротор-статорCFX

3Камера

сгорания ПС-90

5 млн. элементов (1 млн. узлов)

110газодинамический стационарный с

горениемCFX

4 Сопло Д3030 млн



Fluent

5Подпорная ступень ПС-

9018 млн узлов 8900


ротор-статорCFX


Научно-популярные и профориентационные услуги НОЦ Научно-популярные и профориентационные услуги НОЦ ПиРВПиРВ

•объясняем, почему одна часть технологий параллельных и распределенных со временем должна стать общедоступной, а другая останется «элитарной»; •приводим яркие примеры участия работников и студентов ПГНИУ в исследовательских и образовательных проектах, связанных с использованием параллельных и распределенных вычислений.


Проводим экскурсии:•показываем реальный суперкомпьютер;•обсуждаем массу вопросов о суперкомпьютерных технологиях;•читаем научно-популярную лекцию.На лекции: •рассказываем об актуальности и перспективности суперкомпьютерных и «облачных» технологий;

ЗаключениеЗаключение

35

• ПГНИУ может выпускать специалистов, обладающих достаточно высоким уровнем компетентностей в области параллельных компьютерных технологий и высокопроизводительных вычислений, в т.ч. суперкомпьютерных и «облачных».

• Создание в 2009 г. Научно-образовательного центра «Параллельные и распределенные вычисления» ПГУ нацелено на обеспечение еще более высокого уровня подготовки, переподготовки и повышения квалификации специалистов в этой области.

• Реализация проекта «Развитие центра коллективного пользования высокопроизводительных вычислительных ресурсов – НОЦ ПиРВ» должна привести к созданию коллектива исследователей и разработчиков Пермского государственного национального исследовательского университета, способных выполнять комплексные междисциплинарные проекты, эффективно используя суперкомпьютеры.

• При реализации своих проектов ПГНИУ может опираться на ресурсы, компетенции и помощь своих партнеров.


БлагодарностиБлагодарности

36

Благодарю за поддержку создания облачных сервисов:

• Хеннера Евгения Карловича, проректора ПГНИУ по научной работе и инновациям, руководителя проекта РФФИ 10-01-05021-б;

• Ветрова Андрея Леонидовича, руководителя технической дирекции Программы развития ПГНИУ;

• Макарихина Игоря Юрьевича, ректора ПГНИУ, руководителя Программы развития ПГНИУ.

Выражаю посмертную благодарность

• Любимову Дмитрию Викторовичу!


Надеюсь на плодотворное и взаимовыгодное Надеюсь на плодотворное и взаимовыгодное сотрудничество!сотрудничество!

Список литературы1.Деменев А.Г. Параллельные вычислительные системы:

учеб.-метод. пособие. Перм. ун-т.-2007, 87 с. 2.Суперкомпьютеры.TOP50:[сайт]. URL:

http://top50.supercomputers.ru/3.Пермский государственный национальный

исследовательский университет: [сайт]. URL: http://www.psu.ru/

КонтактыДеменев Алексей ГеннадьевичТел. (342)2396409 Факс (342)2396584E-mail: [email protected]://Demenev.livejournal.com


http://top50.supercomputers.ru/

http://www.psu.ru/

http://www.psu.ru/

http://www.psu.ru/

http://www.psu.ru/

http://www.psu.ru/

http://www.psu.ru/

http://www.psu.ru/

http://www.psu.ru/

mailto:[email protected]

mailto:[email protected]

http://demenev.livejournal.com/

Demenev A.G. MSSiVT-2012

Education

Transcript of Demenev A.G. MSSiVT-2012