Post on 19-Jan-2017
Возможности повышения производительности вычислительных кластеров
Всеволод Шабад, генеральный директорvshabad@netproject.ru (985) 765-76-03
IV конференция пользователей tNavigator – Уфа, август 2016
IV конференция пользователей tNavigator – Уфа, август 2016
Кто такой «СетьПроект»?
Нишевой системный интегратор: создаем и развиваем ИТ-инфраструктуру для сейсморазведки и промысловой геофизики
2
IV конференция пользователей tNavigator – Уфа, август 2016
Как посчитать производительность HPC?
Теоретическая пиковая производительность Intel® Xeon® (Гфлопс):
•Кол-во_ядер x Тактовая_частотаx Кол-во_инструкций_за_такт
Пример для Intel Xeon E5-2699v4 (22C, 2.2 GHz):•22 * 2.2 * 16 = 774,40 Гфлопс
Пиковая_производительность_кластера = Кол-во_узлов x Кол-во_CPU
x Пиковая_производительность_CPU
3
Intel, the Intel logo, the Intel Inside logo and Xeon are trademarks of Intel Corporation or its subsidiaries in the U.S. and/or other countries
IV конференция пользователей tNavigator – Уфа, август 2016
Как сделать кластер очень быстрым?
Больше узлов
Больше процессоров
Больше ГГц
Больше ядер
4
Почему бы и нет?
IV конференция пользователей tNavigator – Уфа, август 2016
Какие есть препятствия?
Стоимость•стоимость создания кластера•стоимость эксплуатации кластера
Ограничения смежных подсистем•память, сеть, диск, …
Ограничения масштабируемости
5
http://static.og-hpc.org/Rice2010/Slides/Brazell-Fjerstad-OG-HPC-2010-SLB-Chevron.pdf
IV конференция пользователей tNavigator – Уфа, август 2016
Стоимость создания кластера
Параметр Выбор CPU
Неоптимальный Оптимальный
Сервер Lenovo NeXtScale (nx360 M5)
CPU 2x Xeon E5-2699 v4
(44 ядра, 2.2 ГГц)
2x Xeon E5-2680 v4
(28 ядер, 2.4 ГГц)
RAM 160 ГБ (5.7 ГБ / ядро)
PC4-2400
256 ГБ (5.8 ГБ / ядро)
PC4-2400
HDD нет (загрузка по сети)
Network 1x Infiniband FDR, 2x GigE
Производительность, Тфлопс 1.55 1,08 (–30%)
Цена List Price, USD 45 087 22 226,00 (–51%)
Цена List Price,
USD/Тфлопс29 110,9 20 671,50 (-29%)
6
Типичный вычислительный узел tNavigator в ценах List Price
IV конференция пользователей tNavigator – Уфа, август 2016
Стоимость эксплуатации кластера
Повышение температуры воздуха в серверной на 5O C позволяет снизить энергозатраты системы охлаждения на 20% (Intel, IDC, Gartner)
Штатная температура 35o C•DELL FX2•HPE Apollo 6000•Supermicro MicroBlade
Штатная температура 40o C•Fujitsu CX400•Lenovo NeXtScale
7
IV конференция пользователей tNavigator – Уфа, август 2016
Ограничения смежных подсистем
ОЗУ
Сеть
Локальные диски
Сетевая файловая система
Система охлаждения
…
8
IV конференция пользователей tNavigator – Уфа, август 2016
ОЗУ: постоянный рост производительности
1500 1600 1700 1800 1900 2000 2100 2200 2300 2400 2500
Пропускная способность шины памяти, MT/s
DDR3-1866 DDR3-2133 DDR4-2133 DDR4-2400
+12,5%
9
IV конференция пользователей tNavigator – Уфа, август 2016
ОЗУ: неочевидные ограничения
Пример для HPE Apollo (ProLiant XL230a Gen9):
10
http://h20195.www2.hp.com/v2/getpdf.aspx/c04390759.pdf?ver=9
IV конференция пользователей tNavigator – Уфа, август 2016
Сеть: постоянный рост производительности
20 30 40 50 60 70 80 90 100
Пропускная способность, Гбит/с
TrueScale Infiniband QDR Infiniband FDR Infiniband EDR Omni-Path
11
+79%
IV конференция пользователей tNavigator – Уфа, август 2016
Сеть: неочевидные ограничения
Испытания в лаборатории Mellanox (апрель 2016)
12
IV конференция пользователей tNavigator – Уфа, август 2016
Загрузка компонентов кластера
30%
40%
50%
60%
70%
80%
90%
100%
Оптимальный
(лимитирует только CPU)
Неоптимальный
(ничто не лимитирует —
мощности избыточны)
Неоптимальный
(лимитирует сеть, а не CPU)
Ограничителем производительности кластера должна быть
только производительность CPU!
CPU RAM Network Local HDD Shared File System
13
Ограничения масштабируемости
Неблокируемый кластер из 36 узлов
…
1 коммутатор Infiniband
Неблокируемый кластер из 37 узлов
…
3 коммутатораInfiniband
14
IV конференция пользователей tNavigator – Уфа, август 2016
Как построить эффективный кластер?
Работоспособный
Высокопроизводительный
Расширяемый
Надёжный
Недорогой •во внедрении•в эксплуатации
15
IV конференция пользователей tNavigator – Уфа, август 2016
Обратиться к профессионалам!
Знания•особенностей G&G-приложений•особенностей ИТ-инфраструктуры
Умения•тщательно проектировать•гладко внедрять•слушать и слышать•делать больше, чем обещали
Опыт•различных проектов
у различных заказчиков
16
IV конференция пользователей tNavigator – Уфа, август 2016
О «СетьПроекте»
Для согласования аппаратных конфигураций кластеров,
рабочих станций и инфраструктурных решений наша
компания все чаще привлекает экспертов из фирмы
«СетьПроект».
Коллектив компании неоднократно принимал участие в
формировании архитектур ВЦ под различные технологии
Paradigm и зарекомендовал себя с самой лучшей стороны.
Сергей Левин,Директор по продажам
ООО «Парадайм Геофизикал»
17
IV конференция пользователей tNavigator – Уфа, август 2016
Бежим вместе?
http://www.netproject.ru/
18