Проэктирование современных решений охлаждения ЦОД
-
Upload
nick-turunov -
Category
Documents
-
view
1.303 -
download
6
Transcript of Проэктирование современных решений охлаждения ЦОД
![Page 1: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/1.jpg)
Проектирование современных решений охлаждения ЦОД.
Михаил Балкаров
Системный Инженер
APC by Schneider Electric
![Page 2: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/2.jpg)
Программа• Обзор текущего положения дел с энергопотреблением. • Case study параметров запускаемого в настоящего время в МГУ им.
М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку.
• Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров.
• Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений.
• Обзор классических систем охлаждения• Заключение: выводы и рекомендации
![Page 3: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/3.jpg)
Динамика роста тепловой плотности ИТ-продуктах (прогноз 1999г.)
![Page 4: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/4.jpg)
Динамика роста тепловой плотности в ИТ-продуктах (прогноз 2005г.)
![Page 5: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/5.jpg)
Реалии сегодняшнего дня
• 10...12 кВт для 1-2 RU серверов (“pizza”)• 15…20 кВт для blade-серверов
Продажи серверов в России Q4 2008 (IDC)
6,658
21,673
10,286Blade
Rack-optimized
Other
![Page 6: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/6.jpg)
HPC (High Performance Computing)
• Полигон «Formula 1» для многих технологий
• Наиболее «горячие» серверы
![Page 7: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/7.jpg)
Энергопотребление 1 PFlop/s компьютера
• www.top500.org• Энергопотребление компьютера с
производительностью 1 Pflop/s = 2.5 … 15 MВт
• Энергопотребление 19” стойки с серверами– CRAY XT5 (#2): 32…43 кВт– SGI Pleiades (#4): 21 кВт– T60 (#82): 33 кВт
![Page 8: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/8.jpg)
Программа• Обзор текущего положения дел с энергопотреблением. • Case study параметров запускаемого в настоящего время в
МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 70 кВт на стойку.
• Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров.
• Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений.
• Обзор классических систем охлаждения• Выводы и рекомендации
![Page 9: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/9.jpg)
Проект Т-500
• Заказчик: МГУ им. М.В.Ломоносова• Генеральный контрактор: Т-Платформы• Расчетная производительность 500 ТФлоп/с• Энергопотребление вычислителя: до 2.4
МВт, общее потребление площадки около 4 МВт
• Горячие серверные стойки 65...70 кВт (!!), конфигурация рассчитана на теплосъем до 75 кВт со стойки
![Page 10: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/10.jpg)
![Page 11: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/11.jpg)
• (фото с площадки)
![Page 12: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/12.jpg)
![Page 13: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/13.jpg)
T-500: энергетика
• 60 стоек с нагрузкой, 40 внутрирядных кондиционеров
• Средняя нагрузка ~40 кВт/стойку с активным оборудованием
• В каждом «островке» 8 горячих стоек, по 62...65 кВт тепловыделения
![Page 14: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/14.jpg)
T-500• APC InRow RC, 600mm, Chilled Water, 380-
415V, 50Hz • Штатная производительность по холоду 37
кВт• 37кВт х 10 = 370кВт• Тепловыделение одного «островка» =
540...620 кВт• В чем же фокус?...
![Page 15: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/15.jpg)
Программа• Обзор текущего положения дел с энергопотреблением. • Сравнение применимости чиллерных систем охлаждения и
фреоновых (DX) для суперкомпьютерных приложений.• Сравнение эффективности построения схем охлаждения с
контейнеризацией холодного и горячего коридоров.• Case study параметров запускаемого в настоящего время в МГУ им.
М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку.
• Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений.
• Обзор классических систем охлаждения• Выводы и рекомендации
![Page 16: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/16.jpg)
Контейнеризация горячего коридора
![Page 17: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/17.jpg)
Контейнеризация холодного коридора
![Page 18: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/18.jpg)
Горячий коридор
45˚С 25˚С
~10˚С
7˚С 12˚С
ΔT = 45-10 = 35˚С
• Производительность кондиционера ~ ΔT = 35˚C
![Page 19: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/19.jpg)
Холодный коридор
30…35˚С 25˚С
~10˚С
ΔT = 30…35 - 10 = 20…25˚С
• Производительность кондиционера ~ ΔT = 20…25˚C
![Page 20: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/20.jpg)
Холодный или горячий?• Выигрыш в производительности кондиционера в
1.5 раза (в данном примере; выигрыш может быть существеннее)
• Пример: APC InRow CW ACRC501:– 44 кВт при ΔT = 22˚C; 11 кондиционеров для 500 кВт
тепла– 71 кВт при ΔT = 35˚C; 7 кондиционеров для 500 кВт
тепла• В 1.5 раза меньше кондиционеров для отвода
того же количества тепла• Экономия площади, денег, энергопотребления
![Page 21: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/21.jpg)
Программа• Обзор текущего положения дел с энергопотреблением. • Case study параметров запускаемого в настоящего время в МГУ им.
М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку.
• Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров.
• Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений.
• Обзор классических систем охлаждения• Выводы и рекомендации
![Page 22: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/22.jpg)
Ограничения фреоновых систем охлаждения
• Ограничение по температуре входного воздуха: не выше 30˚С, со склонностью к «эффекту домино». Требование к избытку воздуха, с ростом потребления вентиляторов
• Реализация бесперебойного охлаждения • В данном проекте дополнительная мощность на выходе
ИБП для реализации непрерывного охлаждения составила 120 кВт (кондиционеры, циркуляционные насосы), или 5% от мощности нагрузки
• Реализация непрерывного охлаждения с фреоновыми кондиционерами потребовала бы ~1.6 МВт дополнительной мощности ИБП для поддержки ВСЕЙ системы кондиционирования
![Page 23: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/23.jpg)
Программа• Обзор текущего положения дел с энергопотреблением. • Case study параметров запускаемого в настоящего время в МГУ им.
М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку.
• Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров.
• Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений.
• Обзор классических систем охлаждения• Выводы и рекомендации
![Page 24: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/24.jpg)
Фальшпол
• Большое перемешивание• Следовательно вынужденное занижение
выходной температуры и завышение объема воздуха
• Следовательно низкая эффективность кондиционера и высокое потребление вентиляторов
• Неравномерность подачи
![Page 25: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/25.jpg)
Фальшпол + контейнеризация
• Высокое сопротивление систем трубопроводов
• Следовательно вынужденное завышение давления подачи воздуха
• Следовательно высокое потребление вентиляторов
• Неравномерность подачи
![Page 26: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/26.jpg)
Серверы с прямым водяным охлаждением
• 75 кВт на стойку => при ΔТ сервера = 20˚С => скорость воздуха 2.4 м/с на входе стойки
• IBM, Supermicro, Sun Microsystems, ... выводят на рынок серверы с прямым водяным охлаждением
![Page 27: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/27.jpg)
IBM Aquasar (BladeCenter with water cooling)
2009
![Page 28: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/28.jpg)
![Page 29: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/29.jpg)
IBM Bluefire
2008
![Page 30: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/30.jpg)
![Page 31: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/31.jpg)
Скиф-Аврора (Скиф ряд 4)
ИПС РАН, 2009
![Page 32: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/32.jpg)
![Page 33: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/33.jpg)
![Page 34: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/34.jpg)
Прямое водяное охлаждение серверов
• На ближайшие ~10 лет – ТОЛЬКО для HPC (высокопроизводительные вычисления)
• Почему?• Представьте себе установку 1 (одного) нового
сервера с водяным охлаждением в существующей серверной...
• Представьте себе сервер(ы) с водяным охлаждением в hosting/co-lo ЦОДе...
• Доказано: 40 и даже 60 кВт/стойку снимаются воздухом
![Page 35: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/35.jpg)
Выводы и рекомендации
• Глобальное потепление продолжается• 10...15...20 кВт/стойку, далее?..• In-row (внутрирядное) кондиционирование
доказало свою применимость для решения широкого круга задач
• Герметизация горячего коридора, кондиционеры на чиллерной воде – составляющие рецепта
• Самое важное: использованы ИСКЛЮЧИТЕЛЬНО серийные компоненты без какой-либо доработки
![Page 36: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/36.jpg)
Сервера с прямым водяным охлаждением
• Применимость в обозримом будущем – лишь HPC-приложения
![Page 37: Проэктирование современных решений охлаждения ЦОД](https://reader036.fdocuments.net/reader036/viewer/2022062405/5564134fd8b42a0d0c8b53e0/html5/thumbnails/37.jpg)
Текущая отметка
• 65 кВт/стойку, среднее тепловыделение 40 кВт/стойку
• Что дальше?