Highload для начинающих, Дмитрий Обухов (Mail.ru)

HighLoadдля начинающих

HighLoad для начинающих

Dmitry E. Oboukhov

31 октября 2014

HighLoad, что это?

I Конференция?

I Высокая нагрузка?I Миф?!

I Конференция?I Высокая нагрузка?

I Миф?!

I Конференция?I Высокая нагрузка?I Миф?!

Высокая нагрузка что это?

I 53.328 ∗ 109 запросов в секунду? - средний CPU

I Более реалистично!I 1 запрос в секунду? - любой веб сервер?...

перекодирующий видеоролики? :)

I 53.328 ∗ 109 запросов в секунду?

- средний CPU

I Более реалистично!

I 1 запрос в секунду? - любой веб сервер?...перекодирующий видеоролики? :)

I Более реалистично!I 1 запрос в секунду?

- любой веб сервер?...перекодирующий видеоролики? :)

Высокая нагрузка это:

Нагрузка, с которой не справляетсяжелезо

Высокая нагрузка это:

Нагрузка, с которой не справляетсяжелезо

Когда это бывает?

Достигнуты технические ограниченияI Сеть - за рамками данного доклада

I ПамятьI CPUI Хранилище данных

Достигнуты технические ограничения

I Сеть - за рамками данного доклада

Достигнуты технические ограниченияI Сеть

- за рамками данного доклада

I Память

I CPUI Хранилище данных

I ПамятьI CPU

I Хранилище данных

Причины

I Недоиспользование железаI Трудности масштабирования

Причины

I Недоиспользование железа

I Трудности масштабирования

Причины

I Недоиспользование железаI Трудности масштабирования

Причины

Архитектурные проблемы

Недоиспользование железа

Рассмотрим типичный вебсервер.

на Perl, Python, Ruby...

Задачи одного цикла

I Чтение запроса из сети.I Парсинг запроса http.I Валидация запроса, выбор

контроллера.I Запрос(ы) к хранилищу данных.I Формирование ответа (template).I Отправка ответа клиенту.

Традиционная реализация

I один процесс на один циклI один тред на один цикл

Рассмотрим типичный вебсервер. на Perl

, Python, Ruby...

Рассмотрим типичный вебсервер. на Perl, Python

, Ruby...

Рассмотрим типичный вебсервер. на Perl, Python, Ruby

Рассмотрим типичный вебсервер. на Perl, Python, Ruby...

I Чтение запроса из сети.

I Парсинг запроса http.I Валидация запроса, выбор

I Чтение запроса из сети.I Парсинг запроса http.

I Валидация запроса, выборконтроллера.

I Запрос(ы) к хранилищу данных.I Формирование ответа (template).I Отправка ответа клиенту.

контроллера.

I Запрос(ы) к хранилищу данных.I Формирование ответа (template).I Отправка ответа клиенту.

контроллера.I Запрос(ы) к хранилищу данных.

I Формирование ответа (template).I Отправка ответа клиенту.

контроллера.I Запрос(ы) к хранилищу данных.I Формирование ответа (template).

I Отправка ответа клиенту.

I один процесс на один цикл

I один тред на один цикл

Начались разговоры о HighLoad?

I Увеличение числа процессов/тредов.I Увеличение числа серверов.

I Увеличение числа процессов/тредов.

I Увеличение числа серверов.

I Увеличение числа процессов/тредов.I Увеличение числа серверов.

Вернемся к рассматриваемому серверу

I Проблемы наступили при ≈100 запросах в секунду.I Увеличили число процессов в работе.

Помогло.I Новые проблемы при ≈150 запросов в секунду.I Дальнейшее увеличение числа процессов помогает слабо.

I Проблемы наступили при ≈100 запросах в секунду.

I Увеличили число процессов в работе.Помогло.

I Новые проблемы при ≈150 запросов в секунду.I Дальнейшее увеличение числа процессов помогает слабо.

Помогло.

I Новые проблемы при ≈150 запросов в секунду.I Дальнейшее увеличение числа процессов помогает слабо.

Помогло.I Новые проблемы при ≈150 запросов в секунду.

I Дальнейшее увеличение числа процессов помогает слабо.

Что делать?

I Менять архитектуру?- Мы над этим 3 года работали!

I Добавлять второй сервер?- Это тоже не просто!(бизнеслогика)

Спокойно!I Провести анализ архитектуры.I Провести измерения.I Найти слабые места.

I Менять архитектуру?

- Мы над этим 3 года работали!I Добавлять второй сервер?

- Это тоже не просто!(бизнеслогика)

I Добавлять второй сервер?

- Это тоже не просто!(бизнеслогика)

Спокойно!

I Провести анализ архитектуры.I Провести измерения.I Найти слабые места.

Спокойно!I Провести анализ архитектуры.

I Провести измерения.I Найти слабые места.

Спокойно!I Провести анализ архитектуры.I Провести измерения.

I Найти слабые места.

Измерения

Чтение запроса из сети. 15К RPSПарсинг запроса, валидация, выбор контроллера. 150К RPS/CPU

Запросы к хранилищу. 60К RPSФормирование ответа (Соединение данных с template) 100К RPS/CPU

Отправка ответа клиенту. 15К RPS

ИзмеренияЧтение запроса из сети. 15К RPS

Парсинг запроса, валидация, выбор контроллера. 150К RPS/CPUЗапросы к хранилищу. 60К RPS

Формирование ответа (Соединение данных с template) 100К RPS/CPUОтправка ответа клиенту. 15К RPS

Парсинг запроса, валидация, выбор контроллера. 150К RPS/CPU

Запросы к хранилищу. 60К RPSФормирование ответа (Соединение данных с template) 100К RPS/CPU

Формирование ответа (Соединение данных с template) 100К RPS/CPU

Итого1

115 103

+ 1150 103

+ 160 103

+ 1100 103

+ 115 103

= 6000RPS

Но, позвольте!I У нас проблемы на 150 RPS!I Тут что-то не так!

Итого1

115 103

+ 1150 103

+ 160 103

+ 1100 103

+ 115 103

= 6000RPS

Но, позвольте!

I У нас проблемы на 150 RPS!I Тут что-то не так!

Итого1

115 103

+ 1150 103

+ 160 103

+ 1100 103

+ 115 103

= 6000RPS

Но, позвольте!I У нас проблемы на 150 RPS!

I Тут что-то не так!

Итого1

115 103

+ 1150 103

+ 160 103

+ 1100 103

+ 115 103

= 6000RPS

Но, позвольте!I У нас проблемы на 150 RPS!I Тут что-то не так!

Начинаем разбираться

I Хранилище выходит на свои RPS при достаточно большом числесоединений к нему.

I Либо хранилище надо располагать локально.неприемлемо.

I То же самое и с взаимодействием с клиентом.

I Попробуем еще увеличить число процессов?I Проблемы стали больше!I Почему?!

I Либо хранилище надо располагать локально.

неприемлемо.

I Попробуем еще увеличить число процессов?

I Проблемы стали больше!I Почему?!

I Попробуем еще увеличить число процессов?I Проблемы стали больше!

I Почему?!

Резюме ситуации, еще раз

I Имеется 100500 строк кода, над которым работали несколько лет.I Этот код AS IS по результатам измерений может выдавать гораздо

больше RPS чем в реальности.I Проблемы начинаются на уровне RPS на порядок меньших, нежели

расчетные.

I Имеется 100500 строк кода, над которым работали несколько лет.

I Этот код AS IS по результатам измерений может выдавать гораздобольше RPS чем в реальности.

I Проблемы начинаются на уровне RPS на порядок меньших, нежелирасчетные.

больше RPS чем в реальности.

I Проблемы начинаются на уровне RPS на порядок меньших, нежелирасчетные.

больше RPS чем в реальности.I Проблемы начинаются на уровне RPS на порядок меньших, нежели

расчетные.

Еще раз рассмотрим цикл обработки

I Ожидание запроса (данных) от пользователя.I Парсинг запроса, валидация.I Формирование запроса (запросов) в БД.I Ожидание ответа (ответов) из БД.I Соединение данных из БД с шаблоном.I Ожидание отправки данных клиенту.

I Следующий клиент!

I Ожидание запроса (данных) от пользователя.

I Парсинг запроса, валидация.I Формирование запроса (запросов) в БД.I Ожидание ответа (ответов) из БД.I Соединение данных из БД с шаблоном.I Ожидание отправки данных клиенту.

I Ожидание запроса (данных) от пользователя.I Парсинг запроса, валидация.

I Формирование запроса (запросов) в БД.I Ожидание ответа (ответов) из БД.I Соединение данных из БД с шаблоном.I Ожидание отправки данных клиенту.

I Ожидание запроса (данных) от пользователя.I Парсинг запроса, валидация.I Формирование запроса (запросов) в БД.

I Ожидание ответа (ответов) из БД.I Соединение данных из БД с шаблоном.I Ожидание отправки данных клиенту.

I Ожидание запроса (данных) от пользователя.I Парсинг запроса, валидация.I Формирование запроса (запросов) в БД.I Ожидание ответа (ответов) из БД.

I Соединение данных из БД с шаблоном.I Ожидание отправки данных клиенту.

I Ожидание запроса (данных) от пользователя.I Парсинг запроса, валидация.I Формирование запроса (запросов) в БД.I Ожидание ответа (ответов) из БД.I Соединение данных из БД с шаблоном.

I Ожидание отправки данных клиенту.

Измеряем

Ожидание запроса (данных) от пользователя. 70 мксПарсинг запроса, валидация. 6 мкс

Формирование запроса (запросов) в БД. 1 мксОжидание ответа (ответов) из БД. 16 мкс

Соединение данных из БД с шаблоном. 10 мксОжидание отправки данных клиенту. 70 мкс

ИзмеряемОжидание запроса (данных) от пользователя. 70 мкс

Парсинг запроса, валидация. 6 мксФормирование запроса (запросов) в БД. 1 мкс

Ожидание ответа (ответов) из БД. 16 мксСоединение данных из БД с шаблоном. 10 мксОжидание отправки данных клиенту. 70 мкс

Парсинг запроса, валидация. 6 мкс

Формирование запроса (запросов) в БД. 1 мксОжидание ответа (ответов) из БД. 16 мкс

Ожидание ответа (ответов) из БД. 16 мкс

Ожидание ответа (ответов) из БД. 16 мксСоединение данных из БД с шаблоном. 10 мкс

Ожидание отправки данных клиенту. 70 мкс

ИтогоI Код выполнялся: 6+ 1+ 10 =

17 мксI Чего-либо ожидали: 70+ 16+ 70 = 156 мксI Код выполняется только 10% времени!I И при этом тормозит!

ИтогоI Код выполнялся: 6+ 1+ 10 = 17 мкс

I Чего-либо ожидали: 70+ 16+ 70 = 156 мксI Код выполняется только 10% времени!I И при этом тормозит!

ИтогоI Код выполнялся: 6+ 1+ 10 = 17 мксI Чего-либо ожидали: 70+ 16+ 70 =

156 мксI Код выполняется только 10% времени!I И при этом тормозит!

ИтогоI Код выполнялся: 6+ 1+ 10 = 17 мксI Чего-либо ожидали: 70+ 16+ 70 = 156 мкс

I Код выполняется только 10% времени!I И при этом тормозит!

ИтогоI Код выполнялся: 6+ 1+ 10 = 17 мксI Чего-либо ожидали: 70+ 16+ 70 = 156 мксI Код выполняется только 10% времени!

I И при этом тормозит!

ИтогоI Код выполнялся: 6+ 1+ 10 = 17 мксI Чего-либо ожидали: 70+ 16+ 70 = 156 мксI Код выполняется только 10% времени!I И при этом тормозит!

#include <unistd.h>

int main(int argc, char **argv) {int i;for (;;) {

usleep(70); usleep(7);usleep(16); usleep(10);usleep(70);

Недоиспользование железаИтого

I Код, делающий только sleep в цикле неплохо грузит CPU- по моим измерениям - где-то 15% загрузки на CPU

I Запустив десяток таких “воркеров”, получаем примерно такую женагрузку как на проблемном сервере.

I Понятно что пример синтетический (есть вопросы к реализации usleep).

Вернемся к нашему серверу

I Каждая отдельная часть имеет хорошую производительностьдостаточную для развития проекта еще на несколько лет вперед.

I Большую часть времени (90%) наш код проводит в ожидании.I Что делать?

I Код, делающий только sleep в цикле неплохо грузит CPU

- по моим измерениям - где-то 15% загрузки на CPUI Запустив десяток таких “воркеров”, получаем примерно такую же

нагрузку как на проблемном сервере.I Понятно что пример синтетический (есть вопросы к реализации usleep).

I Каждая отдельная часть имеет хорошую производительность

достаточную для развития проекта еще на несколько лет вперед.I Большую часть времени (90%) наш код проводит в ожидании.I Что делать?

I Большую часть времени (90%) наш код проводит в ожидании.

I Что делать?

Просто реорганизовать код

Событийно-ориентированное программирование

Компьютер — это конечный автомат. Треды для тех людей,которые не умеют программировать конечные автоматы.

Алан Кокс

Избавимся от тредов!

- и процессов.

Избавимся от тредов!- и процессов.

Машина событий

I Вся работа делается в обработчике события.- в общем случае - callback.

I Когда программе нечего делать (например она ждет события), тоуправление возвращается машине событий.в общем случае - return из callback.

I Обработчик события может генерировать другие события иустанавливать другие обработчики.

Машина событийI Вся работа делается в обработчике события.

- в общем случае - callback.I Когда программе нечего делать (например она ждет события), то

управление возвращается машине событий.в общем случае - return из callback.

- в общем случае - callback.

I Когда программе нечего делать (например она ждет события), тоуправление возвращается машине событий.в общем случае - return из callback.

управление возвращается машине событий.

в общем случае - return из callback.I Обработчик события может генерировать другие события и

устанавливать другие обработчики.

Событийно-ориентированное программированиеПерестроим наш сервер

I Ожидание запроса от пользователя.- заменится обработчиком события "пришел запрос от пользователя"

I Парсинг запроса, валидация.- не изменится

I Формирование запроса (запросов) в БД.- не изменится

I Ожидание ответа (ответов) из БД.- заменится обработчиком события "пришел ответ из БД"

I Соединение данных из БД с шаблоном.- не изменится

I Ожидание отправки данных клиенту.- заменится обработчиком события "данные пользователю отправлены"

I Ожидание запроса от пользователя.

- заменится обработчиком события "пришел запрос от пользователя"I Парсинг запроса, валидация.

- не изменитсяI Формирование запроса (запросов) в БД.

- не изменитсяI Ожидание ответа (ответов) из БД.

- заменится обработчиком события "пришел ответ из БД"I Соединение данных из БД с шаблоном.

- не изменитсяI Ожидание отправки данных клиенту.

- заменится обработчиком события "данные пользователю отправлены"

I Парсинг запроса, валидация.

- не изменитсяI Формирование запроса (запросов) в БД.

I Формирование запроса (запросов) в БД.

I Ожидание ответа (ответов) из БД.

I Соединение данных из БД с шаблоном.

I Ожидание отправки данных клиенту.

Итого

I Производительность одного сервера выросла в 10 разI Одного CPU/коннекта к БД достаточно для еще нескольких лет роста

нагрузки.I Но слишком много переделок!

ИтогоI Производительность одного сервера выросла в 10 раз

I Одного CPU/коннекта к БД достаточно для еще нескольких лет ростанагрузки.

I Но слишком много переделок!

ИтогоI Производительность одного сервера выросла в 10 разI Одного CPU/коннекта к БД достаточно для еще нескольких лет роста

нагрузки.

I Но слишком много переделок!

ИтогоI Производительность одного сервера выросла в 10 разI Одного CPU/коннекта к БД достаточно для еще нескольких лет роста

нагрузки.I Но слишком много переделок!

Что затронуто изменениями

I Интерфейс с вебсервером (получение параметров запроса итп)- некритично. В крайнем случае обходится написанием "врапперов". Вбольшинстве случаев вообще незаметно.

I Интерфейс с БД.- критично. Много кода бизнеслогики поехало в callbacks. Сложнуюлогику практически невозможно реализовать. Требуется переписывание90% проекта.

I Интерфейс с вебсервером (получение параметров запроса итп)

- некритично. В крайнем случае обходится написанием "врапперов". Вбольшинстве случаев вообще незаметно.

I Интерфейс с БД.

- критично. Много кода бизнеслогики поехало в callbacks. Сложнуюлогику практически невозможно реализовать. Требуется переписывание90% проекта.

ПланировщикПоскольку планировщик OS - очень тяжелый, необходим планировщикuserspace.

I Невытесняющая многозадачностьI Простое порождение “процессов”I Простое управление

Три основных методаI Создать процесс (create, async)I Передать управление планировщику (yield, cede)I Разбудить выбранный процесс (wakeup, ready)

I Невытесняющая многозадачность

I Простое порождение “процессов”I Простое управление

I Невытесняющая многозадачностьI Простое порождение “процессов”

I Простое управлениеТри основных метода

I Создать процесс (create, async)I Передать управление планировщику (yield, cede)I Разбудить выбранный процесс (wakeup, ready)

Три основных метода

I Создать процесс (create, async)I Передать управление планировщику (yield, cede)I Разбудить выбранный процесс (wakeup, ready)

Три основных методаI Создать процесс (create, async)

I Передать управление планировщику (yield, cede)I Разбудить выбранный процесс (wakeup, ready)

Три основных методаI Создать процесс (create, async)I Передать управление планировщику (yield, cede)

I Разбудить выбранный процесс (wakeup, ready)

Интегрируем с машиной событийСтруктура кода теперь выглядит так:

I Регистрация события в машине событийI Передача управления планировщикуI Событие будит текущий процесс (файбер)I Программа продолжает работу с данными от события

ИтогоВернулись к (почти) традиционному виду программы.

I Регистрация события в машине событий

I Передача управления планировщикуI Событие будит текущий процесс (файбер)I Программа продолжает работу с данными от события

I Регистрация события в машине событийI Передача управления планировщику

I Событие будит текущий процесс (файбер)I Программа продолжает работу с данными от события

I Регистрация события в машине событийI Передача управления планировщикуI Событие будит текущий процесс (файбер)

I Программа продолжает работу с данными от события

I Добавляем машину событийI Добавляем библиотеку fibersI Переписываем интерфейс с вебсервером

- некритично, решается враппером.I Переписываем интерфейс с БД

- относительно трудоемко, но решается враппером.I Переписываем другие сетевые обращения (если есть)

- врапперыI Итого: переписываем около 5% кода.

I Добавляем машину событий

I Добавляем библиотеку fibersI Переписываем интерфейс с вебсервером

I Добавляем машину событийI Добавляем библиотеку fibers

I Переписываем интерфейс с вебсервером- некритично, решается враппером.

I Переписываем интерфейс с БД- относительно трудоемко, но решается враппером.

I Переписываем другие сетевые обращения (если есть)- врапперы

I Итого: переписываем около 5% кода.

- некритично, решается враппером.

I Переписываем интерфейс с БД- относительно трудоемко, но решается враппером.

- относительно трудоемко, но решается враппером.

- врапперы

Библиотеки и языки

I PerlCoro + AnyEvent

I Pythonfibers + twisted

I PHP5появился оператор yield, fiber

I Perl

Coro + AnyEventI Python

fibers + twistedI PHP5

появился оператор yield, fiber

I Python

fibers + twistedI PHP5

I PHP5

Что дальше?

I Используем fiber’ы/event-машины в том языке к которому привыклиI Рассматриваем существующие варианты

I Node.JS- отказались от парадигмы fibers

I Tarantool...

I Используем fiber’ы/event-машины в том языке к которому привыкли

I Рассматриваем существующие вариантыI Node.JS

- отказались от парадигмы fibersI Tarantool...

I Tarantool...

I Node.JS

- отказались от парадигмы fibersI Tarantool...

I Tarantool...

Tarantool

I Полноценный app-серверI БД на борту

- in-memory- disk

I Сокеты, диск, http-сервер, очереди

Tarantool

I Полноценный app-сервер

I БД на борту- in-memory- disk

Tarantool

- in-memory- disk

Tarantool

- in-memory

- diskI Сокеты, диск, http-сервер, очереди

Tarantool

- in-memory- disk

Tarantool

- in-memory- disk

Недостатки

I Для больших проектов одного CPU все-таки маловатоI Реализации fiber’ов для традиционных ЯП плохо масштабируются по

CPU/хостам.

I Для больших проектов одного CPU все-таки маловато

I Реализации fiber’ов для традиционных ЯП плохо масштабируются поCPU/хостам.

I Для больших проектов одного CPU все-таки маловатоI Реализации fiber’ов для традиционных ЯП плохо масштабируются по

CPU/хостам.

Перспектива

I Erlang- хорошее масштабирование по CPU и хостам- очень качественное решение- высокий порог вхождения

I Go- более низкий порог вхождения

I Erlang

- хорошее масштабирование по CPU и хостам- очень качественное решение- высокий порог вхождения

I Erlang- хорошее масштабирование по CPU и хостам

- очень качественное решение- высокий порог вхождения

I Erlang- хорошее масштабирование по CPU и хостам- очень качественное решение

- высокий порог вхожденияI Go

- более низкий порог вхождения

Highload для начинающих, Дмитрий Обухов (Mail.ru)

Internet

Transcript of Highload для начинающих, Дмитрий Обухов (Mail.ru)

Поизводительность верстки: highload style

20 апреля, DEV {highload} - конференция о Highload веб-разработке, "Несколько кейсов из жизни "больших" проектов",

Smirnov Memcached Highload 2008

ToroDB (highload++2015)

Gmr Highload Presentation Revised

Обухов Л.А. Советы Урала в 1917 году. (Пермь,1992)

jQuery для начинающих

Песчел Л. - Руны для начинающих. Древнейший оракул и система таинств (Для начинающих)

Highload Frank Kohler

Gmr Highload Presentation

бренд удгу. отчет, 2014. обухов к.н.

ГК «Обухов»

Вебинар о конференции HighLoad++

Встреча №1. Разработка кастомных контролов для OS X, Дмитрий Обухов

16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Highload и стартап на Java - как совместить?", Александр

20 апреля, DEV {highload} - конференция о Highload веб-разработке, "Инженерный дзен. DevOps на практике", Александр

Highload Anchor SZ - MKT Metall-Kunststoff-Technik€¦ · ... a solid connection 54 Highload Anchor for cracked and non-cracked concrete Highload Anchor SZ Steel, zinc plated Range

Ошибки Начинающих Стартапов

RESTful Architechture (Highload++ 2008)

Artisto App, Highload 2016