Zabbix и миллионы метрик: наилучший опыт масштабного...

59
Zabbix и миллионы метрик Алексей Владышев

Transcript of Zabbix и миллионы метрик: наилучший опыт масштабного...

Page 1: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Zabbix и миллионыметрик Алексей Владышев

Page 2: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Обо мне

Алексей Владышев

Автор Zabbix

CEO и Архитектор

Twitter: @avladishev

Page 3: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Мониторинг Начало

Page 4: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

История

Сбор данных

Zabbix server

Page 5: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

История

Анализ

Сбор данных

Zabbix server

Page 6: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

История

Анализ

Сбор данных

Оповещения

Zabbix server

Page 7: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Zabbix агент?

Page 8: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Zabbix агент?Минусы

- Установка

Плюсы+ Доступ к любым метрикам доступным OS

+ Гибкость на уровне коммуникаций (пассивные и активные проверки)

+ Очень маленький и быстрый, нет влияния на саму систему

+ Легко расширить функциональность модулями и скриптами

…много ещё…

Page 9: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Zabbix агент?Минусы

- Установка

Плюсы+ Доступ к любым метрикам OS

+ Гибкость на уровне коммуникаций (пассивные и активные проверки)

+ Очень маленький и быстрый, нет влияния на саму систему

+ Легко расширить функциональность модулями и скриптами

…много ещё…

Page 10: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

95% используют Zabbix агента

Page 11: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Метрики

CPU load

Free disk space

WEB server state

Анализ в режиме реального времени

Page 12: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Анализ в режиме реального времени

Метрики

CPU load

Free disk space

WEB server state

Триггеры

CPU load > 5

Free disk space < 10%

WEB server state = 0 (down)

Page 13: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

100 хостов

Page 14: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

500 хостов

Page 15: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

1000 хостов

Page 16: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Как управлять конфигурацией?

Page 17: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Шаблон - это набор параметров для мониторинга

Page 18: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Шаблон - это набор параметров для мониторинга

Linux сервер? Используем Template Linux

Процессор, диски, сеть, память

MySQL? Используем Template MySQL

Доступность, TPS, статус репликации

Page 19: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Шаблон - это набор параметров для мониторинга

Linux сервер? Используем Template Linux

Процессор, диски, сеть, память

MySQL? Используем Template MySQL

Доступность, TPS, статус репликации

Page 20: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Linux серверы

Сервер 1

Сервер 2

Сервер 3

Одинаковые, но разные

Page 21: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Одинаковые, но разные

Linux серверы

/ /data /tmp

/ /tmp

/ /home /data /tmp

Сервер 1

Сервер 2

Сервер 3

Page 22: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Одинаковые, но разные

Linux серверы

/ /data /tmp

/ /tmp

/ /home /data /tmp

Template Linux 1

Template Linux 2

Template Linux 3

Сервер 1

Сервер 2

Сервер 3

Page 23: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Низкоуровневое обнаружение

Один шаблон

Template Linuх

с одним правилом

обнаружения

Сервер 1

Сервер 2

Сервер 3

Page 24: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Низкоуровневое обнаружение

Один шаблон

Template Linuх

с одним правилом

обнаружения

Сервер 1

Сервер 2

Сервер 3

//data/tmp

//tmp

//home/data/tmp

Page 25: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Один шаблон мониторинга для разных устройств!

Сервер

Сервер

Сервер

Сервер

Сервер

Сервер

Сервер

Сервер

Сервер

Сервер

Сервер

Сервер

Сервер

Сервер

Сервер

Сервер

Page 26: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Масштабирование

Page 27: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

11 terabits на выходе 80 точек присутствия

Page 28: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

25.000 хостов

Page 29: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

6.000.000 метрик 3.000.000 триггеров 90 прокси

Производительность Zabbix

7.510 проверок в секунду (NVPS)

25.000 хостов

Page 30: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Результат проверки = 50 байт

Limelight: 26ГБ в день

2TB история, максимум 6 месяцев

Размер базы данных

Page 31: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Что выбрать?

Page 32: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Что выбрать?

VS

Page 33: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Более 1.000.000 метрик и объём данных от 1TB

Page 34: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Более 1.000.000 метрик и объём данных от 1TB

1 место:

2 место:

3 место: Oracle & DB2 5 %

Page 35: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Более 1.000.000 метрик и объём данных от 1TB

1 место: MySQL 80 %

2 место: PostgreSQL 15 %

3 место: Oracle & DB2 5 %

Page 36: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Управление

Zabbix server

Page 37: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Управление

Zabbix server

Сентябрь

Октябрь

Ноябрь

Zabbix server

Партиционирование

Page 38: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

А если хостов ещё больше?

Page 39: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)
Page 40: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

60.000 хостов

Page 41: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

60.000 хостов2.000.000 метрик 20.000.000 триггеров 6TB история 40 прокси

Производительность Zabbix

21.000 проверок в секунду (NVPS)

Page 42: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Автоматизация

Page 43: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Сетевое обнаружение

Сеть

Обнаружен DNS

Обнаружен Zabbix Agent

ZabbixОбнаружен HTTP сервер

Page 44: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Авторегистрация

Я - новый сервер Metadata: Linux/MySQL

Zabbix

Сеть

Агент

Page 45: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Управление агентами

Управление конфигурацией

Привязка к шаблонам, добавление хостов

Page 46: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Распределённый мониторинг

Page 47: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)
Page 48: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

200.000 хостов

Page 49: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

200.000 хостов5.000.000 метрик 2.000.000 триггеров Минимум 5ТB история 11.000 прокси

Производительность Zabbix

20.000 проверок в секунду (NVPS)

Page 50: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Новый магазин!

Реестр

Page 51: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Прокси

Новый магазин!

Реестр

Page 52: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

ZabbixПрокси

Новый магазин!

Zabbix API

Реестр

Page 53: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Так, а теперь переходим на Zabbix 3.0!

Page 54: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Проще, чем кажется

Обратная совместимость с агентами

Но не с прокси!

Автоматическое обновление структуры базы

Таблицы с историей не трогаем

Не ломаем API

Page 55: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Hosts Metrics Triggers Proxy DB

25К 6М 3М 45

60К 2М 20М 40

200К 5М 2М 11К

Page 56: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Итог

Page 57: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

ИтогНе надо бояться

200.000 хостов

6.000.000 метрик, 20.000.000 триггеров

Терабайты истории

11.000 прокси

Автоматизация и HA

Не забываем о выборе правильного железа для Zabbix

Page 58: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

ИтогНе надо бояться

200.000 хостов

6.000.000 метрик, 20.000.000 триггеров

Терабайты истории

11.000 прокси

Автоматизация и HA

Не забываем о выборе правильного железа для Zabbix

Page 59: Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

Спасибо!Приходите на стенд!

Лотерея дважды в день!

Twitter: @avladishev

Email: [email protected]