monitoring when no testingИван Круглов|08.04.2017

fast reverts visibility

ownership

• 70 роллаутов в день

• 1000+ активных экспериментов

Booking Fast Development by Vedran Mikulichttps://2014.codefest.ru/lecture/937

повестка дня

• ключевые метрики• пожар!• инструменты оповещения• инструменты мониторинга• graphite stack

кол-во броней

ключевые метрики

бюджет на ошибки

пожар!

• начальные коммуникации в jabber• конференц-связь

▸ единый номер доступный везде• лидер

▸ координация, оповещение и привлечение нужных ресурсов• RFO (reason for outage)

▸ В чем причина?▸ Могли ли мы избежать данного класса ошибок?▸ Как можно уменьшить ущерб от данного класса ошибок?▸ Насколько эффективны алерты?

• post-mortem

инструменты оповещения (alerting)

• ddos_detector▸ events -> ddos_detector

picture by Maxim Vuets

server

server

server

…

eventspipeline

consumer

инструменты оповещения (alerting)

• ddos_detector▸ events -> ddos_detector▸ реалтайм анализ трендов▸ оповещение если что-то где-то идет не так

• nagios▸ технические алерты

• bosun

picture by Maxim Vuets

инструменты мониторинга

• flog▸ errors/warnings▸ grumbles▸ events -> flog-processor -> ES

flog

aggregated err/warn

инструменты мониторинга

• flog▸ errors/warnings▸ grumbles▸ events -> flog-processor -> ES

• graphite/grafana▸ миллионы метрик разной природы▸ несколько источников данных

• kibana▸ rsyslog -> kafka -> ES

источники данных для graphite

• diamond и др.▸ системные метрики (/proc, mysql, nginx, uwsgi, др.)

• graphite-processor▸ events -> graphite-processor -> graphite▸ метрики специфичные для приложения▸ доступен для всех▸ строит “завершенные” графики

• ddos_detector▸ стандартизованные метрики которым можно доверять▸ бизнес метрики (распределение по странам, провайдерам, и др.)▸ технические метрики (pv, error/warning, wallclock percentiles, др.)▸ задача оставаться realtime

“завершённый” график

realtime график

graphite setup

frontend• 32 сервера• 400 RPS• 40K метрик

backend• 200 серверов• 11 Gbps• 2.5M уникальных метрик в

секунду (10M на сторадже) • 130 TB метрик

все компоненты заменены!

graphite stack

• проект начат Damian Gryski и Fabian Groffen▸ в активном развитие

• более подробно:“Graphite@Scale or How to store millions metrics per second”https://fosdem.org/2017/schedule/event/graphite_at_scale/

• carbon-relay — SPOF • данные различаются

после ошибок записи• время ответа растет

линейно с ростом кол-ва серверов

• сложно масштабировать

Что не так?

carbon-c-relay

• написан на C • работает с 1М метрик в секунду на 2 ядрах• L7 LB for graphite line protocol• может выполнять роль carbon-aggregator• буферизирует данные если upstream недоступен

carbon-zipper

carbon-zipper

• написан на Go• carbon-zipper <->

carbon-server =2700 RPS

• graphite-web <-> carbon-cache80 RPS

carbonapi

• можно делать больше сложных запросов

• новые тяжелые математические функции

~0.8 сек

~15 сек

• carbonzipper — github.com/dgryski/carbonzipper• go-carbon — github.com/lomik/go-carbon• carbonsearch — github.com/kanatohodets/carbonsearch• carbonapi — github.com/dgryski/carbonapi• carbon-c-relay — github.com/grobian/carbon-c-relay• carbonmem — github.com/dgryski/carbonmem

все в open-source

трюк с graphite №1

• используйте корректные функции агрегации▸ по умолчанию - среднее

• мы используем следующий способ именования▸ _sum .sum _count .count▸ _last .last▸ max_ _max .max▸ min_ _min .min

трюк с graphite №2

трюк с graphite №2

• consolidateBy(seriesList, consolidationFunc)

Takes one metric or a wildcard seriesList and a consolidation function name. Valid function names are ‘sum’, ‘average’, ‘min’, and ‘max’.

When a graph is drawn where width of the graph size in pixels is smaller than the number of datapoints to be graphed, Graphite consolidates the values to to prevent line overlap. The consolidateBy() function changes the consolidation function from the default of ‘average’ to one of ‘sum’, ‘max’, or ‘min’. This is especially useful in sales graphs, where fractional values make no sense and a ‘sum’ of consolidated values is appropriate.

&target=consolidateBy(Sales.widgets.largeBlue, 'sum') &target=consolidateBy(Servers.web01.sda1.free_space, 'max')

Спасибо!

Иван КругловSenior Developerivan.kruglov@booking.com

https://workingatbooking.com

SRE or Software Developer

disclaimer

• this is my personal view on the available tools at Booking.com• might be inaccurate and biased• there might be better way of using them