Как мы меряем температуруМоего Мира

Мой Мир

• Сотни миллионов хитов в сутки• Сотни серверов• Более 100 баз• Десятки мемкашедов•Высокая связанность данных

Что критично

• Скорость и бесперебойность сети• Стабильность работы бекендов• Стабильность работы фронтедов• Отсутствие ошибок кода• Быстрый безошибочный рендеринг

Смысл: зачем тратить время и ресурсы

• Быстрый поиск локальных проблем• Наименьшее время реакции на проблемы• Прогнозирование проблем в будущем• Измерение среднего пользователя

Инструменты: мониторинг и анализ

• graphite: когда нужно много графиков• statd: инструмент для анализа • monitoring: постоянно на страже• pinger: виртуальный админ• Мониторинг мемкашедов

Пингер: когда секунды решают

• Веб-сервер: секунды до комы• Единый центр принятия решений• База лежит: пользуемся репликой• Мастер-мастер: конфликты

Мониторинг системы

• Работоспособность всех серверов• Критические параметры: la, память, диск.• Рестарты всех систем• Ошибки систем• Очереди обработки• Цикличные unit-тесты

Бекенд: измерение таймингов и нагрузок

• Реальное время на запросах и точная нагрузка• Суммарное нахождение в базах на хит• Прогноз «потолка» по росту графиков• Графики таймаутов

Фронтенд: апачи, ошибки, рестарты

• Число детей апача на фронтендах• Рестарты любых сущностей• Обновляемость логов всех демонов• Равномерная балансировка• Постоянный анализ логов

Клиент: мониторинг ошибок JS

• Браузеры: кого забыли поддержать• Скрипты: моментальный дебаг• В целом: тест пропустил ошибку• Проблема: как не положить проект

Рендеринг: среднее с разбитием по браузерам

Самые быстрые:Firefox 3 - 1.4 секOpera 9 - 2.0 секIE 8 - 2.0 сек

Самые медленные:IE 6 - 3.4 секOpera 10 - 2.3 сек

Оптимизация рендеринга за 3 месяца

Резервы: как определить потолок

• «Срезанная» шапка графиков• Непропорциональный рост времени выполнения при увеличении нагрузки• Маркетинговые акции

Спасибо за внимание. Вопросы?

Резервы: как определить потолок

Прогноз потолка

Хиты по основным скриптам

Мониторинг очередей

Мониторинг мемкашедов