HP Vertica

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

HP VerticaГиоев АртурТехнический директор HP Software по России и Странам СНГ


Введение в verticaBig Data, Data Analytics ... Simply Fast

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.3

Мы живем в мире аналитики

Создавая новые возможности!

•Все больше данных, и они постоянно прибывают•Больше не тратить ночи на загрузки данных•Смешивать загрузку данных и доступ разнообразных пользователей•Необходимость сохранять исторические данные для последующего анализа

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.4 4

Вы готовы к анализу данных?Объем информации растет;IDC предсказывает роствв следующем десятилетии

44 разануждается в информации, а не только аналитики

Каждый

данные и связи между нимиРАЗНЬЕ

Нужно анализировать

и адаптироватьROI

«Return on Information»- сколько денегможно получить заинформацию?Новая метрика.

Аналитические платформы активновнедряются, происходитсмещение тратна

специализи-рованные системы

*IDC report 2009

Fortune2000

100% компанийиз списка

анализируютданные


Размер и классификация хранилища данных, сегодняБольшие Данные это сколько?

<500ГБ – Маленькое

500ГБ > 20ТБ – Типовое

20ТБ > 50ТБ – Большое

>50ТБ – очень Большое

Несколько лет назад хранилище размером больше нескольких ТБ было редкостью

5


Даже очень большихПример Больших Данных

40 млн. игроковрегистрируется каждый клик3ТБ данных в день200 машин в кластере- анализ в реальном времени и мгновенное предоставление информации в виде рекомендаций- непрерывная работа 24х7х365 – никаких «окон» на загрузку данных

6


Аналитика “точно вовремя”

в 50–1000 раз быстрее среднее время обработки запросов чем в традиционных построчных системах

До 10x прирост скорости загрузки данных

Простота установки/использования

Высокая масштабируемость и полный параллелизм

Индустриально стандартная платформа x86

Гибридная in-memory/on-disk архитектура

Хранение данных близко к процессору

Большие масштабы, широкие возможности

The Vertica Аналитическая платформа Реального времениИнтегрированное решение разработанное для ответа

аналитическим задачам сегодня и завтра


Обзор технологии Vertica


Vertica позволяет• Повышение

производительности в 10 – 100 раз

• Высокая масштабируемость от TB к PB

• Простая интеграция с существующими решениями ETL и BI

• Высочайшая производительность на доступной аппаратной платформе

• Высокая гибкость развертывания

Основной функционал Vertica

Технический обзор Vertica

• Колоночное хранение• Продвинутое сжатие• Обработка данных с

массовым параллелизмом(MPP)

• Автоматизированный Дизайнер БД

• Встроенная поддержка высокой доступности

Стандартный SQL интерфейс


Колоночное хранениеVertica интелектуально организует данные на диске для каждой

колонки• Читаются только колонки участвующие в запросе, а не каждая как в случае с

построчным хранением• Чтение и Запись блоков очень большого размера• Идеально для интенсивной работы в режиме ЗАГРУЗКА/ЧТЕНИЕ с серьезным

сокращением операций ввода/вывода

AAPL NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/05/09

5/05/095/06/095/05/095/06/09

143.74143.75 37.03 37.13

AAPL NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/06/09

BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 37.03 NYSE NYSE NYSE 5/05/09

BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 37.13 NYSE NYSE NYSE 5/06/09

SELECT avg(price)FROMtickstore WHERE symbol = ‘AAPL’ ANDdate = ‘5/06/09’;

Колоночное хранение – читаются 3 колонки

Строчное хранение - читаются все колонки

NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS









AAPLAAPLBBYBBY


Механизм раскодирования Раскодирование на лету

Engine:Раскодиро

вание блоков

Буфер: Только

распаковка

Сеть:Раскодированн

ые блоки+ возможно

использование LZO

Transaction Date Customer ID Trade

5/05/2009

5/05/20095/05/20095/05/20095/05/20095/05/20095/05/20095/05/20095/05/2009

000000100000010000003000000300000050000011000001100000200000026000005000000510000052

100.25100.50100.75100.25100.75101.00101.25100.75101.25100.75100.00100.50

Несколько значений

Отсортировано

5/05/2009, 16

RLE

00000010224

1010192549

DeltaVal

100.251231345353

GCD

Много значений

ЦелоеМожет быть

отсортировано

Много значений

Отсортировано

Сырые данные

Сжатые данные

Диск:Кодирование

+ Сжатие

Множество других…

Раскодированный результат

Просто во время

Продвинутое сжатиеVertica заменяет медленные операции ввода/вывода быстрыми циклами

процессора через агрессивное сжатие Используют свойства данных такие как сортировка Работает на больших объемах

чисел и строк Может работать без первичного раскодирования Интеллектуальное

раскодирование как можно позднее


100% пиринговая сеть – нет блокировок

Нет специализированных узловЗагрузка данных и запросы на

любом узлеЛинейная масштабируемостьБольше кластер = больше места

для данных + выше производительность

Автоматическая репликация и восстановление после сбоев

Клас

терн

ая с

еть

Внеш

няя

сеть

Кластеризация (MPP)Горизонтальное масштабирование, массовая параллельная обработка


Автоматизированный дизайн и Администрирование

A B A

(A B C | A) (B A C | B A)

B C C

> Физическую схему для:Выполнения запросов в тестовом наборе

быстроПодходит для плавной загрузки

требованийУверенность в том, что все SQL запросы

могут быть отвечены

БД дизайнер создаетАдминистраторы БД

> Логическую схему

Создание таблиц

> “Тестовый набор”

Типичные запросы

Примеры данных

> Уровень защиты от сбоев

k-safety

Vertica Database Designer рекомендован для наилучшей оптимизации дизайна БД

Оптимизация для потребностей пользовательских запросов Минимизация усилий администраторов БД затрачиваемых на физический дизайн

БД Запуск и работа дизайнера БД в режиме ONLINE без влияния на текущую

обработку


Native High Availability

A3 B3 C3 A2 B2 C2

B1 A1 C1B2 A2 C2 B1 A1 C1

A3 B3 C3 A1 B1 C1

B3 A3 C3

Функциональность как у RAID внутри БД Проекции распределены по по ячейкам для отказоустойчивости Нет нужны в ручном восстановлении на основе логов

Vertica продолжает загрузку данных и исполнение запросов даже когда один из узлов не доступенПропавшие данные восстанавливаются с оставшихся узлов кластера

Узел 1 Узел 2 Узел 3

Vertica Кластер из трех узлов


15

HP Confidential

Стандартный интерфейс на основе SQL

SQL, ODBC, JDBC

Массовая и поточная загрузка

ETL, Replication, Data Quality Analytics, Reporting

Vertica поддерживает ANSI SQL-99 plus Analytics для минимизации интеграционных затрат существующими инструментами BI и ETL

ANSI SQL-99 +AnalyticsПростая интеграцияVertica’s Hadoop

ConnectorКоннекторы БД для

JDBCODBCADO.NET

http://images.google.com/imgres?imgurl=http://linux.softpedia.com/screenshots/Talend-Open-Studio_1.png&imgrefurl=http://linux.softpedia.com/progScreenshots/Talend-Open-Studio-Screenshot-19135.html&h=598&w=768&sz=130&hl=en&start=12&sig2=fectlnlgp7ogqTwkTgmOGw&tbnid=x2Jye0DbxrcydM:&tbnh=111&tbnw=142&ei=iO5GSI_rCY2EpASfuOXOBQ&prev=/images?q=talend&gbv=2&hl=en


16

HP Confidential

•Процессоры x86-64 (Intel/AMD)•Хранилище: SAS, SATA, SAN и SSD•Gigabit Ethernet Backbone•Linux– Red Hat Enterprise Linux– SUSE – Debian– CentOS•Не требуется дополнительных затрат на лицензии при увеличении аппаратной платформы

Платформа Vertica Пример HP/Vertica> HP c7000 > Загрузка и запросы в

реальном времени> 100-250x (ср.) быстрее

запросы> Масштабируемо (просто

добавьте лезвие)> Строенная высокая

доступность> Прямо из коробки

интеграция с ETL и сервисами отчетности


Заказчики


18

HP Confidential

360+ Заказчиков и продолжает расти


Спасибо

HP Vertica

Documents

Transcript of HP Vertica