Alexey BokovЭксперт по облачной платформе Windows Azure abokov@microsoft.com

Windows Azure – облачные сервисы для больших данных

BigData Dive : Minsk 19 September 2012

abokov

• Содержание:• Облако Windows Azure• Что такое BigData• Hadoop как сервис • GridGain кластер

24 узла в CDN: Ashburn, San Francisco, Chicago, San Antonio, Los Angeles, Miami, Newark, Seattle, Amsterdam, Dublin, London,

Moscow, Paris, Stockholm, Vienna,

Zurich, Hong Kong, Sao Paulo, Seoul,

Singapore, Sydney, Taipei, Tokyo, Doha

8 датацентров: - 4 поколение на ITPAC - площадь~ 28 100 кв - мощность ~ 16 МВт - PUE ~ 1.05-1.22 - стоимость ~ 500М $

Windows Azure - инфраструктура

North Central US

South East Asia

East AsiaNorth Europe-Dublin

West Europe - Amsterdam

South Central US

East USWest US

Windows Azure - инфраструктура

Подробнее о датацентрах Microsoft: ou.gs/wadc

Технологии:• Гибкость, масштабируемость• Оплата по факту использования• Инфраструктура на Windows Server или Linux - как сервис• SLA 99.95%• Полезные облачные сервисы

Виртуальные машины• ОС : Windows Server, CentOS, SUSE, Ubuntu, openSUSE• Доступ через Remote Desktop ( Windows ), root ssh ( Linux )

Есть RESP API для управления виртуальными машинами

Windows Azure Виртуальные машины

1 ядро x 1.6Ghz

1.75 GB memory 250 GB storage

100 Mbps network

2 ядра x 1.6Ghz

3.5 GB memory 500 GB storage

200 Mbps network

Small0.085/0.15

Medium0.17/0.23

X-Large0.68/0.92

Large 0.34/0.46

4 ядра x 1.6Ghz

7.0 GB memory1000 GB storage

400 Mbps network

8 ядер x 1.6Ghz

14 GB memory2000 GB 800 Mbps network

0.02

Extra Small

1 x 1.0Ghz

Разделяемое ядро768 MB

memory 20 GB storage

5 Mbps network

Стоимость Linux/Windows, $ за час

Windows Azure Хранилища данных

Надежная платформа с возможностями гибкого масштабирования ресурсов

Compute$0.04-0.96/hour

+ Variable Instance Sizes

Per service hour

StoragePer GB stored and

transactions$0.12 GB/month

$0.01/100k transactions

Caching

128MB cache for $45/monthPer Message Operation

$1.99/10k transactionsPer Message Operation

Access Control

Prices shown in USD only. International prices are available

$0.10/100 Relay Hours$0.01/10,000 Messages (Queues/Topics/Relays)

Per Message OperationService Bus

Windows Azure

Windows Azure дополнительные сервисы

Реляционная база данных с высоким уровнем доступности и удобным масштабированием

Web Edition$9.99/month

(up to 1 GB DB/month)

Business Edition

Starting at $99.99/month

(10-50 GB DB/month)

SQL Azure

Windows Azure – немного цифр

Облачное хранилище:• сейчас вмещает

более 4 триллионов объектов в облачном хранилище

• 270 000 обращений в среднем

• Пиковая нагрузка - 860 000 обращений

Полезные сервисы:• Traffic Manager – для геораспределенных сервисов

• CDN – кэширование и быстрый доступ к http контенту

• Media services – обработка видео

• Hadoop as a Service – обработка больших объемов данных

• Очереди Windows Azure Queues, Service Bus

• VPN – гибридные решения

• SQL Azure Trust services, Security services

Программы поддержки• Бесплатные триалы и доступ к сервису: WindowsAzure.com

• Конференции и семинары для разработчиков

• Мероприятия по облачным сервисам – бизнес сценарии

• Поддержка стартапов в программе BizSpark: ms-start.ru

• Продвижение сервисов через магазины приложений

• Технологическая помощь

Веб платформа для спортивных команд Пряники – сервис

для нематериальной мотивации персонала

Сервис для удаленного управления IT ресурсами

Wizee Шопинг – мобильный гид по торговым центрам

Всероссийская школьная образовательная сеть

Инструмент для выбора надежного партнера по разработке веб-сайтов

Облачный сервис по извлечению данных Облачный сервис для

организации и проведения онлайн мероприятий

Сервис для путешественников

Управление процессом подбора персонала

Трансляция премии “Золотой граммофон” онлайн

Онлайн трансляции представлений

Powered by Windows Azure: сделано в России

Платформа создания бизнес-приложений

Сервис создания и обработки диаграмм

Новостной сервис на всех платформах

ERP в облаке

Видео-трансляции

Инструмент поиска по

социальным медиа

Портал для малого бизнеса

Социальная сеть интересных мест

Сервис создания динамического видео

Облачный сервис для дистрибуции авторского контента

Универсальный SaaS для малого бизнеса

Облачный хостинг блогов

Электронный документооборот

Powered by Windows Azure: сделано в России

Powered by Windows Azure: сделано в России

Система управления и контроль внутренних процессов

Мониторинг и аналитика брендов

Рейтинг блогосферы

Википедия бизнес-контактовОбмен информацией о продуктах и технологиях

Cистема мониторинга упоминаний в социальных медиа

Сервис для поиска работыТегирование изображений

Big Data – что это такое?

• Volume - Объем данных, при этом неструктурированные данные могут составлять 70-85%

всех данных и их доля в общем объеме данных продолдает расти.

• Velocity - Скорость обработки данных.

• Variety - Вариативность данных , неструктурированные данные разных типов ( текст,

цифровое медиа, данные с датчиков ) являются преобладающими

• Variability - Диапазон возможной интерпретации данных. Различные цели анализа данных

требуют разных подходов к анализу данных.

Big Data – а много это сколько?

2005130 EB

20081227 EB

20157910 EB

Откуда так много?- Интернет видео – 18 Экзабайт в месяц- Мобильный трафик – 2 Экзабайта в месяц- В 2011 году Фейсбук перенес 11 Петабайт данных в свой Hadoop кластер

- Источники данных – сенсоры, краулеры, устройства оцифровки данных, ERM, CRM системы...

Windows Azure HadoopWindows Azure

Демонстрация

- Платформа на базе JVM – IMDG и вычислительные гриды для BigData

- Примеры внедрений в облаке – более 500 узлов, тестировались кластеры > 2000 узлов

- On-premise внедрение – грид из 1500 узлов.  

Демо

Полезные ресурсы• Портал о технологиях Windows Azure: azurehub.ru

• Группа разработчиков Windows Azure: ou.gs/user

• Сообщество по безопасности IT Security: ou.gs/itsec

• Портал Hadoop: hadooponazure.com

• Блог Windows Azure: ou.gs/msdn

• Наш твиттер: @windowsazure_ru

• Контактный email: azurerus@microsoft.com

Спасибо за внимание!

Алексей Боков abokov@microsoft.com abokov

Ваши вопросы ….

© 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a

commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.