Google Cloud Platform Облачные сервисы для бизнеса

Февраль 2017

Дмитрий Новаковский, Олег Ивонин

Облачные сервисы для бизнесаGoogle Cloud Platform

Дмитрий Новаковский / [email protected]● Customer Engineer @ Google Netherlands B.V.● Поддержка продаж и разработка решений на основе GCE, GKE, GAE● В прошлом:

○ IaaS/PaaS (OpenStack @ Mirantis)○ SaaS (ETAdirect @ TOA Technologies/Oracle)

Кто мы?

Олег Ивонин / [email protected]● Cloud Web Solutions Engineer @ Google Netherlands B.V.● Разработка инструментов для анализа стоимости конфигураций и

планирования архитектуры облачных решений на основе GCP○ Google Cloud Platform Pricing Calculator и другие

mailto:[email protected]

mailto:[email protected]

https://cloud.google.com/products/calculator/

https://cloud.google.com/products/calculator/

● Часть 1: Google Cloud Platform 101

● Часть 2: Инфраструктурные сервисы Google Cloud

● Часть 3: Обработка данных в Google Cloud

● Часть 4: Итоги и вопросы/ответы

О чем мы расскажем?

Google Cloud Platform 4

Зачем?


Часть 1:Google Cloud Platform

101


Что такое “облако”?

Облачные сервисы (облачные вычисления, англ. cloud computing) - это:● модель предоставления повсеместного удобного сетевого

доступа по требованию● ...к общему пулу конфигурируемых вычислительных ресурсов

(серверы, сервисы, сети, хранилища данных, приложения) ● ...с возможностью оперативного предоставления и освобождения

при минимальных эксплуатационных затратах (включая взаимодействие с провайдером)

Полный документ

http://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-145.pdf





Ключевые характеристики1. Самообслуживание 2. Универсальный доступ по

сети3. Объединение ресурсов4. Эластичность5. Учет потребления

Характеристики и типы “облаков”

Полный документ

Типы облаков

SaaS - Salesforce.com, G Suite, Office 365

PaaS - Heroku, CloudFoundry, OpenShift

IaaS - AWS, Microsoft Azure, GCP






Physical / Colo / VPS

Serverless / NoOps / PaaS

Storage Processing Memory Network

Self-Service / Elastic / IaaS

Storage Processing Memory Network

Путь IT-инфраструктуры в “облако”


Google Cloud Platform (GCP) - это набор коммерческих облачных сервисов, основанных на разработках и опыте Google в эксплуатации собственных продуктов

Что такое Google Cloud Platform?

Millwheel

2002 2004 2006 2008 2010 2012 2014 2016

GFS

MapReduce

Bigtable Colossus

F1

TensorFlow

Limited isolation

Released CGroups

ReleasedLMCTFY

Kubernetes

FlumeDremel

Megastore PubSub

Spanner

BwEWatchtower

Onix

Google Global Cache B4

Jupiter

QUIC

gRPC

Andromeda


Вычисления

Compute Engine

App Engine

Container Engine

Container Registry

Cloud Functions

Сетевые сервисы

Cloud Virtual Network

Cloud Load Balancing

Cloud CDN

Cloud Interconnect Cloud DNS

Big Data

BigQuery Cloud Dataflow

Cloud Dataproc

Cloud Pub/Sub

Хранение данных

Cloud Storage

Cloud Bigtable

Cloud Datastore Cloud SQL Persistent

Disk

Machine Learning

Cloud Machine Learning Vision API Speech

APINatural

Language APITranslation

APICloud Datalab

Google Cloud Platform сегодня


Преимущества Google Cloud Platform

Безопасность● Безопасность в облаке: 600 экспертов, “purpose-built” аппаратная и

программная инфраструктура (датацентры, сервера, ПО)● Шифрование данных клиента at rest и in transit, управление ключами

● Самая большая в мире сеть облачного провайдера, построена и управляется Google, собственный fiber optic

● 70 точек присутствия, глобальный load balancing, low latency, CDN

● Обширный набор сервисов для хранения и обработки больших данных● Google разбрабатывает предлагает лучшие open-source инструменты

(Tensorflow, MapReduсe и др), GCP делает их легко доступными

NoOps● Google App Engine, BigQuery, Dataproc и другие managed сервисы

ускоряют и упрощают разработку проектов и обработку данных. Время и затраты на поддержку инфраструктуры становятся не нужны

Глобальная сеть

Big Data и ML

Снижение затрат

● GCE дешевле других публичных облаков в среднем на 21% (до 60%) в зависимости от конфигурации ВМ

https://cloud.google.com/pricing/price-leader

Taiwan 3

3S Carolina

Iowa 4

2Oregon 3

Belgium

Tokyo3

2

3

Singapore

N Virginia

London

Mumbai

Sydney

Frankfurt

Finland

33

3

3

2

3 São Paulo

4


Google Cloud Platform снижает затраты

16

Пример архитектуры для сравнения стоимости GCP и AWS

● Пример: система потокового мультимедиа● Мы сравним стоимость* основных ресурсов у GCP и AWS:

○ 20 виртуальных машин - 4 vCPU / 20 Gb RAM;○ 40000 Gb (~40Tb) объектного хранилища данных;○ 100 миллионов запросов к данным

17

Расчетные данные

GCP* AWS**20 x custom-4-16384 (4 vCPUs, 16GB memory)

$2192.80 20 x m4.xlarge (4 vCPUs, 16GB memory)

$3147.60

40000 GB of regional storage100000000 GET requests

$840 40000 GB of S3 Standard storage100000000 GET requests

$960

Снижение затрат: $1074.80 в месяц

* Подсчитано при помощи Google Cloud Pricing Calculator** Подсчитано при помощи AWS Simple Monthly Calculator

https://cloud.google.com/products/calculator/#id=0c811b67-096a-4516-aa47-43582f4e61b9

https://calculator.s3.amazonaws.com/index.html

18

No lock-in!


Часть 2: Инфраструктурные сервисы

Google Cloud


IaaS / PaaS сервисы в Google CloudВычисления

Compute Engine

App Engine

Container Engine

Container Registry

Cloud Functions




Cloud CDN


Big Data


Cloud Dataproc

Cloud Pub/Sub


Cloud Storage

Cloud Bigtable


Disk

Machine Learning


APINatural


APICloud Datalab

21

Compute Engine (GCE)Полный контроль: “Классические” виртуальные машины

App Engine (GAE)PaaS решение от Google - готовые к использованию runtimes для Python, Java, PHP, Go и других языков.

Cloud FunctionsServerless платформа для event-based микросервисов

Google Container Engine (GKE)Kubernetes-as-a-service - оркестрация задач в Docker контейнерах


Compute Engine

● Виртуальные машины с лучшей в классе производительностью и ценой ○ Linux, Windows Server○ Автоматическое управление нагрузкой и

масштабирование групп инстансов○ Live migration виртуальных машин вместо

принудительного выключения○ HDD и SSD диски, до 25к IOPS на SSD

● Полный контроль над инфраструктурой (серверы, сети, хранилища), пространством ОС, ядром и пакетами Linux

● Возможность запуска любого ПО

Когда используется Google Compute Engine?

● Схожий набор инструментов управления● Снижение затрат благодаря гибкой системе цен GCE

● Повышение эффективности работы решения:

○ Вспомогательные сервисы (Storage, Database, CDN)

○ Глобальное присутствие Google (сеть и ЦОД)

○ Распределение нагрузки и масштабирование

○ Автоматизация

○ Эластичность

○ NoOps

Compute Engine

Google Compute Engine vs. VPS

Пример архитектуры: Live Streaming

27





28

Virtual machine

OS

Dependencies

Application Code

Hardware

Container

OS

Dependencies

Application Code

Hardware

Что дает контейнеризация?

29

Что такое Kubernetes?

Kubernetes (K8s)

● Инструмент оркестрации и управления кластерами контейнеров (Docker, rkt)

○ Масштабирование, управление версиями (upgrade/rollback), A/B testing, и др.

● Устраняет необходимость ручного управления группами Docker хостов

● Декларативный механизм работы

○ Масштабирование и self-healing по заданным параметрам “целевого состояния”

● Open-source: github.com/kubernetes

● Основан на опыте и внутренних разработках Google (blog post, research paper)

https://github.com/kubernetes

http://blog.kubernetes.io/2015/04/borg-predecessor-to-kubernetes.html

https://research.google.com/pubs/pub43438.html

● Continuous integration & delivery приложения с использованием контейнеров+конфигурации как конечного артефакта

● Архитектура приложения следует microservices практикам, обширное покрытие автотестами

● Высокая частота релизов новой функциональности в Production

● Переносимость и масштабирование среды на другие окружения (Azure, on-premise и др.)

Container Engine

Когда используется Google Container Engine?

31


App Engine (GAE)PaaS решение от Google - готовые к использованию окружения для Python, Java, PHP, Go и других языков.



● Сборка и поставка масштабируемых приложений в типовых окружениях

● NoOps cервисы платформы○ Authentication, Memcache, Load Balancing, Message queues, Task

queues, API Endpoints и др

○ SQL & NoSQL DB

○ Debugging, tracing, logging

● Мониторинг и масштабирование приложения согласно нагрузке и бизнес правилам

● Автоматизация сборки и управления версиями

App Engine

Когда используется Google App Engine?


Окружения: GAE Standard vs. Flex

34





Когда используется Google Cloud Functions?

Functions

● Изолированные узкоспециализированные функции○ Javascript (Node.JS) функции

● Запуск по событию:○ загрузка объекта в Cloud Storage○ Прием определенного сообщения в Pub/Sub○ POST сообщение на внешний API


Что выбрать?



● Choosing a Computing option● Сhoosing a Storage option

https://cloud.google.com/docs/choosing-a-compute-option


https://cloud.google.com/storage-options/



Сетевые сервисы в Google CloudВычисления

Compute Engine

App Engine

Container Engine

Container Registry

Cloud Functions




Cloud CDN


Big Data


Cloud Dataproc

Cloud Pub/Sub


Cloud Storage

Cloud Bigtable


Disk

Machine Learning


APINatural


APICloud Datalab

39

Cloud CDNДоставка контента пользователям через кеширование на ближайшем edge location. Также поддерживает Interconnect в других провайдеров

Cloud InterconnectHigh availability+throughput и low latency подключение к сети Google (в поддерживаемых ЦОДах)

Cloud Load BalancingУправление трафиком с поддержкой HTTP(s) (multi-region), TCP/SSL (single-region), Health Checks и автоматического масштабирования

Cloud Virtual NetworkВиртуальные сети с поддержкой Geographical scope, VPN, Firewall, Routing и DNS


Часть 3: Обработка данных в

Google Cloud


Хранение данных в Google CloudВычисления

Compute Engine

App Engine

Container Engine

Container Registry

Cloud Functions




Cloud CDN


Big Data


Cloud Dataproc

Cloud Pub/Sub


Cloud Storage

Cloud Bigtable


Disk

Machine Learning


APINatural


APICloud Datalab

42

Cloud BigtableВысокопроизводительная (100+ PBs and 1M+ of ops/s) NoSQL БД для обработки больших данных с низкой задержкой, высокой пропускной способностью и поддержкой HBase API

Cloud SQLВысокопроизводительная SQL БД с автоматической репликацией, бекапом и обслуживанием

Cloud StorageУниверсальное хранилище объектов широкого спектра

Cloud DatastoreРеплицируемая NoSQL БД для веб приложений с высокой доступностью (25M+ QPS, используется Snapchat и Pokémon Go) и автоматизированным no downtime обслуживанием

Классы хранения в Google Cloud Storage

● Per Bucket classes, Lifecycle Policies, and Transfer Service

Multi Regional Regional Nearline Coldline

Use case Критичные данные с репликацией

Данные бизнеса без репликации

Редкое использование Архивы

Цена за 1 Гб Дешево Дешевле Еще дешевле Самый дешевый

Цена за доступ - - 0.01 USD 0.05 USD

Минимальная длительность хранения - - 30 days 90 days

SLA на доступность 99.95% 99.9% 99%

Задержка Отсутствует


GCS Coldline is better than S3 Glacier on: - simple predictable access pricing (5c GB) - availability SLA (99%) - online latency access (ms) - consistent API across storage classes

GCS storage classes vs AWS S3/Glacier/CRRPr

ice

per G

B-m

o

Retrieval frequency

4.2c+

2.3 - 2.1c2.6c2.0c

1.25c

1.0c

0.7c

GCS Nearline

S3 IA

S3 Standard

GCS Coldline

Geo-redundant, highly available

Regional storage

Infrequent Access

Cold archive

Slow access

S3 Std with Cross Regional Replication results in: - 2x storage cost - network charges for replication - SLA as Standard of 99.9%.

GCS Multi-Regional at 2.6c / GB-mo includes: - storage of geo-redundant replicas- cost of network replication - 99.95% SLA.

GCS Mult-Reg

S3 Std + CRR

GCS Regional

Glacier

45

Cloud DataprocHadoop и Spark кластеры с высокой производительностью в облаке

Cloud Pub/SubСервис очередей сообщений для обмена данными между приложениями и доставки данных в Cloud

Cloud DataflowКонвейеры обработки (на основе Apache Beam) для преобразований и загрузки (ETL) потоковых и пакетных данных

BigQueryВысокопроизводительное масштабируемое хранилище данных (DWH) для обработки и анализа

46

Events, metrics, etc.

Stream

Batch

Applications and Reports

Cloud Datalab

Visualization and BI

Co-workers

B CA

Raw logs, files, assets, Google

Analytics data etc.

Cloud Pub/Sub

Cloud Storage

Cloud DataflowBigQuery

End-to-end data flow



● Choosing a Computing option● Сhoosing a Storage option






Часть 4: Итоги и вопросы

Google Confidential and Proprietary

Host Wix Editor on App Engine

Uses Google Cloud Storage to store static media files

Serve production media traffic from Compute Engine

“We chose Google Cloud Platform because of its ease of management, scalability and

speed of development.”

~11 Millionfiles uploaded per day

of storage managed per day

600TB 8.6Mimages resized

per day

700 million

“App Engine enabled us to focus on developing the application. We wouldn’t have gotten here without the ease of development that App Engine gave us.”Bobby Murphy, CTO

Snapchat sends

photos and videos each day Google App Enginescaled seamlesslyduring growth to

millions of users

Small team is ableto innovate quickly

and expandglobally

51Google Cloud Platform

“Ulmart can now create actionable dashboards, analyze its pricing against the market, and maximize its margin without losing market leadership.”

● Ulmart выбрал Google BigQuery для решения сложных аналитических задач

● Знакомый синтаксис SQL запросов and быстрая обработка в Google BigQuery позволяют Ulmart работать с огромными объемами данных в реальном времени

● Ulmart экономит тысячи долларов на тренингах и лицензировании

52Google Cloud Platform

“This is no small achievement as the transition means moving approximately three to 3.5 petabytes of user data from Evernote's two current data centers into the Google Cloud Platform.”

fortune.com

cloudplatform.googleblog

pcworld.com

http://fortune.com/2016/09/13/evernote-google-cloud/

http://fortune.com/2016/09/13/evernote-google-cloud/

https://cloudplatform.googleblog.com/2016/09/note-able-news-Evernote-to-use-Google-Cloud-Platform.html

https://cloudplatform.googleblog.com/2016/09/note-able-news-Evernote-to-use-Google-Cloud-Platform.html

http://www.pcworld.com/article/3167594/cloud-computing/heres-how-evernote-moved-3-petabytes-of-data-to-googles-cloud.html

http://www.pcworld.com/article/3167594/cloud-computing/heres-how-evernote-moved-3-petabytes-of-data-to-googles-cloud.html


Google Cloud Platform - это:

IaaS/PaaS

Полнофункциональная платформа с

экономией затрат Big Data / Machine Learning

Масштабируемые облачные сервисы

для работы с данными

NoOpsСнижение

издержек и повышение

эффективности разработки ПО

Лучшее от Google

Все сервисы спроектированы и опробованы для

задач Google


Thank you


Backup slides

Пример архитектуры: Continuous Integration

Безопасность Google Cloud Platform ● Модель безопасности Google постоянно улучшается на протяжении

последних 15 лет● Google Cloud Platform предлагает пользователям уровень защиты

аналогичный используемому для таких сервисов как GMail, Google Search и др. Например:○ Шифрование данных в Google Cloud включено по умолчанию, как

для среды передачи (“in transit”, HTTPS/TLS), так и для хранения (“at rest”, AES-256)

○ Google Cloud Key Management Service позволяет клиентам шифровать данные собственными ключами шифрования

● Google Cloud Terms of Service регламентирует обработку данных клиента в строгом соответствии с инструкциями клиента - и никак иначе

https://cloud.google.com/security/

https://cloud.google.com/kms/

https://cloud.google.com/terms/data-processing-terms#5-processing-of-customer-personal-data

● Google Cloud Platform проходит регулярный аудит технической инфраструктуры и процессов управления

● Сервисы Google Cloud Platform соответствуют таким международным стандартам аудита и сертификации как:○ SSAE16 / ISAE 3402 Type II○ ISO 27001○ ISO 27017, Cloud Security○ ISO 27018, Cloud Privacy○ FedRamp ATO○ PCI DSS v3.1

● Google Cloud Platform поддерживает доп. соглашения для соответствия стандартам HIPAA и EU Data Protection Directive

Сертификации и аудит Google Cloud Platform

https://cloud.google.com/security/compliance



Google Cloud Platform Облачные сервисы для бизнеса

Documents

Transcript of Google Cloud Platform Облачные сервисы для бизнеса