Big Data a CloudIng. Mikuláš Strelecký

Bratislava, 6.10. 2016

Big Data – do cloudu? Ako na BDaaS?

Pohľad do histórie – agílnosť, flexibilnosť a rýchlosť

• Pomalá sieť (1GBs)

• Silá úložísk drahé, vyžadujú špeciálny HW

• Lokálne HDD lacné a dostatočne rýchle pre potreby big dát, tesné prepojenie počítača a úložiska

• Vznik Hadoop a HDFS

• Následne vylepšenia siete, dátovej kompresie

• Nástup distribuovaných cache platforiem

• Zmena - oddelenie počítača a úložiska

• Virtualizácia a “cloud” technológie sú/nie sú potrebné• Avšak (realisticky) … s automatizáciou, flexibilitou a

elasticitou BDaaS ekonomicky výhodná• Zníženie nákladov a konsolidácia

• Vyššia utilizácia, menej hardvérového over provisioningu, mutitenantnosť, bezpečnosť, VxLAN, izolácia chýb atď..

• Nároky hypervízora vysoké na úložisko a sieť (SLA, QoS..)• Linux kontajnery znižujú nároky CPU, RAM, Storage

• Kontajnery sú ľahko využiteľné a zdieľatelné

• BDaaS nastupuje – všetky dôležité súčasti sú dostupné

Big Data - ako služba a Cloud

Big Data nová realita

Big Data Tradičný prístup

Hardvér

Umiestenie diskov

HDFS na lokálnych diskoch

Big Data Nový Prístup

Kontajnery

Oddelenie compute a storage

Možnosť prístupu k vzdialeným úložiskám

Možnosti

Big-Data-as-a-Service

Agilita a úspory

Rýchlejšie dostupné výsledky

Big-Data-as-a-Service

“Mechanizmus sprístupňujúci nástroje pre štatistickú analýzu a informácie, ktorépomáhajú organizáciám pochopiť a používať poznatky získané z rozsiahlych

informačných sád s cieľom získať konkurenčnú výhodu.”

Podľa požiadaviek dostupná , samoobslužná, elastická infraštruktúra pre Big Dáta, aplikácie a analýzy

Zdroj: www.semantikoz.com/blog/big-data-as-a-service-definition-classification

1. Základná BDaaS• Minimálna platforma, napr. Hadoop s YARN

2. Výkonná BDaaS• “Nadol” vertikálna integrácia• Obsahuje optimalizovanú infraštrultúru• Pevne spojená so Základnou BDaaS

Zdroj: www.semantikoz.com/blog/big-data-as-a-service-definition-classification

Štyri typy pre BDaaS

Štyri typy pre BDaaS

3. Funkčná BDaaS• “Nahor” vertikálna integrácia• Obsahuje funkcie mimo Hadoop• Podpora pre základnú BDaaS

4. Integrovaná BDaaS• Plne vertikálna integrácia a optimalizácia• Obsahuje Výkonnú BDaaS & Funkčnú BDaaS

Zdroj: www.semantikoz.com/blog/big-data-as-a-service-definition-classification

Verejný Public Cloud

• Nízky Capex, vyšší Opex• Neobnedzená rozšíriteľnosť• Nižšia bezpečnosť?• Nižišia možnosť ovládania

• Softvér, SLA, konfirgurácie, a pod.• API kompatibilita? Može byť špeciálna

• Azure, AWS, OpenStack• Preto PaaS vrstva (BDaaS), IWBD 2.0.

• CloudFoundry

Vo vlastných priestoroch(Privátny Cloud)

• Vysoký Capex, nižší Opex• Možné dosiahnutie obmedzenia zdrojov• Vyššia bezpečnosť? • Vyššia možnosť ovládania

• Softvér, SLA, konfigurácie a pod.• Využitie API kompatibility

• WMware, OpenStack• PaaS vrstva (BDaaS), IWBD 2.0.

• CloudFoundry

BDaaS – Public Cloud alebo On-Prem

• BDaaS softvérová platforma, využíva Docker kontajnery

• Samoobslužný, Hadoop / Spark klaster, na požiadanie

• Oddelenie Compute a Storage pre lepšie a nezávislé škálovanie zdrojov

• Bezpečné multitenantné prostredie a QoS

• Podpora pre OpenStack, AWS a multi-cloudové prostredie

• Jeden pohľad na on-prem a off-prem záťaž

• Využitie elasticity cloudu pričom dáta ostávajú na mieste

• Bez potreby presunu dát do cloudu

IW BDF 2.0 – Integrovaná BDaaS

IW BDF 2.0

IW BDF 2.0 softvérová platforma

VýrobaPrevádzkaVývojSlužby

Analytika

> 90% Využitie

Bez duplikácie DátZjednodušená správa

Multi-Tenantné

Jednoduché, okamžité

aktualizácie

Klaster, samoobsluha podľa potreby

ĎAKUJEM ZA POZORNOSŤ