Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop...

51

Transcript of Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop...

Page 1: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)
Page 2: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Az adatok hatalma

Arató Bence

BI Consulting

Ügyvezető igazgató

3

Page 3: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Kettős kihívás

Page 4: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)
Page 5: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Source: "What's your data strategy?" HBR May-June 2017

Page 6: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Technológia

Page 7: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Dresner Advisory Services - Big Data Analytics Market Study 2017

Page 8: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

2018

Gartner 208 Magic Quadrant for Data Management Solutions for Analytics Gartner Magic Quadrant for Data Management Solutions for Analytics, February 2018

Page 9: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

2018

Gartner 208 Magic Quadrant for Data Management Solutions for Analytics Gartner Magic Quadrant for Data Management Solutions for Analytics, February 2018

Page 10: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

„The leading 2017 story of Hadoop distributions is that nobody seems to want to be accused of being in the business of providing them”

Merv Adrian, Gartner

https://blogs.gartner.com/merv-adrian/2017/12/29/december-2017-tracker-wheres-hadoop

Page 11: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Gartner 2017 Hype Cycle for Data Management

Page 12: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Vendor transformation

Page 13: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Vendor transformation

Page 14: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

blogs.gartner.com/merv-adrian/2017/12/29/december-2017-tracker-wheres-hadoop

Page 15: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Qubole 2018 Big Data Activation Report

Page 16: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Qubole 2018 Big Data Activation Report

Page 17: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Pénzügyi eredmények

Page 18: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)
Page 19: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Hortonworks

Page 20: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Hortonworks

Page 21: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Cloudera

Source: Forbes

Page 22: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Cloudera

Page 23: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Cloudera

Page 24: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)
Page 25: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)
Page 26: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

AI kihívások

Page 27: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

AI Hype

Source: Gergely Daróczi

Page 28: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

blog.openai.com/ai-and-compute

Page 29: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

blog.openai.com/ai-and-compute

Page 30: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

blog.openai.com/ai-and-compute

Page 31: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)
Page 32: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

www.extremetech.com/extreme/269008-google-announces-8x-faster-tpu-3-0-for-ai-machine-learning

Page 33: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)
Page 34: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

vectordash.com

Page 35: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

2017

index.hu/tech/2017/01/03/magyarorszagot_is_elfoglaljak_a_csevegobotok

Page 36: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

2017

index.hu/kultur/media/2017/01/03/robotizaltuk_az_indexet

Page 37: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

2018

index.hu/tech/2018/06/07/a_forradalom_erdeklodes_hianyaban_elmaradt

Page 38: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Hazai helyzet

Page 39: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Hungarian Cluster Showcase

Page 40: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Hungarian Cluster Showcase

Central Média

IBM Budapest Lab Prezi

Node 12 10 41 CPU 96 320 168 Memória 384 GB 600 GB 672 GB Adatmennyiség 15 TB 800 TB 1 PB+ Tárolás S3 S3 Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő) 2 3 3 User (fő) 8 20 90

Page 41: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Hungarian Cluster Showcase

Magyar Telekom

Mol group

Telenor Hungary

Node 26 6 15 CPU 500 48 30 Memória 4500 GB 384 GB 3800 GB Adatmennyiség 400 TB 24TB 50 TB Tárolás Clusteren Clusteren Clusteren Hadoop Cloudera Cloudera Cloudera

SQL motor Hive, Spark,

Impala Hive, Spark,

Impala Spark

Devops (fő) 30 10 10 User (fő) 500 30 20

Page 42: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Source: Cloudera

Page 43: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)
Page 44: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

www.nng.com/hanagyleszek

Page 45: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

www.nng.com/hanagyleszek

Page 46: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

www.nng.com/hanagyleszek

Page 47: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

GDPR

Page 48: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

Source:Hortonworks

Page 49: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

(viber)

Page 50: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)

https://www.facebook.com/photo.php?fbid=10204856278523793&set=gm.2086132085003351

Page 51: Az adatok hatalma - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/arato_bence...Hadoop Cloudera EMR EMR SQL motor Impala Hive, Spark, Presto Presto, Spark, Hive Devops (fő)