BigData & Hadoop - Technology Latinoware 2016
-
Upload
thiago-santiago -
Category
Technology
-
view
282 -
download
1
Transcript of BigData & Hadoop - Technology Latinoware 2016
![Page 1: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/1.jpg)
Big Data e Hadoop O poder da informação
20/10/2016
![Page 2: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/2.jpg)
22
Thiago SantiagoEngenheiro de Soluções Hadoop na Hortonworks, auxiliando os clientes com as melhores práticas do mercado para extrair informações valiosas de dados complexos com soluções escaláveis e confiáveis com BigData.
• 10 anos de experiência profissional de TI em desenvolvimento e arquitetura e aplicações.
• Experiência em Plataformas DataGrid, Soluções NoSQL e arquiteturas distribuídas de computação e GoF Design Patterns
• Experiência em ALM (Application Lifecycle Management) e CI (Continuous integration)
Projetos em BigData• Vivo• TIM• Banco do Brasil• B2W (Americanas.com/Submarino.com)
![Page 3: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/3.jpg)
3
![Page 4: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/4.jpg)
4
Buzzword…
![Page 5: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/5.jpg)
5
BigData Implícito…
![Page 6: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/6.jpg)
6
![Page 7: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/7.jpg)
7
O Big Data procura responder a perguntas como: Por quê? E se? O que acontecerá? Como otimizar? E fornecer novas perguntas e insights
O intuito final é apenas um: dominar a informação!
Big Data é baseado em 3 pilares:
Veracidade e Valor
![Page 8: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/8.jpg)
8
Informação é poder
Turma difícil de lidar…
Um professor belga ameaçou divulgar spoilers da próxima temporada de Game of Thrones (série da HBO baseada na obra A Song of Fire and Ice de George R.R. Martin)
![Page 9: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/9.jpg)
9
Para provar seu conhecimento, listou todos os personagens mortos na última temporada
![Page 10: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/10.jpg)
10
O que aconteceu?
Professor belga conseguiu a total atenção dos alunos…
Informação é poder!
![Page 11: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/11.jpg)
11
? Quantas vezes Homens e mulheres no Tinder movem seus dedos para a esquerda e direita nas telas de seus dispositivos por minuto?
![Page 12: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/12.jpg)
12
Mudança de era…
Anuncio do novo papa
![Page 13: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/13.jpg)
13
8ZBDATAINTERNET
OFANYTHING
44ZBDATA
2020
13
ByteKilobyte (KB)
Megabyte (MB)Gigabyte (GB)Terabyte (TB) Petabyte (PB)Exabyte (EB)
Zettabyte (ZB)
![Page 14: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/14.jpg)
14
Como analisar essa quantidade de informação?
![Page 15: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/15.jpg)
15
Hadoop
https://pt.wikipedia.org/wiki/Hadoop
Plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes massas de dados. Foi inspirada no MapReduce e no GoogleFS (GFS). Trata-se de um projeto da Apache de alto nível, que vai sendo construído por uma comunidade de contribuidores Java. O Yahoo! tem sido o maior contribuidor do projeto, utilizando essa plataforma intensivamente em seus negócios.
![Page 16: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/16.jpg)
16
O que é MapReduce?
![Page 17: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/17.jpg)
17
Evolução do Hadoop
![Page 18: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/18.jpg)
18
Ecosistema
![Page 19: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/19.jpg)
19
Players
![Page 20: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/20.jpg)
20
Possibilitar que clientes consigam extrair informações
valiosas de dados complexos em soluções escaláveis e confiáveis.
O que fazem os grandes com Hadoop?
Qual a função de uma distribuição hadoop?
![Page 21: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/21.jpg)
21
Apenas um dos vários clusters Hadoop operados pela empresa abrange mais de 4.000 máquinas.
Facebook Messager no Apache Hadoop HBase platform para suportar bilhões de mensagens por dia.
Usam Hive para os reports e análise de grandes conjuntos de dados.
![Page 22: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/22.jpg)
22
Foi o primeiro a oferecer a opção “o que outros compraram também”, obtendo instantaneamente vantagem competitiva com relação a seus concorrentes;
![Page 23: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/23.jpg)
23
Utiliza Hadoop para sugerir automaticamente conteúdo a seus usuários baseado no que foi assistido anteriormente. Talvez o melhor exemplo de sucesso de Big Data, o Netflix passou a não somente oferecer sugestões de conteúdo similar, mas sim produzir conteúdo direcionado para as preferências das massas, de acordo com o que vem “aprendendo” ao longo dos anos.
![Page 24: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/24.jpg)
24
“Aprende” sobre a rotina diária das pessoas, e sugere automaticamente meios de transporte, restaurantes, opções de entretenimento, entre outras coisas, baseando-se no comportamento individual de cada um.
![Page 25: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/25.jpg)
25
Analisa em tempo real a situação do trânsito das cidades, e sugere o caminho mais rápido, baseado no feedback dos usuários e de análises de velocidade de deslocamento informados automaticamente pelos dispositivos conectados;
![Page 26: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/26.jpg)
26
O site de namoro online recentemente atualizou seu ambiente na nuvem, usando Hadoop e os processadores Intel Xeon E5 para analisar um volume massivo e variado de dados. A tecnologia ajuda a eHarmony a disponibilizar novas combinações a milhões de pessoas diariamente. O novo ambiente cloud acomoda análises mais complexas, criando resultados mais personalizados e aumentando a chance de sucesso nos relacionamentos.
![Page 27: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/27.jpg)
27
![Page 28: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/28.jpg)
28
Flink
BigData ou Pokemon?
Spark
![Page 29: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/29.jpg)
29
Jirachi
BigData ou Pokemon?
![Page 30: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/30.jpg)
30
Pangol
BigData ou Pokemon?
MapReduce
![Page 31: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/31.jpg)
31
Akiban
BigData ou Pokemon?
Data Base
![Page 32: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/32.jpg)
32
Spoink
BigData ou Pokemon?
![Page 33: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/33.jpg)
33
Seahorse
BigData ou Pokemon?
Spark
![Page 34: BigData & Hadoop - Technology Latinoware 2016](https://reader035.fdocuments.net/reader035/viewer/2022062400/587998801a28ab95318b6e75/html5/thumbnails/34.jpg)
34
Summingbird
BigData ou Pokemon?
Storm