Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de...
-
Upload
jose-renato-pequeno -
Category
Data & Analytics
-
view
38 -
download
5
Transcript of Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de...
![Page 1: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/1.jpg)
Explorando os principais implementadores Hadoop
José Renato Pequeno
![Page 2: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/2.jpg)
Faculdade de Engenharia de Sorocaba - Facens
José Renato Pequeno
![Page 3: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/3.jpg)
O Momento Big Data
Fonte:http://www.gartner.com/
![Page 4: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/4.jpg)
Hadoop
• Projeto Open Source
• Criado pela Yahoo em 2005
• Licenciado pela Apache
• É a combinação de dois projetos :
Hadoop MapReduce (HMR)
Hadoop Distributed File System (HDFS)
![Page 5: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/5.jpg)
Hadoop
Apache Hadoop é um framework que permite o processamento de grandes volumes de dados através de clusters. É um sistema distribuído usando uma arquitetura Master-Slave armazenando informações através do Hadoop Distributed File System (HDFS) e implementa algoritmos de MapReduce.
![Page 6: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/6.jpg)
Eco Sistema Hadoop
![Page 7: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/7.jpg)
O que é Big Data?Segundo a Wikipedia:
“Big Data consiste em datasets que crescem em uma escala tão grande e complexa que fica difícil de processar utilizando as ferramentas de gerenciamento de banco de dados tradicionais. As dificuldades incluem captura, armazenamento, busca, compartilhamento, analise e visualização.”
![Page 8: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/8.jpg)
Profissões
![Page 9: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/9.jpg)
Mercado de trabalho
Fonte : http://classificados.folha.uol.com.br/empregos/2013/06/1291482-empresas-tem-de-reduzir-exigencias-para-ocupar-vagas.shtml
![Page 10: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/10.jpg)
Mercado de trabalho
Fonte : http://classificados.folha.uol.com.br/empregos/2013/06/1291482-empresas-tem-de-reduzir-exigencias-para-ocupar-vagas.shtml
![Page 11: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/11.jpg)
Implementadores Hadoop
![Page 12: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/12.jpg)
Hortonworks
![Page 13: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/13.jpg)
Hortonworks
![Page 14: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/14.jpg)
Hortonworks
![Page 15: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/15.jpg)
Hortonworks
![Page 16: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/16.jpg)
Hortonworks
![Page 17: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/17.jpg)
Hortonworks
Fonte : https://github.com/hortonworks/hadoop-tutorials
![Page 18: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/18.jpg)
Hortonworks
Fonte : https://github.com/hortonworks/hadoop-tutorials
![Page 19: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/19.jpg)
Hortonworks
![Page 20: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/20.jpg)
Hortonworks
![Page 21: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/21.jpg)
Hortonworks
![Page 22: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/22.jpg)
Cloudera
![Page 23: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/23.jpg)
Cloudera
![Page 24: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/24.jpg)
Cloudera
![Page 25: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/25.jpg)
Cloudera
![Page 26: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/26.jpg)
Cloudera
![Page 27: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/27.jpg)
Cloudera
![Page 28: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/28.jpg)
Cloudera
![Page 29: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/29.jpg)
MapR
![Page 30: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/30.jpg)
MapR
![Page 31: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/31.jpg)
MapR
![Page 32: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/32.jpg)
MapR
![Page 33: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/33.jpg)
MapR
![Page 34: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/34.jpg)
MapR
![Page 35: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/35.jpg)
MapR
![Page 36: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/36.jpg)
Principais Players
OracleMicrosoft
IBMEMC
![Page 37: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/37.jpg)
Oracle
Utiliza como base a Cloudera
Possui um empacotamento próprio
VM Oracle Big Data Lite
![Page 38: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/38.jpg)
Oracle
![Page 39: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/39.jpg)
Oracle
![Page 40: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/40.jpg)
Microsoft
Utiliza como base a Hortonworks
Possui um empacotamento próprio
HDInsight
![Page 41: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/41.jpg)
Microsoft
![Page 42: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/42.jpg)
Microsoft
![Page 43: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/43.jpg)
IBM
Possui um empacotamento próprio
Infosphere Big Insight
![Page 44: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/44.jpg)
IBM
![Page 45: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/45.jpg)
EMC
Utiliza tanto a Cloudera como a Hortonworks.
Empacotamento via PivotalHD.
![Page 46: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/46.jpg)
EMC
![Page 47: Explorando os principais implementadores hadoop e o papel que eles exercem nos principais players de ti 1](https://reader035.fdocuments.net/reader035/viewer/2022062308/55b943f7bb61eb616f8b45d1/html5/thumbnails/47.jpg)
FIM
José Renato Pequeno@javalittle