MONTER EN PUISSANCE ET EN AUTONOMIE SUR UNE PLATEFORME HADOOP ?

Romain Chaumais – romain.chaumais@ysance.com

Notre métier

Agence conseil en Technologie Digitale

Conception, mise en œuvre et animation de Plateformes Digitales

Organisée autour de 7 offres

Digital Marketing Ecommerce CRM

Cloud Computing

BusinessIntelligence

Data Management Big Data

Comment monter en puissance et en autonomie sur une plateforme Hadoop ?

Romain Chaumais

CONSEIL #1 DÉMYSTIFIER LA BÊTE

CONSEIL #2 FAIRE COMME AVANT

Les bénéfices de la « base de données » Hadoop

12

Gestion des données structurées, peu

structurées et non structurées

Massivement Scale-Out (Gestion du temps

contraint)

Faible coût de possession

Intégrée et compatible avec l’écosystème BI

traditionnel

Pas de modèle de données à priori

Grande capacité de stockage

De plus en plus compatible avec des usages temps réel

(Flume, Hbase, Impala)

CONSEIL #3 CHOUCHOUTER LES ADMIN SYSTÈMES

CONSEIL #4 OSER SE JETTER À L’EAU

Architecture logique & applicative avec un ecosystème Hadoop

…

Cluster élastique : CPU / RAM / Disk / Network

Stockage HDFS / MAPRFS

Transformations Batch : Map Reduce (Hive /Pig)

Transactions Temps réel : Hbase / Cassandra / etc.

Moteur de recherche Temps réel : ElasticSearch/SolR

Requêtes Temps réel : Impala / Presto / Spark / etc.

Orc

hestr

ati

on

des t

rait

em

en

ts :

ETL

Don

nées s

ou

rces

Ventes

Web.com

Logs

Autres …

APIAccès Apps tiercesTemps réel (R/W)

BrowserApps

Opérationnelles HTML Temps réel

(Search / Pilotage)

HT

TP

/ R

ES

T /

JS

ON

Outils BIApps Analytiques

Données historisées Pour

les 3 BI

SQ

L O

DB

C /

JD

BC

Fil

es S

yste

m /

Sh

ell Fichier

sÉchange de données par

fichiersInput / OutputShellInteraction en

ligne de commande

Collecte et streaming : Flume, SyslogNG, Storm

CONSEIL #5 CONSTRUIRE UNE HISTOIRE D’AMOUR

CONSEIL #6 APPELER UN AMI

http://ysance.com/nous-contacter.html :)

ET SI VOUS SUIVEZ BIEN TOUS CES CONSEILS …

#MYJOB DOMPTEUR DE HADOOP

Merci

MERCI

Romain Chaumais – romain.chaumais@ysance.com