Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel

download Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel

of 24

  • date post

    16-Jul-2015
  • Category

    Internet

  • view

    1.150
  • download

    8

Embed Size (px)

Transcript of Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel

Talend Integration Cloud

Spark MeetupJonathan LamielTalend Labs2015 Talend Inc.2015 Talend Inc.#Prsentation de Spark Packages & CoComment partager de la donnes entre diffrents job Spark ?Comment sinterfacer avec Spark ?Comment rendre une application Spark interactive ?#

#Comment partager de la donnes entre diffrents job Spark ?Cas dusage : Plusieurs contextes Spark utilisant un mme fichier denrichissement.Solution 1 : Lire et relire et rerelire le mme fichier chaque fois.Solution 2 : Utiliser Tachyon#

Open Source Systme de fichier distribu In-memory

#

Utilisation avec Spark mais pas seulement

#

Avec Spark comment ca marche ?

#

Et mon problme de rutilisation ?

#

Et mon code Spark il devient quoi ?

#

Tachyon accde aux donnes de manire intelligente ?

#

Cot Perf ?

#

#

Spark Packages

#Spark Des RDDs :HadoopRDD, PairRDD, AvroRDD, JsonRDD, JdbcRDD, ESSpark, CassandraRDD etc Pour le reste : Hadoop InputFormats

Comment sinterfacer avec Spark ?#Spark StreamingDes Dstreams:File systems, Socket, Akka actors, Kafka, Flume, Kinesis, TwitterPour le reste : Custom Receiver ou Camel ???

Comment sinterfacer avec Spark ?

#Akka actors

#

#Comment rendre une application Spark interactive ?Cas dusage : Crer une API Rest pour excuter du Spark et aider au management des contextes Spark. Solution 1 : Le faire la main base dAkka + Spray etc Solution 2 : Utiliser ce quil ya de disponible dans les Spark-Packages#

Spark-jobserver

Open Source Gestion des contextes Spark par le JobServerGestion des applications sous forme de jarAppel dapplications Synchrone ou AsynchroneStatuts des jobs excutsGestion de la validation des paramtres avant soumission a Spark

#

Spark-jobserverCa ressemble quoi ?

#

Spark-jobserverA quoi ressemble mon code Spark ?

#

Spark-jobserverComment je lutilise ?

#

Spark-jobserver

Dun point de vue architecture ?

#

Suivre lvolution des projets sortant.

What next ?

.

#Q&A ?#