Big Data Revolution

[email protected]

information designOracle Cloud Web Google

GDGROMALABGoogle DeveloperGroupROMA LAZIO ABRUZZO

Big Data Revolution

[email protected]



un nuovo mondo

con nuove strategie e competenze

approccio creativo

[email protected]

[email protected]



Cosa sono i Big Data?

...in confronto agli Small Data?

Cambio di Paradigma

[email protected]

[email protected]



Elementi tecnici

Tipologia di informazioni

Volumi Velocità Variabilità

Origine dei Dati

[email protected]

[email protected]



Esempio emblematico

Influenza 2009

50mio Parole Chiave

Dati Storici

[email protected]

https://www.google.org/flutrends/about/how.html

https://www.google.org/flutrends/about/how.html

[email protected]



Tecnologieinterconnesse ed interoperanti

[email protected]

[email protected]




[email protected]

Social Network e Search

Open Data

Mobile

Intelligenza Artificiale & ML

Dispositivi indossabili

Sensori e Dispositivi "parlanti"

Internet delle Cose

noSQLBeacons

[email protected]



[email protected]

Doctor Antonella Tosti, Dermatologist University of Miami School of Medicine, uses an iphone as a dermatoscope as she examines Michael Casa Nova,12, for symptoms of skin cancer due to sun exposure (Joe Raedle/Getty Images/AFP) http://rt.com/usa/medical-device-apps-smartphone-295/

[email protected]



[email protected]

click sull’immagine

http://www.telegraph.co.uk/technology/google/10578729/Google-reveals-smart-contact-lens-prototype-designed-to-aid-diabetics.html

[email protected]



Campi di applicazione:

SaluteRicerca

Marketing Scienze Sociali


[email protected]

[email protected]




[email protected]

Google Books

Translate: da IBM a Google

Imparare dagli Errori

Scoperte Scientifiche

Amazon

Google Places

Google Now

Esempi

Previsioni socio-sanitarie

Social & Sentimental

Analysis

Google NowFrodi-Anomalie

Manutenzione-Controllo

http://en.wikipedia.org/wiki/Google_Books

http://en.wikipedia.org/wiki/Google_Books

[email protected]




[email protected]


https://www.youtube.com/watch?v=_GdSC1Z1Kzs

[email protected]



(quasi) Tutto è misurabile

cosa è la

DATIZZAZIONE


[email protected]

[email protected]



Un pizzico di Statistica...

è necessaria per capire i BIGDATA

Cosa è?A cosa serve?

Come fa a funzionare?

[email protected]




la VITA non è Matematica

ma nemmeno

RANDOM

[email protected]



I Segreti della Statistica...

non solo a CASOma tante cause

non è possibile prevedere il singolo evento

ma il risultato di molti eventi

[email protected]




la Correlazionese prendi freddo ti ammali

Focus sui fattori che si possono variare/controllare

[email protected]




Trende Serie Storiche

Il Mondo non sta mai fermoe va sempre più veloce

[email protected]




Differenze e RaggruppamentiCluster & Factor Analysis

Metodi empiricinon matematici

[email protected]




con i Big Datala Statistica è necessaria

ma più facileviva e divertente

[email protected]



Machine Learning

Algoritmi e Sistemi per

PrevisioniClassificazioni

Raggruppamenti

[email protected]



Machine Learning


http://www.youtube.com/watch?v=WB9zr0IZCPQ

[email protected]



Machine Learning

Algoritmi e Sistemi per

PrevisioniClassificazioni

Raggruppamenti

[email protected]



Machine Learning

anche il Software impara!Alberi di DecisioneMetodi Bayesiani

l’Allenamento/Apprendimento

[email protected]



Machine Learning:esempi

Mail SpanAutomotive

Identificazione Pattern Oggetti

Ufficio Clienti

[email protected]



Machine Learning: Automotive

https://www.youtube.com/watch?v=cdgQpa1pUUE

[email protected]



Open DATA

Poter accedere a Dati/Statistichedi Pubblica Utilità

e di proprio interessee collegarli tra di loro

e con i BIG DATA

[email protected]



Strategie tecniche

Costi/RisultatiServizi/in-House

Metodi Proprietari/Complessi vs Semplici/Aperti

[email protected]



SW Open Sourceo

Proprietario?

[email protected]



Database noSQL


[email protected]

[email protected]



Architettura distribuitaScalabilità

MultiNodo Partizionamento ReplicheParallelismo (MapReduce)

Prestazioni e non legate alla dimensione del data set

no Backup


[email protected]

[email protected]



Database noSQL

molto SQL e possibile convivenzaDB al contrario

Dati con meno vincoli Pregi e Difetti

[email protected]



noSQLMolti formati diversi

noJoinSchemaless

Replicati su +ProcessorScalabilità lineare

notonlyBigData

[email protected]



Tipologie noSQL DB

Key-ValueColumn/BigTable

Document Graph

[email protected]



Key-Value

Apache Cassandra: ibridoAmazon DynamoDB

CouchBaseBerkeleyDB

Oracle’s Coherence

http://cassandra.apache.org/

http://cassandra.apache.org/

http://aws.amazon.com/dynamodb/

http://aws.amazon.com/dynamodb/

http://www.couchbase.com/

http://www.couchbase.com/

http://www.oracle.com/us/products/database/berkeley-db/overview/index.html

http://www.oracle.com/us/products/database/berkeley-db/overview/index.html

http://www.oracle.com/technetwork/middleware/coherence/overview/index.html

[email protected]



Key-ValueChiavi in associazione

a Dati o Oggetti

Estrema Portabilitàcome un Dizionario

Scalabilità

[email protected]



Column/BigTable

Google Cloud DataStore Apache HBase

Apache Accumulo Cloudera

https://developers.google.com/datastore/

https://developers.google.com/datastore/

http://hbase.apache.org/

http://hbase.apache.org/

http://accumulo.apache.org/

http://accumulo.apache.org/

http://www.cloudera.com/

http://www.cloudera.com/

[email protected]



Column/BigTable

Uso di Map ReduceMaster Nodes suddivide operazioni

su più nodie poi aggrega i risultati parziali

Google Maps

[email protected]



Document DB

MongoDB CouchDBDB XML

OrientDB + Graph

http://www.mongodb.org/

http://www.mongodb.org/

http://couchdb.apache.org/

http://couchdb.apache.org/

http://www.marklogic.com/

http://www.marklogic.com/

http://www.orientdb.org/

http://www.orientdb.org/

[email protected]



Document DB

Documenti: XML, Json, altri formatiIl contenuto dei documenti è indicizzato

Document pathDati semi-strutturati

Linguaggi di trasformazionee di interrogazione

[email protected]



Graph DB

NeoJs InfiniteGraph

Apache Giraph (Google Pregel) DB2

http://neo4j.org/

http://neo4j.org/

http://objectivity.com/

http://objectivity.com/

https://giraph.apache.org/

https://giraph.apache.org/

[email protected]



Graph DB

Gestione di Grafi, molte relazioni da attraversare.

Nodi, relazioni e proprietàVicinanza e Similitudine

Sono la nuova versione dei classici DB Reticolari,

ma più affidabili e veloci

[email protected]



Graph DB

Scalabilità + difficileIdentificazione dei NODI

W3C - URIsIntegrazione di Linked Data

e di Open Data

[email protected]



Le tecniche Importanti

Map ReduceCompressione dei Dati

Hashing Shrading

Streaming DataRTBDA

[email protected]



Map Reduce/Hadoop

Elaborazioni di enormi quantità di dati

in Cluster di Hardware a basso costo

[email protected]



Map Reduce/Hadoop

Rete di Controllersuddivisione del lavoro

aggregazione Problema dei failure

Gestione della FaultTolerancerende semplice lavorare in parallelo

[email protected]



Hadoop

è BATCHbasato su HDSF (GFS)

PIG - script per MapReduce Hadoop Common – Ut Libraries

Streaming

https://pig.apache.org/

https://pig.apache.org/

http://hadoop.apache.org/docs/r1.2.1/streaming.html

http://hadoop.apache.org/docs/r1.2.1/streaming.html

[email protected]



Hadoop

HBase - Il database

YARN - Resource Management & Scheduling

Shark + Spark (open)

Claudera

http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-site/YARN.html

http://shark.cs.berkeley.edu/

http://spark.apache.org/

http://shark.cs.berkeley.edu/

[email protected]



RTBDAReal Time Big Data Analytics

no MapReduce

Dremel (Google BigQuery)

Apache Drill

Druid

https://developers.google.com/bigquery/

http://incubator.apache.org/drill/

http://incubator.apache.org/drill/

http://druid.io/

http://druid.io/

[email protected]



RTBDA

Real Timeno Database ma Analyics

all DATA, senza Aggregazioni Analisi su DB immensi

Scalabili su più di 10.000 ServerPetabyte of Data Trillions of Records

[email protected]



BigQuery

Solo come Servizio Tools di Test

Utilizzabile con normali comandi SQL


[email protected]

https://developers.google.com/bigquery/bigquery-browser-tool

https://developers.google.com/bigquery/bigquery-browser-tool

[email protected]




[email protected]

https://demobigquery.appspot.com/

[email protected]




[email protected]

Data Scientist

Nuova figura professionale

TecnicaConoscenza dei Problemi

IntuizioneMetodi Scientifici

[email protected]




[email protected]

i Dati in Azienda

Come integrare

Big Datae Small Data

[email protected]



Best Practices

Servizi REST +

DB XML =

BigData integrati con i Vs.Dati


[email protected]

[email protected]




[email protected]

i Pericoli del Big Data

Privacy

Importanza del modello Open Source

Le “macchine” faranno sempre di più...se questo sia un bene o un male dipenderà da chi

ma soprattutto da quanti ne avranno consapevolezza e potranno controllarle

[email protected]



Grazie

[email protected]

Big Data Revolution

Documents

Transcript of Big Data Revolution