Big Data Revolution

Antonella.Blasetti@information-design.it

information designOracle Cloud Web Google

GDGROMALABGoogle DeveloperGroupROMA LAZIO ABRUZZO

Big Data Revolution

un nuovo mondo

con nuove strategie e competenze

approccio creativo

Cosa sono i Big Data?

...in confronto agli Small Data?

Cambio di Paradigma

Elementi tecnici

Tipologia di informazioni

Volumi Velocità Variabilità

Origine dei Dati

Esempio emblematico

Influenza 2009

50mio Parole Chiave

Dati Storici

Tecnologieinterconnesse ed interoperanti

Social Network e Search

Open Data

Mobile

Intelligenza Artificiale & ML

Dispositivi indossabili

Sensori e Dispositivi "parlanti"

Internet delle Cose

noSQLBeacons

Doctor Antonella Tosti, Dermatologist University of Miami School of Medicine, uses an iphone as a dermatoscope as she examines Michael Casa Nova,12, for symptoms of skin cancer due to sun exposure (Joe Raedle/Getty Images/AFP) http://rt.com/usa/medical-device-apps-smartphone-295/

click sull’immagine

Campi di applicazione:

SaluteRicerca

Marketing Scienze Sociali

Google Books

Translate: da IBM a Google

Imparare dagli Errori

Scoperte Scientifiche

Amazon

Google Places

Google Now

Esempi

Previsioni socio-sanitarie

Social & Sentimental

Analysis

Google NowFrodi-Anomalie

Manutenzione-Controllo

(quasi) Tutto è misurabile

cosa è la

DATIZZAZIONE

Un pizzico di Statistica...

è necessaria per capire i BIGDATA

Cosa è?A cosa serve?

Come fa a funzionare?

la VITA non è Matematica

ma nemmeno

RANDOM

I Segreti della Statistica...

non solo a CASOma tante cause

non è possibile prevedere il singolo evento

ma il risultato di molti eventi

la Correlazionese prendi freddo ti ammali

Focus sui fattori che si possono variare/controllare

Trende Serie Storiche

Il Mondo non sta mai fermoe va sempre più veloce

Differenze e RaggruppamentiCluster & Factor Analysis

Metodi empiricinon matematici

con i Big Datala Statistica è necessaria

ma più facileviva e divertente

Machine Learning

Algoritmi e Sistemi per

PrevisioniClassificazioni

Raggruppamenti

Machine Learning

Algoritmi e Sistemi per

PrevisioniClassificazioni

Raggruppamenti

Machine Learning

anche il Software impara!Alberi di DecisioneMetodi Bayesiani

l’Allenamento/Apprendimento

Machine Learning:esempi

Mail SpanAutomotive

Identificazione Pattern Oggetti

Ufficio Clienti

Machine Learning: Automotive

Open DATA

Poter accedere a Dati/Statistichedi Pubblica Utilità

e di proprio interessee collegarli tra di loro

e con i BIG DATA

Strategie tecniche

Costi/RisultatiServizi/in-House

Metodi Proprietari/Complessi vs Semplici/Aperti

SW Open Sourceo

Proprietario?

Database noSQL

Architettura distribuitaScalabilità

MultiNodo Partizionamento ReplicheParallelismo (MapReduce)

Prestazioni e non legate alla dimensione del data set

no Backup

Database noSQL

molto SQL e possibile convivenzaDB al contrario

Dati con meno vincoli Pregi e Difetti

noSQLMolti formati diversi

noJoinSchemaless

Replicati su +ProcessorScalabilità lineare

notonlyBigData

Tipologie noSQL DB

Key-ValueColumn/BigTable

Document Graph

Key-Value

Apache Cassandra: ibridoAmazon DynamoDB

CouchBaseBerkeleyDB

Oracle’s Coherence

Key-ValueChiavi in associazione

a Dati o Oggetti

Estrema Portabilitàcome un Dizionario

Scalabilità

Column/BigTable

Google Cloud DataStore Apache HBase

Apache Accumulo Cloudera

Column/BigTable

Uso di Map ReduceMaster Nodes suddivide operazioni

su più nodie poi aggrega i risultati parziali

Google Maps

Document DB

MongoDB CouchDBDB XML

OrientDB + Graph

Document DB

Documenti: XML, Json, altri formatiIl contenuto dei documenti è indicizzato

Document pathDati semi-strutturati

Linguaggi di trasformazionee di interrogazione

Graph DB

NeoJs InfiniteGraph

Apache Giraph (Google Pregel) DB2

Graph DB

Gestione di Grafi, molte relazioni da attraversare.

Nodi, relazioni e proprietàVicinanza e Similitudine

Sono la nuova versione dei classici DB Reticolari,

ma più affidabili e veloci

Graph DB

Scalabilità + difficileIdentificazione dei NODI

W3C - URIsIntegrazione di Linked Data

e di Open Data

Le tecniche Importanti

Map ReduceCompressione dei Dati

Hashing Shrading

Streaming DataRTBDA

Map Reduce/Hadoop

Elaborazioni di enormi quantità di dati

in Cluster di Hardware a basso costo

Map Reduce/Hadoop

Rete di Controllersuddivisione del lavoro

aggregazione Problema dei failure

Gestione della FaultTolerancerende semplice lavorare in parallelo

Hadoop

è BATCHbasato su HDSF (GFS)

PIG - script per MapReduce Hadoop Common – Ut Libraries

Streaming

Hadoop

HBase - Il database

YARN - Resource Management & Scheduling

Shark + Spark (open)

Claudera

RTBDAReal Time Big Data Analytics

no MapReduce

Dremel (Google BigQuery)

Apache Drill

Real Timeno Database ma Analyics

all DATA, senza Aggregazioni Analisi su DB immensi

Scalabili su più di 10.000 ServerPetabyte of Data Trillions of Records

BigQuery

Solo come Servizio Tools di Test

Utilizzabile con normali comandi SQL

Data Scientist

Nuova figura professionale

TecnicaConoscenza dei Problemi

IntuizioneMetodi Scientifici

i Dati in Azienda

Come integrare

Big Datae Small Data

Best Practices

Servizi REST +

DB XML =

BigData integrati con i Vs.Dati

i Pericoli del Big Data

Privacy

Importanza del modello Open Source

Le “macchine” faranno sempre di più...se questo sia un bene o un male dipenderà da chi

ma soprattutto da quanti ne avranno consapevolezza e potranno controllarle

Grazie

Big Data Revolution

Documents

Transcript of Big Data Revolution

Big Data - A Revolution in Marketing & Media

Big Data – Hype or Revolution? - Kitchin · Big Data – Hype or Revolution? Rob Kitchin IntroductIon The etymology of ‘big data’ can be traced to the mid-1990s, first used

The ‘big data’ revolution in · PDF fileSource: McKinsey analysis ... Exhibit 2: Primary data pools are at the heart of the big-data revolution in healthcare. Pharmaceutical R&D

Big Data Wonderland: Two Views on the Big Data Revolution

FUTURE REVOLUTION ON BIG DATA

Revolution Big Data - pwc.de · Revolution Big Data Herausgegeben von der PricewaterhouseCoopers AG Wirtschaftsprüfungsgesellschaft (PwC) Von Barbara Lix und Bernd Reimer Mai 2014,

The big data revolution - EIT Conference, Rennes, 2015

Data Science, Predictive Analytics, and Big Data: A Revolution That ...

Big Data a Technological Revolution

Big Data: Spotlight on Big Data - ترجمه فاtarjomefa.com/wp-content/uploads/2017/04/6539... · Big Data:Spotlight on Big Data The Management Revolution Exploiting vast new flows

Big Data: Spotlight on Big Data - Universitetet i Bergen · 2017-08-24 · HBR.ORG OctOBeR 2012 reprinT r1210C Big Data:Spotlight on Big Data The Management Revolution Exploiting

Oracle, Hadoop, and the Big Data Revolution

Big Data - A Real Life Revolution

The Big Data Revolution: Privacy Considerations - Technology

How Digital & Big Data Revolution Will Transform Primary Care Medicine

How media agencies solve the big data revolution

The Google Scholar Revolution: a big data bibliometric tool

The Data Revolution: Big Data, Open Data, Data Infrastructures …cast.b-ap.net/wp-content/uploads/sites/32/2015/10/Data... · 2015. 10. 1. · The Data Revolution: Big Data, Open

The Big Data Revolution: “When Bigger is Better” …torlone.dia.uniroma3.it/bigdata/S3-Ringmaster.pdfThe Big Data Revolution: “When Bigger is Better” Real Use Cases for the

Big Data Revolution Is Here