Codemotion 2012 : Accesso e analisi di Open Data: come gestire l'anarchia dei formati

Accesso e analisi di Open Data: come gestire l’anarchia dei formati

Matteo [email protected]

home.dei.polimi.it/picozziPhD Student

Politecnico di MilanoDipartimento di Elettronica e

Informazione

Eugenio [email protected]

Web DeveloperWellnet S.r.l.

Diego [email protected]

PM / AnalistaWellnet S.r.l.

domenica 25 marzo 12

mailto:[email protected]


http://home.dei.polimi.it/picozzi

http://home.dei.polimi.it/picozzi





• Acquisizione Dati• Reasoning• Visualizzazioni

Diego Banchero, Eugenio Minardi, Matteo [email protected], [email protected], [email protected]

Wellnet S.r.l. e Politecnico di Milano - DEI

{ }

2

Agenda










{ }Open Government• Insieme di linee guida date dal

governo americano• definizione di Open Data:

– indipendente dalla piattaforma– disponibile al pubblico– riutilizzabile– elaborabile da dispositivi automatici

3domenica 25 marzo 12









{ }I dati aperti• Abbiamo i dati aperti, questi sono i formati più

comunemente a disposizione• Ci troviamo elenchi interminabili di numeri e

termini• sono disponibili ma NON necessariamente

fruibili dal pubblico• Sono difficili da correlare perché non strutturati

e non solo...

4

CSV










{ }Come rendere fruibili i dati?• Esporre i dati in un formato più ricco:

– Necessita di maggior lavoro da parte di chi espone– Implica l’uso di piattaforme specifiche

• Arricchire il formato non strutturato– Prevede strumenti di annotazione, filtri e semantica– Richiede forte intervento manuale










{ }• Selezione delle colonne di interesse• Annotazione con meta dati• Selezione del tipo (non solo primitivo)• Eventuali suggerimenti sulla

presentazione del dato• Esportazione dei dati in un formato

riusabile da elaboratori

6

Arricchire il formato tabellare










{ }Il nostro strumento

7

Estratto della tabella

Selezione Colonne

Annotazione Colonne










{ }Mashup per Open Data

8

Mashup Framework

Binding Controller

Composition Controller

Event Handler

Data Manager

Data Proxy

mQuery Dispatcher

mQuery Interpreter

Result Set Formatter

Sources registry

Reasoner

Client

SPARQL

Web UI

ComponentsUI View Controller

RDF










{ }DEMO










{ }L’importanza delle Visualizzazioni

10

Visualization of data makes it possible for researchers, analysts, engineers, and the

lay audience to obtain insight in these data in an efficient and effective way,

thanks to the unique capabilities of the human

visual system, which enables us to detect interesting features and patterns in

short time.(Jarke J. van Wijk, The Value of

Visualization, Visualization 2005)










{ }Visualizzare Open Data• Gli Open Data sono dati “grezzi”• Perché siano veramente utilizzabili da un

essere umano è necessario:– mostrarli in un formato human-readable– fornire visualizzazioni che ne aiutino la

comprensione– poterli arricchire e confrontare con altre fonti– poterli aggregare










{ }Mashup e Open Data• Gli Open Data vengono messi a disposizione perché

altri utenti possano:– analizzarli– riusarli– creare valore a partire dalle informazioni contenute in essi

• I mashup sono un valido strumento per semplificare questo processo di integrazione di Open Data con sorgenti, servizi ed API pubbliche o private, proprietarie o di terze parti










{ }Mashup

• Sui tre layer applicativi (data, logic e presentation)• Applicazioni Web, recentemente anche mobile• Termine spesso abusato, i mashup che si possono

trovare in giro non esprimono al massimo le potenzialità del paradigma di composizione

13

I mashup sono applicazioni che combinano, integrano e sincronizzano dati, funzionalità e visualizzazioni di più sorgenti dati, servizi o Web API

def mashup =










http://www.housingmaps.com












{ }Pro e controFacile da sviluppare per chi conosce le tecnologie giusteAlto riuso del codiceModulareFlessibileArricchisce i dati di una sorgente con dati di un’altra sorgente senza dover integrare le diverse sorgentiMigliora l’esperienza degli utenti

15

SituazionaleVerticalePoco investimento di tempo da parte degli sviluppatoriFunzionalità limitateSpesso non si adatta a diversi scenariUn utente generico non è in grado di sviluppare un proprio mashup










{ }Mashup 2.0• Gli utenti sono protagonisti del Web 2.0

– Producono contenuti– Sono abituati ad usare strumenti lightweight per produrli

• Vedendo un mashup vorrebbero poterlo modificare ed adattare alle proprie esigenze ma non ne hanno le capacità

• Per questo sono nati diversi tool per la creazione facilitata di mashup (per esempio Yahoo! Pipes)








• Visualizzazioni– grafiche– tabellari– tree map– UI Component (per

es. Google Maps)• Possibilità di

aggiungere grafici e di sincronizzarli tra loro



{ }Strumenti per l’End User Development

17

DashMash










{ }Strumenti per l’End User Development

• Composizione a livello di presentazione

• Crazione di mashup basata su linguaggio visuale

• Orientato agli utenti finali

18

PEUDOM










{ }Conclusioni• Uno degli scopi per cui esistono gli Open Data è proprio quello di favorire la cultura della

partecipazione• Open Data hanno grandissime potenzialità

– tecnologiche– sociali (cooperazione)

• Limiti di Open Data– scarso numero di fonti– difficoltà nel reperimento– soprattutto in formati destrutturati– non utilizzabili per il calcolo automatico– senza visualizzazioni

• I destinatari di Open Data sono gli utenti finali– hanno diversi background e competenze– possono generare valore a partire da essi

• Necessità di strumenti che aiutino gli utenti finali ad utilizzare gli Open Data










{ }Work in Progress• Acquisizione dei dati da fonti eterogenee• Conciliazione ed omogeneizzazione dei dati• Ragionamento sui dati• Knowledge Discovery• Visualizzazioni complesse• Aggregazioni, Correlazioni e Mashup• Esposizione dei dati importati










{ }Domande








Codemotion 2012 : Accesso e analisi di Open Data: come gestire l'anarchia dei formati

Technology

Transcript of Codemotion 2012 : Accesso e analisi di Open Data: come gestire l'anarchia dei formati