Open Data – Data Journalism

13
http://richard.cyganiak.de/2007/10/lod/ Open Data – Data Journalism Trasparenza e informazione al servizio delle società nell’era digitale

description

Open Data – Data Journalism. Trasparenza e informazione al servizio delle società nell’era digitale. Cenni storici da un passato molto prossimo (1/2). Il D.J. eredita la parte migliore del tradizionale giornalismo d’inchiesta: i fatti. Dalla crisi del giornalismo molti giornalismi possibili. - PowerPoint PPT Presentation

Transcript of Open Data – Data Journalism

Page 1: Open Data – Data Journalism

http://richard.cyganiak.de/2007/10/lod/

Open Data – Data Journalism

Trasparenza e informazione al servizio delle società nell’era digitale

Page 2: Open Data – Data Journalism

Open Data – Data Journalism di Andrea Fama 2

Cenni storici da un passato molto prossimo (1/2)

I CABLI DI WIKILEAKS

LE FOTO DEI CITIZEN JOURNALIST

PLICO/WATERGATE

Dalla crisi del giornalismo molti

giornalismi possibili

Il D.J. eredita la parte migliore del tradizionale giornalismo

d’inchiesta: i fattiLa differenza è nelle

dimensioni. Differenze di scala estreme =

differenze di genere

Page 3: Open Data – Data Journalism

Open Data – Data Journalism di Andrea Fama 3

Cenni storici da un passato molto prossimo (2/2)

IL RUOLO DEL D.J.

PER IL LETTORE PER IL GIORNALISTA

“Certezza” del dato = bussola Distinguere i fatti dalle opinionisenza equilibrismi da “un colpo al cerchio e uno alla botte”

DATI

Page 4: Open Data – Data Journalism

Open Data – Data Journalism di Andrea Fama 4

Le possibilità tecniche

Le redazioni sono dotate delle professionalità necessarie?

“Una nuova razza a metà strada tra i tecnici e i giornalisti”

(Irfan Essa)

=Digitalizzazione dei

fatti del mondo

Enorme mole di materiale da ricercare,

processare e pubblicare

Page 5: Open Data – Data Journalism

Open Data – Data Journalism di Andrea Fama 5

Le ragioni giornalistiche

RACCONTARE STORIE ALTRIMENTI NON RACCONTABILI

INCHIESTE

Deep WebData Mining

Big DataSemantic Web/Data

TRASPARENZA

SERVIZIO AL CITTADINO

“Il D.J. incarna l’espressione più avanzata del principio di libertà e accesso all’informazione”.

(Simon Roger – ex Data Blog editor,The Guardian)

Open Parlamento/Voi siete quiCrime mapping (il Giro della Nera)

RU486

Page 6: Open Data – Data Journalism

Open Data – Data Journalism di Andrea Fama 6

La spinta civica

I poteri forti lasciano che il vero messaggio passi sopra la testa del cittadino, mentre la realtà sfila sotto al suo naso. Ma oggi è sempre più difficile rivolgersi ad uditori accondiscendenti che assumono l’informazione come un farmaco sotto prescrizione, eccitante o sedativo a seconda della sintomatologia.

SPINTA CIVICAALLA CONOSCENZA

TRASPARENZA PARTECIPAZIONE CONSAPEVOLEZZA

Page 7: Open Data – Data Journalism

Open Data – Data Journalism di Andrea Fama 7

Applicazioni del Data Journalism

Portata del D.J. e vastità di applicazioni.La tecnologia lo rende enorme, potenzialmente infinito.

GEOGRAFIAAmbienteUrbanisticaTurismo

TRASPORTITraffico ViabilitàQualità della vita

SICUREZZACrime mappingDisposizione forze dell’ordineServizi di quartiere

Page 8: Open Data – Data Journalism

Open Data – Data Journalism di Andrea Fama 8

La cassetta degli attrezzi del Data Journalist (1/2)

GIORNALISMO

Il D.J. non è un media a se, bensì una sovrapposizione

di competenze appartenenti a diversi campi

INFORMATICA

MATEMATICASTATISTICA

GRAFICA

Page 9: Open Data – Data Journalism

Open Data – Data Journalism di Andrea Fama 9

I dati che abbiamo sono attendibili?

Se uno scienziato dei dati produce i risultati sbagliati, accorgersene potrebbe non essere una cosa banale.  

la semplice trasparenza non porta al cambiamento (vedi evidenze cambiamenti climatici e politiche ambientali)

non ci piacciono i numeri fornitici? basta etichettarli come corrotti

se l’infografica è il nuovo discorso elettorale, mettere in dubbio i dati ne è la naturale confutazione.

la trasparenza dei dati è una corsa alle armi

nel mondo della divulgazione, alterare i dati è come alterare i bilanci

quanti degli attuali scienziati dei dati diventeranno i periti contabili di domani, impegnati in una guerra alla frode e all’ignoranza? Alistair Croll

Page 10: Open Data – Data Journalism

Open Data – Data Journalism di Andrea Fama 10

La cassetta degli attrezzi del Data Journalist

Scraperwiki, Yahoo! Pipes, OutWit Hub, Google Spreadsheets.   

 

IMPORTARE 

 VISUALIZZARE  CREARE MAPPE  CONDIVIDERE 

ManyEyes, Tableau Public.  OpenHeatMapPublic Data Explorer, ecc. Google Fusion

 

Page 11: Open Data – Data Journalism

Open Data – Data Journalism di Andrea Fama 11

La cassetta degli attrezzi del Data JournalistFOCUS: Le 10 regole di Troy Thibodeaux (1/3)

Importare su un foglio elettronico (es. Excell) i dati grezzi in formato universale - senza formattazione, come un insieme di valori separati da virgole

Applicare filtri, formule e funzioni (if..then; vertical look-up, ecc.)

Scrivere le proprie formule (esprimere le proprie idee tramite codici).

1. I FOGLI DI CALCOLO (SPREADSHEET)

Il foglio di calcolo ha dei limiti

Per sondare il Big Data: SQL (Structured Query Language); ACCESS; SQLite; MySQL; PostgreSQL

SQL: permette di gestire insiemi e sottoinsiemi di dati correlati

2. SQL (Interrogazione di DB)

Google Refine e Data Wrangler: come i fogli di calcolo, ma studiati per nomi standardizzati (Andrea Marco Fama, Fama Andrea Marco, Andrea M. Fama, ecc.)

Google Refine Expression Language: come sopra, ma per insiemi di dati e codici più sfofisticati

CSVKIT: studiato dai giornalisti, converte il proprio lavoro in un formato comune

3. PULIRE I DATI

Page 12: Open Data – Data Journalism

Open Data – Data Journalism di Andrea Fama 12

La cassetta degli attrezzi del Data JournalistFOCUS: Le 10 regole di Troy Thibodeaux (2/3)

Non è una decorazione, ma una funzione essenziale per comprendere meglio i dati e individuare tendenze altrimenti invisibili

Google Fusion Tables e Tableau Public: semplici ed efficaci

R: per gli esperti, è un pacchetto di statistica open source che combina analisi e visualizzazione attraverso un  linguaggio di programmazione sofisticato

4. VISUALIZZAZIONE

Data mapping: corrispondenza/match tra fonte ed obiettivo (due DB con gli stessi dati ma sotto nomi differenti)

Strumenti: Google Fusion, Tableau Public , Qgis , Arcview

Postgis e Spatiallite (specifici per dati di natura geografica)

5. SOFTWARE PER LA MAPPATURA

Il governo non rilascia i dati che stanno dietro un sito web? Basta scavare per averli (Data Mining / Screen-scraper)

Non si hanno i dati nel formato corretto utilizzando gli strumenti a disposizione? Basta costruirne uno proprio

I linguaggi di programmazione più comuni tra i giornalisti: Python, Ruby, Perl o Php

6. LINGUAGGI DI PROGRAMMAZIONE

Page 13: Open Data – Data Journalism

Open Data – Data Journalism di Andrea Fama 13

La cassetta degli attrezzi del Data JournalistFOCUS: Le 10 regole di Troy Thibodeaux (3/3)

Cos’è un web framework? Una struttura di supporto su cui organizzare e progettare un software.

A cosa serve? Ad evitare la riscrittura di un codice già steso in precedenza per compiti simili

Strumenti: django per python; rails per ruby; symfony per il php; catalyst per perl.

7. WEB FRAMEWORK

Strumenti: Textmateer Mac ; Notepad++ (Gratuito); Vim e Emacs (Open Source)

8. EDITOR

Salvare i backup

Estrarre elementi da versioni temporanee di file Condividere il lavoro

Strumenti: github; git o subversion

9. CONTROLLO E REVISIONE

Document cloud: ricerca , estrazione e condivisione (molto usato dai giornalisti)

Altri strumenti: Jigsaw; Python’s Natural Language Tool Kit e Standford Corenlp.

10. ANALISI DEI DOCS