International Open Data Hackathon

Extracción y Visualización de datos

Janneth Chicaiza Ma. del Carmen Cabrera

Extracción de datos

• Conjunto de métodos y procesos que permiten extraer datos escondidos de documentos como PDFs, páginas web. Donde no se puede acceder a los datos fácilmente para reutilizarlos.

Extracción de Datos

Extracción de datos

Herramientas de Extracción de datos

Tipo/Licencia Formatos de entrada

Formatos de salida

Web/Free Trial Archivo PDF Excel - CSV - XML

Escritorio / Free Trial Página Web HTML - CSV - Excel - JSON - SQL - VCARD

Tabula WEB/Free/GitHub PDF Excel - CSV- TSV - JSON - SCRIPT

import.io Escritorio/Free Trial PDF CSV - Excel

WebHarvy Escritorio/Free Trial Páginas Web XML- CSV - JSON - TSV - SQL

Herramientas de recuperación

RdfLib

Sesame

Herramientas de extracción

• calcula el número de elementos por página.

• permite seleccionar los elementos de la pagina web a extraer.

• permite editar los datos extraídos.

• exporta a: html, csv, txt, excel, json, xml, sql.

Herramientas de extracción

• se levanta en el localhost, 8080

• transforma archivos pdfs.

• función de autodetección de tablas.

• tiene dos métodos de extracción: Stream, Lattice.

• exporta a: csv, tsv, json, zip csv’s, script.

Tabula

Caso de aplicación

Ranking de investigadores uruguayos• Fuente de datos: Ranking Web of Universities (RWU).

• RWU proporciona una lista ordenada de investigadores de instituciones de un determinado país.

• El ranking se calcula de acuerdo a sus perfiles públicos de Google Scholar Citaciones.

• Los datos corresponden a septiembre de 2015.

http://www.webometrics.info/en/node/79

Scimago Institutions Ranking (SIR)• Ranking anual elaborado por Scimago.

• Incluye a todas las instituciones de educación superior de los países que componen Iberoamérica con al menos 1 documento (artículos, revisiones, cartas, conferencias, etc.) de la base de datos Scopus.

h"p://www.scimagoir.com/pdf/iber_new/SIR%20Iber%20ECU%202010%20HE.pdf

Visualización de datos

Simplifica la presentación de los datos y la información importante

Herramientas de visualizaciónhttp://www.clasesdeperiodismo.com/2013/10/20/10-herramientas-para-trabajar-con-periodismo-de-datos/

DatawrapperServicio gratuito para la elaboración de visualizaciones sencillas, pero bastante útiles. Los usuarios pueden trabajar con cuadros personalizados entre los que destacan gráficas de barras, diagramas circulares y gráficos lineales. La herramienta tiene una función de automatización de contenido que permite generar gráficos a partir de cuadros en Excel.

h"ps://datawrapper.de/iChartsCrear gráficos de barra acompañados de descripciones. Tiene entre sus opciones la posibilidad de producir cuadros interactivos. Los cuadros desarrollados en esta página pueden ser insertados fácilmente a páginas web. Producto comercial que permite descargar un demo.

http://icharts.net/

• Librería Javascript para jQuery que permite crear gráficas dinámicas e interactivas.

VennageEs una herramienta fácil de usar y sirve para crear cuadros estadísticos e infografías a las cuales se les puede agregar gráficos, imágenes y texto. Existe una versión gratuita de la plataforma y otra premium, que por 19 dólares al mes incluye plantillas editables.

http://www.flotcharts.org/

https://venngage.com/

Flot

TableuHerramienta gratuita para hacer gráficos interactivos y otras visualizaciones que permiten a los lectores explorar los números detrás de una historia. Ofrece una amplia gama de diseños interactivos.

https://public.tableau.com/s/

Google  Fusion  TablesHerramienta permite crear visualizaciones de datos como mapas, gráficos y líneas de tiempo. Para elaborar cada pieza puedes usar la información que se encuentra en la cuenta de Google.

Demostración

Visualización de DatosInvestigadores Uruguayos

Visualización con Fusion Table

• Crear una FusionTable

Tableu

Visualización de datosRanking de Universidades del Ecuador

Proyecto Tableu

Muchas gracias