Big & Open Data: Analytics and Development
-
Upload
victoria-lopez -
Category
Technology
-
view
510 -
download
3
Transcript of Big & Open Data: Analytics and Development
![Page 1: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/1.jpg)
Big & Open Data: Analytics and Development
Victoria López, PhD.Universidad Complutense de Madrid
![Page 2: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/2.jpg)
Grupo GRASIA Sección G-TeC
2013-2014
Big DataOpen DataR programming & analytics City of Madrid
• Open Government – Smart City
International Projects: Mexico-China-Spain
![Page 3: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/3.jpg)
Big DataFrom Data Warehouse to Big Data
![Page 4: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/4.jpg)
Alex ' Sandy' Pentland, director del programa de emprendedores del 'Media Lab' del Massachusetts Institute of Technology (MIT)
Considerado por 'Forbes' como uno de los siete científicos de datos más poderosos del mundo
![Page 5: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/5.jpg)
Big Data
Datos no estructurados
5
¿Quién genera Big Data?
El progreso y la innovación ya no se ven obstaculizados por la capacidad de recopilar datos, sino por la capacidad de gestionar, analizar, sintetizar, visualizar, y descubrir el conocimiento de los datos recopilados de manera oportuna y en una forma escalable
Redes Sociales (todos generamos datos)Instrumentos científicosDispositivos móvilesRedes de sensores: (miden toda clase de datos)
![Page 6: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/6.jpg)
Big DataLas 5 V’s de Big Data
![Page 7: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/7.jpg)
7
Escalabilidad de grandes cantidades de datos – Exploración 100 TB en 1 nodo @ 50 MB/sec = 23 días– Exploración en un clúster de 1000 nodos = 33 minutos
Solución Divide-y-Vencerás
MapReduce– Modelo de programación de datos paralela– Concepto simple, elegante, extensible para múltiples aplicaciones– Grandes datasets nodos de multiprocesadores– Conjuntos de nodos: Clústeres o Grids (programación distribuida)• Creado por Google (2004)– Procesa 20 PB de datos por día– Basado en los métodos Map y Reduce de programación funcional– Orígenes en cálculo numérico (multiplicación de matrices grandes).
Big DataMapReduce
![Page 8: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/8.jpg)
Completamente transparente para el usuario
Big DataMap Reduce
![Page 9: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/9.jpg)
Hadoop es una implementación de código abierto del modelo de programación computacional
MapReduce– Usado por Yahoo!, Facebook, Twitter
Amazon, eBay…– Implementa MapReduce en
diferentes arquitecturas tanto clúster como grid (Cloudcomputing)
http://hadoop.apache.org/
Big DataHadoop
![Page 10: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/10.jpg)
Open Data
![Page 11: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/11.jpg)
Open Data
Open Data es una iniciativa mundial que pretende que los datos de las Administraciones Públicas se expongan y sean accesibles de forma que estén disponibles para su redistribución, reutilización y aprovechamiento por parte de los ciudadanos y las empresas.
“Open data is data that can be freely used, reused and redistributed by anyone – subject only, at most, to the requirement to attribute and share alike.” OpenDefinition.org
![Page 12: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/12.jpg)
Open DataAcceso y disponibilidad: datos descargables
mediante aplicaciones Web
Reutilización y distribución: El formato de los datos
debe permitir no solo su lectura sino también su
tratamiento informático.
Participación universal: Todo el mundo debe poder
acceder a los datos en igualdad limitando el uso
comercial y ciertos propósitos no permitidos.
![Page 13: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/13.jpg)
Open Data
Sistemas OpenData: Promoción de la creación de sistemas Opendata por los usuarios y las organizaciones.
Ejemplo EMT-Madrid: “Sistema Opendata: Cualquier sistema telemático propiedad de EMT a través del cuál se suministra información a sus cesionarios para que alimenten sus Aplicaciones Finales” (Acuerdo de cesión de datos, EMPRESA MUNICIPAL DE TRANSPORTES DE MADRID, S. A.)
![Page 14: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/14.jpg)
Open DataUn ejemplo con Open Data Euskadi
![Page 15: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/15.jpg)
Open DataUn ejemplo con Open Data Euskadi
PRINCIPALMENTE APPS PARA DISPOSITIVOS MÓVILES
![Page 16: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/16.jpg)
Open DataUna ejemplo con Recycla.me y Recycla.te!
Patrón Cliente/Servidor
PÚBLICOS PÚBLICOS O PRIVADOS
![Page 17: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/17.jpg)
Open DataUna ejemplo con Recycla.me y Recycla.te!
GENERA NUEVOS DATOS Y PRODUCE
UN SERVICIO
![Page 18: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/18.jpg)
El lenguaje R. Análisis de los datos
Valor
Traducir en valor los datos recabados de diversas fuentes
![Page 19: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/19.jpg)
Qué hacemos con R
Análisis de datos de consumo energético
![Page 20: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/20.jpg)
Qué hacemos con R
![Page 21: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/21.jpg)
Qué hacemos con RAnálisis de datos en Bioinformática y BioestadísticaAplicaciones del TENS en Dolor OrofacialAlineamiento de Secuencias de ADN
![Page 22: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/22.jpg)
Qué vamos a hacer ahora :Análisis de Datos de Sistemas Open Data en el Ayuntamiento de Madrid
Mariam SaucedoPilar TorralboDaniel Sanz
Recycla.me
Ana AlfaroSergio Ballesteros
Lidia Sesma
Héctor Martos
Álvaro Bustillo
Arturo Callejo
Belén Abellanas
Jaime Ramos
Ignacio P. de Ziriza
Victor Torres
Alberto Segovia
Miguel Bueno
Mar Octavio de Toledo
Antonio SanmartínCarlos Fernández
MAPA DE RECURSOS
RECYCLA.TE
![Page 23: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/23.jpg)
Proyectos Internacionales de G-TeC
Optimization and Management of Utility ServicesOptimización de recursos medioambientales, sostenibilidad medioambiental, con aplicaciones a las smartcities
– Electricidad (Head: España, Universidad Complutense)– Agua (Head: México, Universidad de Sonora)– Residuos: Reciclaje y Reducción (Head: China, Southwest
Jiaotong University))
![Page 24: Big & Open Data: Analytics and Development](https://reader035.fdocuments.net/reader035/viewer/2022070603/554f9e65b4c905ad218b489d/html5/thumbnails/24.jpg)
Conclusions: From Data to Services