Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB
-
Upload
outliers-collective -
Category
Data & Analytics
-
view
253 -
download
1
description
Transcript of Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB
![Page 1: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/1.jpg)
Big Data Valor y Mercado
Óscar Marín Miró @outliers_es
www.outliers.es
![Page 2: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/2.jpg)
Contenidos
‣Historia ‣Las 3 V’s ‣Problema, Solución y Fenómeno
¿Qué es Big Data? Pitfalls‣Data vs Big Data ‣Data Science vs Big Data ‣Costes ocultos
Herramientas +Escenarios
‣Ecosistema Hadoop ‣NoSQL ‣Real-time
Valor del Big Data
‣Los Gigantes de la Generación de Datos ‣Nadamos en un mar de datos ‣Sectores de Aplicación
Bibliografía
![Page 3: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/3.jpg)
¿Qué es el Big Data?
“Data will help us” - Jonathan Harris
![Page 4: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/4.jpg)
Historiahttp://assets.outliers.es/infographics/BigData_A_Brief_History.pdf
![Page 5: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/5.jpg)
“Big Data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools or traditional data processing applications”
http://en.wikipedia.org/wiki/Big_data
¿Qué es el Big Data?
![Page 6: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/6.jpg)
- Big Data y las 3 ‘V’
- Velocidad
- Volumen
- Variedad
http://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-Controlling-Data-Volume-Velocity-and-Variety.pdf
¿Qué es el Big Data?
![Page 7: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/7.jpg)
!
- Twitter: 340 millones de tweets diarios (~= 1TB/día)
- Facebook: 800 millones de status diarios
- Google: 1000 millones de consultas diarias
http://www.slideshare.net/gigaom/the-3vs-of-big-data-variety-velocity-and-volume-from-structuredata-2012
¿Qué es el Big Data? (de verdad)
![Page 8: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/8.jpg)
Explosión de Uso Explosión Social
Explosión Móvil
¿Qué es el Big Data? (de verdad)
![Page 9: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/9.jpg)
Big Data: Dimensiones
‣Problema: 3 V’s ‣Solución: Herramientas ‣Fenómeno: Posibilidades
![Page 11: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/11.jpg)
http://7.mshcdn.com/wp-content/uploads/2012/06/DataNeverSleeps.jpg
El V
alor
de
Big
Dat
a
![Page 12: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/12.jpg)
El Valor de Big Data: Big Data Analysis
‣Estadístico ‣Texto ‣Análisis de Redes Sociales ‣Análisis GeoEspacial
![Page 13: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/13.jpg)
El Valor de Big Data: Ámbitos de Aplicación
‣Marketing/Publicidad/Comunicación ‣Customer Insights ‣Growth Hacking ‣Salud ‣Escalabilidad
![Page 14: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/14.jpg)
El Valor de Big Data: Publicidad
https://de5w14y12gh72.cloudfront.net/website/bluefin_mit-tech-review.pdf
![Page 15: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/15.jpg)
El Valor de Big Data: Customer Insights
http://innovabbva.outliers.es/mapas.html
![Page 16: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/16.jpg)
El Valor de Big Data: Growth Hacking
‣Impactos de tests A/B ‣Incrementar el Retention Rate ‣Incrementar los leads ‣Incremental el engagement
![Page 17: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/17.jpg)
El Valor de Big Data: Growth Hacking
https://www.youtube.com/watch?v=eqeS8US10_k
![Page 19: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/19.jpg)
El Valor de Big Data Ciencias Sociales
http://www.pewinternet.org/2014/02/20/part-2-conversational-archetypes-six-conversation-and-group-network-structures-in-twitter/#network-type-6-support-network
![Page 20: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/20.jpg)
El Valor de Big Data: Publicidad
http://blog.marketo.com/2013/09/get-more-email-opens-and-clicks-using-behavioral-targeting.html
![Page 21: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/21.jpg)
El Valor de Big Data Escalabilidad
http://www.slideshare.net/davidpoblador/spotify-bcn2013slideshare
![Page 22: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/22.jpg)
El Valor de Big Data Antropología
http://www.brainpickings.org/index.php/2014/01/17/uncharted-big-data/
http://www.ted.com/talks/what_we_learned_from_5_million_books.html
![Page 24: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/24.jpg)
Big Data Pitfalls
![Page 25: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/25.jpg)
Big Data vs Data
‣Big Data ~= MB/s o volúmenes de TB ‣El 90% de los trabajos hablan de Big Data y quieren decir Data ‣No es lo mismo coger datos de Twitter que ser Twitter ‣Se confunde el fenómeno con el problema
![Page 26: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/26.jpg)
Data Science vs Big Data
‣Técnicamente: ‣Data Science crea modelos ‣Big Data provee de infraestructura ‣En la práctica: ‣Si creas un modelo a partir de una muestra de Big Data haces Big Data ‣Los perfiles son COMPLETAMENTE diferentes!! ‣Big Data sin Data Science no es NADA
![Page 27: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/27.jpg)
Big Data: Costes Ocultos
‣Computer Science First, Big Data Second!! ‣Probar en muestras significativas, SIEMPRE ‣Llegar hasta la presentación de los datos con la muestra, lo más rápido posible ‣Funcionar con hipótesis
![Page 28: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/28.jpg)
Herramientas
![Page 29: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/29.jpg)
¿Qué es un Cluster Hadoop? !Un conjunto de servidores (nodos), sobre el que se ejecutan procesos MapReduce y que comparten datos mediante HDFS (Hadoop Distributed File System
El ecosistema Hadoop
![Page 30: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/30.jpg)
MAPREDUCE: Divide y vencerás
MAP: Función de procesado. Los datos se particionan y se pasa cada ‘trozo’ a una función ‘map’ La función ‘map’ es sin estado
REDUCE Función de reducción La salida del map es la entrada del reduce Se usa para consolidar y eliminar redundancias
Ecosistema Hadoop
![Page 31: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/31.jpg)
MAPREDUCE: Contar las palabras de un fichero
MAP: < Hello, 1> < World, 1> !< Bye, 1> < World, 1>
REDUCE: < Hello, 1> < World, 2> < Bye, 1>
Ecosistema Hadoop
![Page 32: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/32.jpg)
MAPREDUCE: Control
!
‣ Se ejecutan ‘jobs’ que el framework divide en ‘tasks’
‣ Master JobTracker
‣ TaskTracker por nodo
Ecosistema Hadoop
![Page 33: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/33.jpg)
HDFS!
‣ Implementa un único sistema de ficheros ‘juntando las capacidades’ de todos los nodos
‣ Es transparente para el programador
‣ Se implementa tolerancia a fallos con nodos de ‘backup’
Ecosistema Hadoop
![Page 34: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/34.jpg)
HDFS
http://codemphasis.wordpress.com/2012/09/27/big-data-hadoop-hdfs-and-mapreduce/
Ecosistema Hadoop
![Page 35: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/35.jpg)
http://oreilly.com/data/radarreports/planning-for-big-data.csp
Ecosistema Hadoop
![Page 36: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/36.jpg)
VS
Soluciones NoSQL
![Page 37: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/37.jpg)
Soluciones NoSQL: MongoDB
![Page 38: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/38.jpg)
Problemas de las BBDD relacionales!
‣ Leer datos completos es costoso (‘joins’)
‣ Transacciones (‘integridad’)
‣ Escalabilidad
‣ Cambio del modelo de datos (migraciones)
![Page 39: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/39.jpg)
Soluciones NoSQL!
‣ Almacenes clave-valor (Redis, BerkeleyDB, Tokyo Cabinet)
‣ Orientadas a documento (MongoDB, CouchDB, ElasticSearch, Solr)
‣ Orientadas a columnas (Cassandra, HBase, BigTable)
![Page 40: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/40.jpg)
Real-time processing
!
‣ Batch vs Real-time
‣ Hadoop anclado en Java
‣ Spark (Scala)
‣ Storm (Clojure)
http://www.ibm.com/developerworks/library/os-spark/#resources
![Page 41: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/41.jpg)
Outliers Collective: Nuestras Herramientas
!
‣ Visualización: D3.js
‣ Análisis:
‣ Texto: Python + Pattern
‣ Redes: Networkx + Gephi
‣ Estadística: R
‣ Persistencia: MongoDB, ElasticSearch
![Page 43: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/43.jpg)
http://elpais.com/especiales/2014/planeta-futuro/mapa-de-migraciones/
Outliers Collective+Prodigioso Volcán, 2014
![Page 44: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/44.jpg)
http://www.324.cat/eleccions-catalunya-2012/tuitometre
Outliers Collective, 2012
![Page 47: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/47.jpg)
Outliers Collective y Yolanda Quintana, 2013
http://viralgezi.outliers.es/
![Page 48: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/48.jpg)
Outliers Collective, Alberto González Paje, Rafael Höhr, 2013
http://innovabbva.outliers.es/
![Page 50: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/50.jpg)
http://assets.outliers.es/SocialGood/
Outliers Collective + Alberto González, 2013
![Page 51: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/51.jpg)
http://vimeo.com/71084828
http://bcnbeats.outliers.es/
Outliers Collective + Telenoika + Rocío Márquez + Patricia Benitez + Alberto González, 2013
![Page 52: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/52.jpg)
#LoQueCrece: IdeasForChange + Outliers Collective
![Page 53: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/53.jpg)
Referencias
http://www.goodreads.com/shelf/show/big-data
![Page 54: Big data: Valor y Mercado: Escola Universitària Salesians de Sarrià - UAB](https://reader034.fdocuments.net/reader034/viewer/2022051818/54bf77044a7959e6348b45a1/html5/thumbnails/54.jpg)
¿Preguntas? ¡Gracias por el interés!