Business Intelligence

Business Intelligence

http://www.plainconcepts.com/

• SQL Server Team Lead

[email protected]

http://geeks.ms/blogs/palvarez

@PabloDoval

PABLO DOVAL

• Business Intelligence, OLAP, OLTP…• Data Warehouse, Data Mart, ETL…• SSAS, estructuras multidimensionales, cubos…• Dashboards, Scorecards, KPIs, Data Mining…• Big Data, Hadoop, HDFS, MapReduce, Hive, Pig…

Buzzz…

SATURACIÓNVENGA, SOLO UN MAPREDUCE MASSSZZZZZZZZZ…

Entender el negocio

Identificar y explotar áreas fuertes

Identificar áreas de oportunidad

Entender las consecuencias de las decisiones

Recompensar a la gente que lo esta haciendo bien

Educar al personal que no esta cumpliendo tan bien

Identificar áreas de crecimiento del negocio

Escenario

Escenario

Conjunto de

Informes

Excel

Datos

• Queremos ofrecer al usuario:– Sus informes de toda la vida..– Sus clientes de siempre (Excel, etc…)– Y algo que le permita consultar esta información de un

modo más flexible y automatizado

Escenario

• Permite el análisis interactivo sobre grandes volúmenes de datos– … y con un gran rendimiento

• Permite ir explorando la información a diferentes niveles de granularidad

• No hace falta saber construir informes• No afecta al rendimiento del sistema de

producción

¿Cuáles son los beneficios?

Empezando por lo más básico…

• Datos Operacionales• Controla y ejecuta tareas fundamentales de negocio• Inserciones y Actualizaciones frecuentes• SQL Server Database Engine

OLTP

• Datos Consolidados• Ayuda con la planificación y toma de decisiones• Procesos de carga y actualización periódicos• SQL Server Analysis Services

OLAP

Data Warehouse


DW / DM

Data Warehouse

Otros Origenes

Oracle/DB2/…

SQL Server

Limpieza

Limpieza

Limpieza

Ventas

Producción

RRHH

Marketing

Modelo de Datos:

• Modelos Altamente Normalizados• Modelos en

Estrella• Modelos de

Copo de Nieve

Procesos:

• Procesos de Carga (SSIS)• Completa• Diferencia

• Procesos de Limpieza y Calidad (DQS, MDS)

Consideraciones:

• Volumen de Datos• Indexación• Estrategias de

Almacenamiento• Estrategias de

Backup• Seguridad

DW / DM

DEMO:Data Mart


SSAS Multidimensional


DW / DM

Data Warehouse

Ventas

Producción

RRHH

Marketing

Estructuras Multidimensionales (Cubos)

Buzz: 77785


Q1: 348 Q2: 18583 Q3: 58854


0 1 20

0 13658 50355

8 663 1395

0 16 13

340 4245 7071

Q1 Q2 Q3

BlogFacebook

StackExchange

Twitter

Youtube

0 0 0

0 4070 19164

0 3 3

0 0 2

1 664 2520

0 0 0

0 4070 19164

0 3 3

0 0 2

6 159 523


0 0 1

0 1941 6813

4 307 299

0 0 3

75 639 556

Q1 Q2 Q3

BlogFacebook

StackExchange

Twitter

Youtube

PC Client

Mobile

Cluod


Obtener Buzz y Sentimiento dewww.plainconcepts.com en elAño 2012 en España

08 09 10 11 12

www.google.com

www.microsoft.comwww.plainconcepts.com

geeks.mswww.amazon.com

USA

España

UK

Suecia


Obtener Buzz y Sentimiento dewww.plainconcepts.com en elAño 2012 en España

08 09 10 11 12

www.google.com

www.microsoft.comwww.plainconcepts.com

geeks.mswww.amazon.com

USA

España

UK

Suecia

Buzz: 1022Sent: 66%

DEMO:Multidimensional


Preparar el DW•Modelos DM•Procesos de Carga

Construir Solución Multidimensional•Medidas•Dimensiones•Cálculos•KPIs•Seguridad

Despliegue HW•Diferentes Entornos•Consideraciones de Procesado

Clientes•Excel•Reporting Services•Performance Point Server•Clientes Personalizados (MDX)

Ok, me gusta.. ¿Qué necesito?

Ejemplo: Escenario de Producción

DataMart


(Procesado)


(Lectura)

Sincronización

Clientes

SIMPLICIDADLAS RESPUESTAS SIMPLES SUELEN SER LAS MAS INTELIGENTES.

TAMBIÉN SUELEN SER ERRONEAS.

SSAS Tabular


Conceptos Clave

• Es OLAP, pero NO multidimensional• Curva de aprendizaje mas suave

Modelo Tabular:

• Lenguaje de Expresiones, NO de consultas• No sustituye a MDX• Orientado a usuarios de EXCEL

DAX:

DEMO:Tabular


DEMO:PowerView


CONFIANZAPORQUE ÉL PODRÍA SER EL USUARIO DE TUS CUBOS...

• Similar a SSAS Multidimensional

• Ventana de ProcesadoProcesado

• Entornos de procesado/lecturaSincronización

… ¿y cómo pongo esto en producción?

¿y máquinas?

• xVelocity (vertipaq) es motor columnar en memoria…– … aunque podemos emplear DirectQuery.

• Memoria por encima de otras consideraciones.

Big Data y

Hadoop


Volumen:• Procesar grandes cantidades de datos

Tipo de Datos:• Información heterogenea, no siempre estructurada• Procesos de naturaleza muy diferente

Costes:• Muy caro conseguir disponibilidad en cada aplicación• Almacenamiento barato• Costes de computación muy bajos

Estrategias:• Búsqueda de garantías: escalado lineal• Flexibilidad de Procesos• ¡No tirar nada!

¿POR QUÉ?

• Facebook, Yahoo, ContextWeb. Joost, Last.fm, …Procesado de logs

• Facebook, KloutSistemas de

Recomendaciones

• Facebook, AOL, …Data Warehouse

• New York Times, EyealikeAnálisis de video e

imágenes

• Análisis de Fraude• Predicción de anomalías• Análisis de Textos y Sentimiento

Otros Escenarios

Algunos Escenarios…

SISTEMA TRADICIONAL

OPERATIONAL DATA

NEW USER REGISTRY

NEW PURCHASE

NEW PRODUCT

Excess Data

Logs

ETL Some Data

Data Warehouse

¿Qué NO es Hadoop?

• Hadoop no es:– Un datawarehouse– Competencia a sistemas OLAP– Sistema Interactivo– Un producto

RDMS vs HADOOP

ECOSISTEMA HADOOP

MAP-REDUCE

Microsoft y Big Data

Power ViewExcel with PowerPivot Embedded BIPredictive Analytics

APPsLOBCRMERP

Microsoft EDW

SSAS SSRS

Devices CrawlersSensors Bots

Hadoop On Windows Server

Hadoop On Windows Azure

http://www.google.com/imgres?imgurl=http://richfrombechtle.files.wordpress.com/2008/10/vs2010archexplorer.jpg&imgrefurl=http://richfrombechtle.wordpress.com/2008/10/13/&usg=__qPArABkba3JddWP-O2AT7MRoU1s=&h=500&w=749&sz=95&hl=en&start=3&zoom=1&itbs=1&tbnid=mMsoPo--rTSTfM:&tbnh=94&tbnw=141&prev=/images?q=visual+Studio+Application&hl=en&sa=X&tbs=isch:1&prmd=ivns&ei=TGhwTYmPNsKTtwflnuiTDw

DEMO:Hadoop


Q & A


¡MUCHAS GRACIAS!

Business Intelligence

Documents

Transcript of Business Intelligence