Agregamos valor a su negocio - morrisopazo.s3.us-east-1 ...

www.morrisopazo.com / [email protected] - Temuco - Santiago

Agregamos valor a su negocio

¿QUIENES SOMOS?

Morris & Opazo es un Partner Advanced de AWS, con más de 15 años de experiencia en Desarrollo de Aplicaciones a la Medida, y 4 años de experiencia operando con servicios de la Nube de AWS

Somos una empresa especializada en proveer soluciones de negocio en el área de Tecnología de la Información

Nuestro objetivo es facilitar la adopción de tecnologías modernas, que aporten valor a las soluciones de negocio de nuestros clientes



COMPETENCIAS DE NUESTROS LÍDERESEstamos preparados para enfrentar grandes desafíos

Experto en Tecnologías de la Nube

Experto en Arquitectura de Soluciones

Experto en Metodologías Ágiles

Experto en Infraestructura

Experto en Data Science

Carnegie Mellon UniversityMaster of Information Systems ManagementBusiness Intelligence and Data Analytics



Big Data & Analytics: Insights de Redes Sociales

CASOS DE ÉXITO

Big Data & Analytics: Rimac – Data Lake Aguas Altiplano - Data Lake Aguas Araucania – Reconocimiento de Imágenes y Video usando Aprendizaje Automático

Aguas Magallanes – Análisis de Sentimientos en Redes Sociales en

Tiempo Real

Aguas Chañar – Análisis de Llamadas a Call Center con Aprendizaje Automático



BENEFICIOS DE TRABAJAR CON NOSOTROS

● Implementaciones de Pruebas-de-Concepto (POC).

● Entrenamiento para aprender más sobre las posibilidades que la Nube AWS le puede ofrecer.

● Optimice su facturación mensual.

● Consultoría en los múltiples servicios de AWS con nuestro experimentado equipo.

● Diseñe y valide sus soluciones con nuestros Arquitectos Certificados.



BIG DATA

● ¿Qué es Big Data?

● ¿Estoy en un escenario de Big Data?

● ¿Cómo me ayudan las herramientas de Big Data?

● ¿Qué servicios de AWS puedo usar en un escenario de Big Data?



Big Data es como el sexo en la adolescencia:todos hablan sobre él,

nadie sabe realmente cómo hacerlo,todos piensan que alguien más lo está haciendo,

así que todos dicen que lo están haciendo…

(Dan Ariely, Universidad de Duke)



Definiendo Big Data

es un amplio término para describir conjuntos de datos tan grandes o complejos que las herramientas y soluciones tradicionales son inadecuadas para procesar y realizar análisis.

Big Data

Las Características de Big Data: Las Tres V’s

Volumen Velocidad Variedad



Las Características de Big Data

Las tres V’s

Volumen Velocidad Variedad



Volumen

Los datos están aumentando a una rápida velocidad

Terabytes de datos Petabytes de datos

Las soluciones deben trabajar eficientemente en sistemas distribuidos y deben ser fácilmente expandibles para acomodarse a incrementos en el tráfico



Velocidad

Velocidad aumentada de usuarios, dispositivos, aplicaciones

75 billones de dispositivos conectados para el 2020

Las soluciones deben poder administrar esta velocidad eficientemente, y los sistemas de procesamiento deben poder retornar resultados en un rango de tiempo aceptable

MB/s es normal, GB/s es común

Un millón de transacciones por segundo



Variedad

Las soluciones necesitan ser lo suficientemente sofisticadas para administrar todos los diferentes tipos de datos, y al mismo tiempo proveer un análisis preciso

Diversos conjuntos de datos, múltiples fuentes

La mayoría de fuentes está en la Nube

Sistemas ‘Legacy’ aún están presentes



La Evolución del Análisis de Datos

Descriptivo

Por qué sucedió “X”. El Análisis Descriptivo utiliza agregación de datos y técnicas de minería de datos para proporcionar insight en el pasado para proporcionar respuestas.

Descriptivo Predictivo Prescriptivo




Predictivo

¿Cuál es la probabilidad de que “X” suceda? El Análisis Predictivo utiliza modelos estadísticos y tecnologías de pronósticos para entender qué podría suceder en el futuro.





Prescriptivo

¿Qué hacer si sucede “X”? Este tipo de análisis utiliza algoritmos de optimización y simulación para asesorar posibles resultados y contestar “¿Qué debería hacerse?”




¿Qué es Dark Data?

En esta era de iluminación impulsada por la tecnología, los datos son nuestra moneda competitiva.

La información bruta, enterrada en los volúmenes alucinantes generados por los sistemas transaccionales ... son perspectivas estratégicas, de clientes y operativas críticas que, una vez iluminadas por el análisis, pueden validar o aclarar suposiciones, informar la toma de decisiones y ayudar a trazar nuevos caminos hacia el futuro.

- Tracie Kambies, Nitin Mittal, Paul Roma, Sandeep Kumar SharmaTech Trends 2017, from https://www2.deloitte.com/content/dam/Deloitte/au/Documents/technology/deloitte-au-technology-dark-analytics-061017.pdf



Tres Tipos de Riesgos de Dark Data

Riesgo RegulatorioFuga o pérdida de información sensible, datos latentes e Información Personal de Identificación (PII)

Riesgo de Propiedad IntelectualFallo al proteger Propiedad Intelectual

Riesgo de OportunidadPerder oportunidades de mejora



El Valor de Big Data

Big Data no es sólo sobre datos, es sobre el valor que las organizaciones pueden obtener de él y las decisiones de la vida real que pueden tomarse basadas en estos datos.



Workflow de Big Data

Datos en bruto

Ingesta / Recolección

Almacenamiento Procesamiento / Análisis

Consumir / Visualizar

Respuestas & Hallazgos



Workflow Simplificado de Big Data


Almacenamiento

Procesamiento / Análisis

Consumir / Visualizar

Aplicación Big Data



Workflow de Big Data: Tipos de Datos

Datos



Consumo / Visualización


Archivo Stream Transaccional



Recolectar Datos – Datos de Archivo

Datos





Datos de Archivos

Archivos CSV Logs Transcripciones Fotos Archivos de Audio



Recolectar Datos – Datos de Streaming

Datos





Stream de Datos

Aplicaciones Web

Dispositivos Móviles

PortablesSensores

IndustrialesAplicaciones y

Servicios



Recolectar Datos – Datos Transaccionales

Datos





Estos tipos de datos son usualmente administrados por servicios de bases de datos

Financieros LogísticosDatos

relacionados con trabajo

Órdenes de compra

Información de envíos

Entregas



ACELERANDO LA CONSTRUCCIÓN DE UN DATA LAKE EN AWS

● ¿Qué es un Data Lake?

● ¿Cuáles son los beneficios de un Data Lake?

● ¿Qué servicios de AWS puedo utilizar con mi Data Lake?



Un data lake no está destinado a reemplazar los data warehouses existentes, más biencomplementarlos. Si ya se está utilizando un data warehouse, o se está buscando implementar uno, undata lake puede ser usado como una fuente tanto para datos estructurados como no estructurados, loscuales pueden ser fácilmente convertidos a un esquema bien definido antes de ser consumidos en eldata warehouse.

Un data lake es un enfoque arquitectónico que permite almacenar cantidades masivas de datos en unaubicación central, de manera que estén fácilmente disponibles para ser categorizados, procesados,analizados y consumidos por diversos grupos dentro de una organización.

Ya que los datos - estructurados y no estructurados - pueden ser almacenados como se encuentren, nohay necesidad de convertirlos a un esquema predefinido y ya no se necesita saber con anticipación quépreguntas se van a hacer a los datos.

¿Qué es un Data Lake?

Desacople del Almacenamiento del Cómputo y Procesamiento de Datos



Un Data Lake debería soportar las siguientes capacidades

• Recolectar y almacenar cualquier tipo de dato, a cualquier escala y a bajo costo

• Asegurar y proteger todos los datos almacenados en el repositorio central

• Buscar y encontrar los datos relevantes en el repositorio central

• Frameworks de administración para gobernar los datos, incluyendo mover, transformar y catalogar datos

• Rápida y fácilmente realizar nuevos tipos de análisis de datos en los conjuntos de datos

• Motores avanzados para consultar y analizar datos; y construir, probar y ejecutar modelos en una variedad de formas, incluyendo Machine Learning e Inteligencia Artificial.



Beneficios de un Data Lake en AWS

• Almacenamiento de Datos a Bajo Costo

• Seguridad y Cumplimiento

• Fácil Recolección e Ingestión de Datos

• Categorizar y Administrar Sus Datos

• Construido para Analytics

• Inteligencia Artificial



Optimización de Costo y DesempeñoParquet es un formato de archivos para almacenar datos de forma columnar y comprimido, diseñado para consultargrandes cantidades de datos, independiente de la plataforma de procesamiento, el modelo de datos, o el lenguaje deprogramación. Comparado con formatos tradicionales no refinados como CSV, JSON o TXT, Parquet puede reducir elespacio de almacenamiento requerido, mejorar el desempeño de las consultas significativamente, y reducirinmensamente los costos de las consultas para servicios AWS, los cuales se cobran por cantidad de datos escaneados.

Pruebas de Amazon comparando los formatos CSV y Parquet usando 1 TB de datos de log almacenados en formato CSVcontra el formato Parquet mostraron lo siguiente:

● Ahorros de espacio de 87% con Parquet (1 TB de datos de log almacenados en formato CSV comprimidos contra 130GB con Parquet)

● Un tiempo de respuesta para una consulta representativa en Athena fue 34 veces más rápida con Parquet (237segundos para CSV contra 5.13 segundos para Parquet), y la cantidad de datos escaneados para esa consulta deAthena fue 99% menor (1.15TB escaneados para CSV contra 2.69GB para Parquet)

● El costo para correr esa consulta de Athena fue 99.7% menor ($5.75 para CSV contra $0.013 para Parquet)

Parquet tiene el beneficio adicional de ser un formato abierto de datos que puede ser usado por múltiples herramientasde consultas y analytics en un data lake basado en Amazon S3, particularmente Amazon Athena, Amazon EMR, AmazonRedshift, y Amazon Redshift Spectrum.



• Pensar en paralelo.

• Perder acoplamiento te libera.

• Automatización del Despliegue.

• Automatizar la Infraestructura.

• Abrace las restricciones de hardware.

• Diseña para el fallo y Nada fallará.

• Implementar Elasticidad.

• Diseñar aplicaciones sin estado.

• Aprovechar diferentes opciones de almacenamiento.

• Construir seguridad en cada capa.

Mejores Prácticas de Arquitectura Para

la Nube



Casos de Uso de Big Data

Medios / Publicidad

• Procesamiento de imágenes y video.

• Publicidad digital / ofertas de publicidad.

• Soporte al cliente

Servicios Financieros

• Análisis de portafolio/comercio

• Detección de Fraude

• Análisis de Riesgo

Petróleo / Gas

• Medidores de gas

• Sensores de tuberías

Salud del Consumidor

• Bio-sensores

• Analytics de datos clínicos

Retail

• Recomendaciones

• Análisis de transacciones

Redes Sociales

• Demográficas

• Análisis de uso

• Métricas en-juego



Ecosistema de Servicios para Big Data



Construcción de una Solución Big Data

DEMOAnálisis en Tiempo Real de

Sentimiento en Redes Sociales



Análisis en Tiempo Real de Sentimiento en Redes Sociales



● Un Stream es un flujo de Datos que, de forma análoga a una señal de televisión o de radio, transmite constantemente paquetes de datos permitiendo una difusión y lectura continua del contenido, sin interrupciones

● Habitualmente se usa para la difusión de audio y/o video, pero puede utilizarse para cualquier tipo de contenido

● Los datos se transmiten una única vez, y sólo los clientes conectados en ese momento reciben la transmisión

● Redes sociales populares como Facebook y Twitter proveen una excelente oportunidad de poner a prueba el concepto de Stream de Datos, ya que están constantemente produciendo nuevos datos, toda vez que un usuario escribe un nuevo post o mensaje

● Un cliente (programa) conectado al Stream para capturar los datos y redirigirlos a otro destino (por ejemplo Kinesis) se conoce como Data Producer

Fuente de Datos: Stream de Redes Sociales



Ingesta de Datos: Amazon Kinesis

● Amazon Kinesis permite recolectar, procesar, y analizar en tiempo real datos provenientes de un Stream de Datos

● Es el mecanismo ideal para ingesta de datos que requieren de una reacción rápida por parte del usuario de la información

● Ejemplos de uso para Kinesis son video, audio, logs de aplicaciones, clickstreams de sitios web, telemetría de IoT, entre otros

● Permite operar en modalidades de trabajo en tiempo real (Kinesis Streams) sobre una ventana de tiempo predefinida (ej: 24 horas), y también de procesamiento por lotes (Kinesis Firehose) que se pueden definir en función del tiempo y/o tamaño de cada lote



Procesamiento Serverless: Lambda

● Lambda es un servicio de cómputo sin servidores (serverless) que permite ejecutar código implementado en una variedad de lenguajes en respuesta a eventos de la plataforma de AWS

● Un evento indica la ocurrencia de actividad de algún tipo, que puede ser atendida por la función Lambda para alcanzar algún objetivo en relación al evento (ej: alguien sube un archivo a S3, y Lambda reacciona enviando una alerta al administrador a través de un sistema de notificaciones como SNS)

● Administra de forma automática los recursos de cómputo necesarios para ejecutar la lógica implementada

● Ideal para responder a escenarios de procesamiento en tiempo real con carga de trabajo variable, y cuyas tareas se pueden ejecutar en corto tiempo



Procesamiento de Lenguaje Natural:

Amazon Comprehend

● Con Amazon Comprehend es posible analizar el contenido de texto escrito por humanos, para humanos, y extraer metadata indicando factores como

○ Lenguaje○ Frases clave○ Lugares

● A través de las APIs de Comprehend es posible realizar este procesamiento rápidamente, asociado a procesos en tiempo real o casi-tiempo real

● Múltiples lenguajes soportados○ Alemán○ Inglés○ Español

○ Personas○ Marcas○ Eventos

○ Sentimiento○ Tema○ Etc...

○ Francés○ Italiano○ Portugués



Almacenamiento: S3

● Servicio de almacenamiento ilimitado de objetos, que permite almacenar, rescatar, consultar y analizar cantidades ilimitadas de datos

● Diseñado para proveer la más alta durabilidad y disponibilidad de los datos, a la vez que incorpora la más extensiva lista de cumplimiento y certificaciones de seguridad, capaz de cumplir con los más exigentes requerimientos y regulaciones

● Ofrece distintos niveles de almacenamiento, para operar de acuerdo a la temperatura de los datos, logrando con ello ofrecer importantes ahorros en los costos para los escenarios de almacenamiento de datos fríos

● Ampliamente soportado por proveedores de soluciones en todo el mundo● En el ecosistema de AWS representa la piedra angular del escenario de Big Data, ya que es capaz

de interactuar con todos los servicios de análisis y procesamiento de datos, logrando desacoplar por completo el almacenamiento del cómputo. Este servicio aloja en definitiva el Data Lake



Visualización de BI: QuickSight

● Servicio de consumo y visualización para Data Analytics y Business Intelligence● Facilita la creación de gráficos y paneles que permiten entregar visualizaciones de la información● Excelente integración con los servicios de almacenamiento de datos de AWS, así como Bases de

Datos tradicionales y Archivos● Plataforma serverless, capaz de escalar de forma automática para adaptarse al nivel de uso y

actividad



CONTENIDO EXTRA

Análisis de Audio de las Llamadas de un Call Center con Machine learning

Reconocimiento de Imágenes y Video usando Machine Learning



Análisis de Audio de las Llamadas de un Call Center con Machine learning



Reconocimiento de Imágenes y Video usando Machine Learning

[email protected]

USA - CHILE

Find out more at

¡Visit our Web Site!

Agregamos valor a su negocio - morrisopazo.s3.us-east-1 ...

Documents

Transcript of Agregamos valor a su negocio - morrisopazo.s3.us-east-1 ...