Apache Cassandra en SmartPolitech

Cassandra en SmartPolitechCassandra en la creación de espacios inteligentes

13 Noviembre, 2014Marcos Vecino Rosado@mvecinorosado

➔ SmartPolitech

➔ Sistema de información

➔ Resultados experimentales

➔ Trabajos futuros y en proceso

Contenido

Cassandra en SmartPolitech - Marcos Vecino Rosado

➔ Comenzó en 2013➔ Iniciativa interdepartamental➔ Living lab mediante tecnologías SmartX➔ Objetivos

◆ Optimización de recursos◆ Eficiencia energética◆ Facilitar la vida social y académica a los usuarios◆ Sostenibilidad

➔ Caso particular del Internet de las cosas

SmartPolitech


¿Áreas de interés?

➔ Sensorización de espacios➔ Almacenamiento y disponibilidad➔ Visualización➔ Modelado predictivo➔ Planificación, filosofía, etc.


SmartPolitech

➔ Conectividad de sensores (entornos rurales)➔ Sensorización edificios no modernos➔ Tecnología de sensorización y actuadores➔ Dispositivos heterogéneos➔ Tecnología flexible, barata, escalable y robusta


SmartPolitech

Sensorización de espacios

➔ Mediciones◆ Condiciones climáticas (temp, hum, luminosidad)◆ Consumos (eléctrico, agua)◆ Estado de puertas, ventanas, persianas◆ Número de personas◆ Control del parking◆ Ruido

➔ Usuarios aportan información


SmartPolitech



SmartPolitech


➔ Arduino based◆ Panstamp◆ Arduino Pro Mini◆ Arduino Yun

➔ Mbed➔ Raspberry Pi➔ Cámaras IP➔ Smartphones


SmartPolitech


➔ Panstamp◆ Daniel Berenguer◆ Zafra (Badajoz)◆ Hardware libre◆ Muy bajo consumo


SmartPolitech


Almacenamiento y disponibilidad

➔ Datos muy heterogéneos➔ Time series➔ Almacenamiento masivo y alta disponibilidad➔ Minería de datos


SmartPolitech

Visualización y Modelado Predictivo

➔ Interfaces interactivas (servicio web)➔ Monitorización de la ocupación y actividad humana➔ Seguridad y prevención de riesgos➔ Toma de decisiones -> Actuadores➔ Avisos/Alertas (email, mensajería instantánea...)


SmartPolitech

➔ SmartPolitech




Contenido


Antecedentes


Sistema de información


➔ Modelo Freemium➔ Restricciones consultas (900 puntos, 14 días)➔ LOPD➔ Gráficas y estadísticas pobres➔ Imposibilidad de analizar los datos directamente

Antecedentes




Problemática➔ Red de dispositivos (Internet de las Cosas):

● Escrituras intensas● Número muy alto de conexiones concurrentes● Pueden surgir nuevos datos a almacenar

➔ Diversidad de dispositivos:● Necesitamos una interfaz común

➔ Compatible con herramientas analíticas para Big Data● Framework Hadoop, Spark

➔ Alta disponibilidad, fácil escalabilidad y tolerancia a fallos


Nuestra nube

Sensores

Aplicaciones Otras fuentes

Cámaras IP

API REST

Tornado Web Server

Apache Cassandra


➔ SmartPolitech



➔ Trabajos en proceso y futuros

Contenido



Despliegue del cluster➔ 3 nodos de Cassandra

● Nodos virtuales● Debian Wheezy 64 bits● Conexiones 10Gbps● Hot-add RAM/HDD

➔ Opciones de autenticación, autorización, rendimiento y seguridad

➔ OpsCenter + Scripts (mantenimiento y backup)

Resultados experimentales


Prueba de rendimiento


➔ 3 millones de escrituras➔ Escribiendo en 2 nodos y Factor Replicación = 3➔ Tiempo total: 8 minutos y 27 segundos➔ Máquinas de 32 bit y limitadas en RAM (2GB)


Conexión dispositivos a Cassandra


SWAP

NUBE

SWAP




➔ Modificación de Lagarto-Max➔ Nuestro cluster como ser servicio

en la nube➔ Driver Python DB-API-2.0➔ Funcionando en las Raspberry Pi




SWAP

DriverPython

Apache Cassandra

SWAP




Apache Cassandra

HTTP

Driver Python

DataStax

Tornado Web ServerAPI REST

...

HTTP

➔ SmartPolitech




Contenido



Trabajos futuros y en proceso

➔ Data mining (Spark)➔ Modificación de Emoncms➔ Continuación sensorización (actuadores)➔ Incorporación del trabajo de distintos TFG/PFC➔ TIERRA➔ Etc.


Modificación Emoncms (emoncms.org)



Gracias por la atención¿Preguntas?

Esta obra está bajo una licencia Creative Comons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional

http://creativecommons.org/licenses/by-nc-sa/4.0/

Apache Cassandra en SmartPolitech

Technology

Transcript of Apache Cassandra en SmartPolitech