Avenida de Castilla,1 - Edificio Best Point - Oficina 21B28830 San Fernando de Henares (Madrid)

tel./fax: +34 91 675 33 06info@autentia.com - www.autentia.com

Somos su empresa de Soporte a Desarrollo Informático.Ese apoyo que siempre quiso tener...

1. Desarrollo de componentes y proyectos a medida

TecnologíaDesarrolloSistemas

Gran Empresa

Producción

autentia

Certificacióno Pruebas

Verificación previa

RFP Concurso

Consultora 1

Consultora 2

Consultora 3

Equipo propio desarrolloPiloto

3a

3b

1. Definición de frameworks corporativos.2. Transferencia de conocimiento de nuevas arquitecturas.3. Soporte al arranque de proyectos.4. Auditoría preventiva periódica de calidad.5. Revisión previa a la certificación de proyectos.6. Extensión de capacidad de equipos de calidad.7. Identificación de problemas en producción.

3. Arranque de proyectos basados en nuevas tecnologías

¿Qué ofrece Autentia Real Business Solutions S.L?

Para más información visítenos en: www.autentia.com

Compartimos nuestro conociemiento en: www.adictosaltrabajo.com

Gestor portales (Liferay)Gestor de contenidos (Alfresco)Aplicaciones híbridas

Tareas programadas (Quartz)Gestor documental (Alfresco)Inversión de control (Spring)

BPM (jBPM o Bonita)Generación de informes (JasperReport)ESB (Open ESB)

Control de autenticación y acceso (Spring Security)UDDIWeb ServicesRest ServicesSocial SSOSSO (Cas)

Spring MVC, JSF-PrimeFaces /RichFaces, HTML5, CSS3, JavaScript-jQuery

JPA-Hibernate, MyBatisMotor de búsqueda empresarial (Solr)ETL (Talend)

Dirección de Proyectos Informáticos.Metodologías ágilesPatrones de diseñoTDD

2. Auditoría de código y recomendaciones de mejora

4. Cursos de formación (impartidos por desarrolladores en activo)

Entra en Adictos a través de

Entrar

E-mail

Contraseña

RegistrarmeOlvidé mi contraseña

Inicio Quiénes somos Formación Comparador de salarios Nuestros libros Más

» Estás en: Inicio Tutoriales Monitorización de Apache Kafka

Síguenos a travésde:

Catálogo de serviciosAutentia

Últimas Noticias

» Curso JBoss de Red Hat

» Si eres el responsable olíder técnico, considératedesafortunado. No puedesculpar a nadie por ser gris

» Portales, gestores decontenidos documentales ydesarrollos a medida

» Comentando el libro Start-up Nation, La historia delmilagro económico de Israel,de Dan Senor & Salu Singer

» Screencasts deprogramación narrados enEspañol

Histórico de noticias

Últimos Tutoriales

» Hooks en Cordova: Cargartodos los plugins de formaautomática

» Generación de vistasHTML5 con el soporte deJSF2: pass through

Ver todos los tutoriales del autor

Juan Alonso Ramos

Consultor tecnológico de desarrollo de proyectos informáticos.

Ingeniero en Informática, especialidad en Ingeniería del Software

Puedes encontrarme en Autentia: Ofrecemos de servicios soporte a desarrollo,factoría y formación

Somos expertos en Java/J2EE

Fecha de publicación del tutorial: 2014-11-03 Tutorial visitado 3 veces Descargar en PDF

Monitorización de Apache Kafka

0. Índice de contenidos.

1. Introducción.2. Entorno.3. Instalación.4. Configuración.5. Monitorizar Kafka.6. Conclusiones.

1. Introducción.

Ya vimos en este otro tutorial unos primeros pasos con Apache Kafka, su instalación y uso. Ahora vamos a ver Kafka webconsole, una herramienta muy útil para monitorizar todo lo que pasa en Kafka, los brokers que tiene configurados, topics,particiones, intercambio de mensajes entre producers y consumers, etc.

2. Entorno.

El tutorial se ha realizado con el siguiente entorno:

MacBook Pro 15' (2.4 GHz Intel Core i5, 8GB DDR3 SDRAM).Sistema Operativo: Mac OS Mavericks 10.9.5Oracle Java SDK 1.7.0_60Apache Kafka 0.8.1.1Typesafe 1.2.2

3. Instalación

Kafka web console está desarrollado con Scala y Play Framework por lo que si no lo tienes montando en tu máquina, comoes mi caso, necesitas instalarlo. Asumimos que tenemos Java 6 o superior instalado.

Para instalarlo tenemos que descargar el stack de Typesafe ya que forma parte de él junto con otras distribuciones comoScala o Akka. En Mac OS podemos descargarlo con el gestor de paquetes 'brew'

Para descargar Kafka web console directamente clonamos el repositorio de git del proyecto.

Una vez descargado ejecutamos la tarea start de sbt. Esto arrancará el proyecto instalando las librerías necesarias ycreará por defecto la base de datos en H2 que necesita el programa para funcionar. Soporta otras bases de datos como

1 brew install typesafe-activator

1 git clone https://github.com/claudemamo/kafka-web-console.git

?

?

» Monta fácilmente tuproyecto con Spring BootStarter POMs

» [S.O.L.I.D.] Dependencyinversion principle / Principiode inversión de dependencias

» [S.O.L.I.D.] InterfaceSegregation Principle /Principio de segregación deinterfaz

Últimos Tutoriales delAutor

» Monta fácilmente tuproyecto con Spring BootStarter POMs

» Primeros pasos con ApacheKafka

» Trident, un compañero deviaje para tratar con Storm

» Introducción a ApacheStorm

» Primeros pasos con Neo4j

Categorías del Tutorial

Big Data

PostgreSQL, MySQL, Oracle, DB2, Derby y SQL Server.

En el primer arranque a mí me ha dado un error indicando que debía añadir el parámetro -DapplyEvolutions.default=truea la configuración.

Editamos el fichero conf/application.conf y añadimos la línea que nos ha indicado:

Volvemos a ejecutar la tarea sbt start y si todo va bien aparecerá por consola lo siguiente:

Abrimos en un navegador la url http://localhost:9000 y ahí tenemos Kafka web console arrancado.

4. Configuración

Antes de poder monitorizar nada debemos configurar la aplicación para indicarle los valores de instalación de Zookeeper.

Lógicamente con Zookeeper arrancado, probamos a conectarnos.

1 sbt start

1 -DapplyEvolutions.default=true

12345

Play server process ID is 40221[info] play - database [default] connected at jdbc:h2:file:play[info] play - Starting application default Akka system.[info] play - Application started (Prod)[info] play - Listening for HTTP on /0:0:0:0:0:0:0:0:9000

?

?

?

5. Monitorizar Kafka

Desde la opción 'Brokers' del menú de la izquierda vemos las instancias de Kafka arrancadas en la máquina:

Desde la opción 'Topics' del menú de la izquierda vemos los topics que hemos enviado a Kafka, la partición en la que están(por defecto se crean 2 particiones), el tamaño que ocupan los mensajes y el broker que los envió.

También podemos monitorizar la carga de mensajes que le llegan a Kafka. Esta herramienta crea consumers de todos lostopics que se están manejando para monitorizar los mensajes que envían los productores.

Pinchando en el consumer vemos el número de mensajes emitidos y consumidos por segundo.

Esta obra está licenciada bajo licencia Creative Commons de Reconocimiento-No comercial-Sin obras derivadas 2.5

PUSH THIS Page Pushers Community Help?

---- 0 people brought clicks to this page

Share | 0 0

» Registrate y accede a esta y otras ventajas «

Anímate y coméntanos lo que pienses sobre este TUTORIAL:

6. Conclusiones.

Un buen software de monitorización es muy necesario para estar tranquilos de que los sistemas funcionan correctamente ymucho más cuando trabajamos con aplicaciones que deben escalar con flujos de datos muy grandes.

Para monitorizar Kafka esta herramienta aporta bastante ya que de forma gráfica y visual podemos ver mucha informaciónque de otra forma sería más complicado de tener.

Espero que te haya sido de ayuda.

Un saludo.

Juan

A continuación puedes evaluarlo:

Regístrate para evaluarlo

Por favor, vota +1 o compártelo si te pareció interesante

More ShareShareShareShareShareShare

no clicks + + + + + + + +

powered by karmacracy

Copyright 2003-2014 © All Rights Reserved | Texto legal y condiciones de uso | Banners | Powered by Autentia | Contacto