Plugin Apache Spark

of 16/16
Plugin para coger metricas de todos los ejecutores de todas las apps en ejecución o finalizadas de tu server Spark. Introducción Matriz de compatibilidad Pre requisitos Configuración Parámetros generales del plugin Parámetros específicos del plugin Configuración en pandora Módulos generados Plugin Apache Spark
  • date post

    14-Jul-2022
  • Category

    Documents

  • view

    6
  • download

    0

Embed Size (px)

Transcript of Plugin Apache Spark

Plugin Apache SparkPlugin para coger metricas de todos los ejecutores de todas las apps en ejecución o finalizadas de tu server Spark.
Introducción Matriz de compatibilidad Pre requisitos Configuración Parámetros generales del plugin Parámetros específicos del plugin Configuración en pandora Módulos generados
Plugin Apache Spark
Ver. 03-09-2021
Plugin para coger metricas de todos los ejecutores de todas las apps en ejecución o finalizadas de tu server Spark.
Tipo: Plug-in de servidor 
Sistemas donde debería funcionar Cualquier sistema linux 
 
Se requiere:
Un servidor Spark Tener activado el history server de Spark Tener el Data Server de Pandora FMS habilitado Tener el Plugin Server de Pandora FMS habilitado
Pre requisitos
El plugin hace uso de unos endpoints de la rest api de Spark, para poder acceder a ellos desde el plugin tendremos que tener una serie de puertos activos y que no los bloquee el firewall, estos son los siguientes :
6066: Rest url (cluster mode).
7077: Server master.
8080 : Web UI.
Para poder hacer uso del history server tendremos que activar spark.eventLog.enabled, spark.eventLog.dir y spark.history.fs.logDirectory en spark-defaults.conf.
Podemos encontrar una plantilla del conf en /conf
Crearemos en esa ruta el archivo con:
Configuración
firewall-cmd --reload
Y lo dejaremos así, puedes elegir la ruta en la que quieres guardar los eventos.
Ahora podremos activar el history server, en /sbin la misma ruta donde se activa el master, los workers, etc.
Lo iniciaremos con :
Si vamos al log que nos devuelve la salida veremos como correctamente se ha iniciado y su url.
Si accedemos a la url veremos como nos sale el history server.
vi spark-defaults.conf
 
 
Si la ejecución es correcta veremos un 1.
Si quieres coger los datos de aplicaciones en ejecución, introduce la ip con el puerto 4040, si quieres coger los datos de aplicaciones finalizadas introduce el puerto 18080.
Parámetros generales del plugin
Parameter Description
-i <ip-with-port> --ip <ip-with-port> ip con el puerto, obligatorio.
-g GROUP, --group GROUP Grupo de destino de Pandora FMS (opcional)
--data_dir DATA_DIR Directorio de datos de Pandora FMS. Por defecto es /var/spool/pandora/data_in/ (opcional)
Ejemplo de ayuda:
Instalación desde consola
Para el registro del plugin, desde la consola, se debe ir al apartado "registrar plugin".
Daremos a seleccionar archivo.
Seleccionaremos el fichero.pspz2 que contiene el plugin.
Una vez subido se nos mostrará un mensaje indicando que ha salido correctamente.
Configuración en pandora
Una vez registrado el plugin, lo veremos en el apartado plugins.
En el apartado de parámetros, saldrán todos los que contiene el plugin, aunque solo será obligatorio usar el de ip.
 
Instalación manual
La mejor forma de manejar plugins de servidor en Pandora es desde "/usr/share/pandora_server/util/plugin" asi que lo enviaremos esa ruta.
Después nos moveremos a la carpeta en la que lo hemos metido ( "/usr/share/pandora_server/util/plugin" es la recomendada").
Recuerda: Tienes que instalar las dependencias que necesita el módulo Requests en tu
sistema, esta explicado en el apartado configuración.
Nos movemos desde home con :
Ejecutamos el plugin para ver que funciona :
cd /usr/share/pandora_server/util/plugin/
Le ponemos en nombre y la descripción que se prefiera:
Metemos como comando la ruta al plugin, y como parámetros los que hemos metido ejecutando el plugin, los campos "_field_" son macros definidas más abajo.
Ponemos por cada macro la descripción que se prefiera y como valor los datos de tu ip.
 
Módulos de los ejecutores