# Plugin Apache Spark

# Introducción

**Ver**. 03-09-2021  
  
Plugin para coger metricas de todos los ejecutores de todas las apps en ejecución o finalizadas de tu server Spark.

<div id="bkmrk-tipo%3A-plug-in-de-ser"><div>**Tipo**: Plug-in de servidor </div></div>

# Matriz de compatibilidad

<table border="1" id="bkmrk-sistemas-donde-se-ha" style="border-collapse: collapse; width: 100%; height: 84px;"><tbody><tr style="height: 28px;"><td style="width: 50%; height: 28px;">**Sistemas donde se ha probado**</td><td style="width: 50%; height: 28px;">CentOS 7, Fedora

</td></tr><tr style="height: 28px;"><td style="width: 50%; height: 28px;">**Sistemas donde debería funcionar**</td><td style="width: 50%; height: 28px;">Cualquier sistema linux

</td></tr></tbody></table>

# Pre requisitos

Se requiere:

- Un servidor Spark
- Tener activado el history server de Spark
- Tener el **Data Server** de Pandora FMS habilitado
- Tener el **Plugin Server** de Pandora FMS habilitado

# Configuración

El plugin hace uso de unos endpoints de la rest api de Spark, para poder acceder a ellos desde el plugin tendremos que tener una serie de puertos activos y que no los bloquee el firewall, estos son los siguientes :

```
firewall-cmd --permanent --zone=public --add-port=6066/tcp
firewall-cmd --permanent --zone=public --add-port=7077/tcp
firewall-cmd --permanent --zone=public --add-port=8080-8081/tcp
firewall-cmd --permanent --zone=public --add-port=4040/tcp
firewall-cmd --permanent --zone=public --add-port=18080/tcp
firewall-cmd --reload
```

**6066**: Rest url (cluster mode).

**7077**: Server master.

**8080** : Web UI.

**4040**: Para aplicaciones en ejecución.

**18080**: Para el history server.

Para poder hacer uso del history server tendremos que activar **spark.eventLog.enabled**, **spark.eventLog.dir** y **spark.history.fs.logDirectory** en **spark-defaults.conf.**

Podemos encontrar una plantilla del conf en /conf

[![1.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/scaled-1680-/1.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/1.png)

Crearemos en esa ruta el archivo con:

```
vi spark-defaults.conf
```

Y lo dejaremos así, puedes elegir la ruta en la que quieres guardar los eventos.

[![2.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/scaled-1680-/2.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/2.png)

Ahora podremos activar el history server, en /sbin la misma ruta donde se activa el master, los workers, etc.

[![3.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/scaled-1680-/3.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/3.png)

Lo iniciaremos con :

```
./start-history-server.sh
```

[![4.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/scaled-1680-/4.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/4.png)

Si vamos al log que nos devuelve la salida veremos como correctamente se ha iniciado y su url.

[![5.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/scaled-1680-/5.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/5.png)

Si accedemos a la url veremos como nos sale el history server.

[![6.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/scaled-1680-/6.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/6.png)

**Nota:**

Esto se presupone, pero para que funcione el plugin se tendrá que tener activo el server maestro, así como tener aplicaciones en ejecución o que han sido ejecutadas y han finalizado, ya que es de las aplicaciones de lo que cogeremos las métricas, concretamente de sus ejecutores.

# Parámetros generales del plugin

```
./pandora_spark -i <ip-with-port> -[ -g <group> ] [ --data_dir <data dir> ] 
```

Si la ejecución es correcta veremos un 1.

[![7.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/scaled-1680-/7.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/7.png)

Si quieres coger los datos de aplicaciones en ejecución, introduce la ip con el puerto 4040, si quieres coger los datos de aplicaciones finalizadas introduce el puerto 18080.

# Parámetros específicos del plugin

El plugin cuenta con los siguientes parámetros:

<table border="1" id="bkmrk-par%C3%A1metro-descripci%C3%B3" style="border-collapse: collapse; width: 100%; height: 260px;"><tbody><tr style="height: 29px;"><td style="width: 50%; height: 29px;">**Parameter**</td><td style="width: 50%; height: 29px;">**Description**</td></tr><tr style="height: 29px;"><td style="width: 50%; height: 29px;">-i &lt;ip-with-port&gt; --ip &lt;ip-with-port&gt;</td><td style="width: 50%; height: 29px;">ip con el puerto, obligatorio.</td></tr><tr style="height: 29px;"><td style="width: 50%; height: 29px;">-g GROUP, --group GROUP</td><td style="width: 50%; height: 29px;">Grupo de destino de Pandora FMS (opcional)</td></tr><tr style="height: 29px;"><td style="width: 50%; height: 29px;">--data\_dir DATA\_DIR</td><td style="width: 50%; height: 29px;">Directorio de datos de Pandora FMS. **Por defecto** es /var/spool/pandora/data\_in/ (opcional)</td></tr></tbody></table>

Ejemplo de ayuda:

```
./pandora_spark
```

[![8.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/scaled-1680-/8.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/8.png)

# Configuración en pandora

**Instalación desde consola**

Para el registro del plugin, desde la consola, se debe ir al apartado "registrar plugin".

**[![register_plugin.png](https://pandorafms.com/guides/public/uploads/images/gallery/2022-04/scaled-1680-/register-plugin.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2022-04/register-plugin.png)**

Daremos a seleccionar archivo.

**[![register_plugin2.png](https://pandorafms.com/guides/public/uploads/images/gallery/2022-04/scaled-1680-/register-plugin2.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2022-04/register-plugin2.png)**

Seleccionaremos el fichero.pspz2 que contiene el plugin.

[![register1_spark.png](https://pandorafms.com/guides/public/uploads/images/gallery/2022-04/scaled-1680-/register1-spark.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2022-04/register1-spark.png)

Una vez subido se nos mostrará un mensaje indicando que ha salido correctamente.

[![register2_spark.png](https://pandorafms.com/guides/public/uploads/images/gallery/2022-04/scaled-1680-/register2-spark.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2022-04/register2-spark.png)

Una vez registrado el plugin, lo veremos en el apartado plugins.

[![serversingles.png](https://pandorafms.com/guides/public/uploads/images/gallery/2022-04/scaled-1680-/serversingles.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2022-04/serversingles.png)

En el apartado de parámetros, saldrán todos los que contiene el plugin, aunque solo será obligatorio usar el de ip.  
  
[![register3_spark.png](https://pandorafms.com/guides/public/uploads/images/gallery/2022-04/scaled-1680-/register3-spark.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2022-04/register3-spark.png)

Abajo podremos asignarle el valor requerido a cada macro.  
  
[![register4_plugin.png](https://pandorafms.com/guides/public/uploads/images/gallery/2022-04/scaled-1680-/register4-plugin.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2022-04/register4-plugin.png)

**Instalación manual**

La mejor forma de manejar plugins de servidor en Pandora es desde "/usr/share/pandora\_server/util/plugin" asi que lo enviaremos esa ruta.

Después nos moveremos a la carpeta en la que lo hemos metido ( "/usr/share/pandora\_server/util/plugin" es la recomendada").

**Recuerda: Tienes que instalar las dependencias que necesita el módulo Requests en tu sistema, esta explicado en el apartado configuración.**

<div id="bkmrk-nos-movemos-desde-ho"><div>Nos movemos desde home con :</div></div><div id="bkmrk--4"></div>```
cd /usr/share/pandora_server/util/plugin/
```

Ejecutamos el plugin para ver que funciona :

```
./pandora_spark -i <ip-with-port> -[ -g <group> ] [ --data_dir <data dir> ]
```

[![7.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/scaled-1680-/7.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/7.png)

**Como plugin de servidor**

Iremos a servidores &gt; plugins:

[![image-1629974405286.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-08/scaled-1680-/image-1629974405286.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-08/image-1629974405286.png)

Pinchamos en añadir:

[![image-1629974430627.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-08/scaled-1680-/image-1629974430627.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-08/image-1629974430627.png)

Le ponemos en nombre y la descripción que se prefiera:

[![9.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/scaled-1680-/9.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/9.png)

Metemos como comando la ruta al plugin, y como parámetros los que hemos metido ejecutando el plugin, los campos "\_field\_" son macros definidas más abajo.

[![10.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/scaled-1680-/10.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/10.png)

Ponemos por cada macro la descripción que se prefiera y como valor los datos de tu ip.

[![11.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/scaled-1680-/11.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/11.png)

Hecho esto si ejecutamos el plugin desde el terminal se nos habrá creado el agente con los módulos.

# Módulos generados

Se nos creará un agente por cada aplicación de nuestro server con datos de todos sus ejecutores, el nombre de cada módulo estará compuesto de la id del ejecutor más su función.

**Módulos de los ejecutores**

<table border="1" id="bkmrk-nombre-del-m%C3%B3dulo-id" style="border-collapse: collapse; width: 23.9506%; height: 232px;"><tbody><tr style="height: 29px;"><td style="width: 100%; height: 29px;">**Nombre del módulo**</td></tr><tr style="height: 29px;"><td style="width: 100%; height: 29px;">id</td></tr><tr style="height: 29px;"><td style="width: 100%; height: 29px;">hostPort</td></tr><tr style="height: 29px;"><td style="width: 100%; height: 29px;">rddBlocks</td></tr><tr style="height: 29px;"><td style="width: 100%; height: 29px;">memoryUsed</td></tr><tr style="height: 29px;"><td style="width: 100%; height: 29px;">diskUsed</td></tr><tr style="height: 29px;"><td style="width: 100%; height: 29px;">activeTasks</td></tr><tr style="height: 29px;"><td style="width: 100%; height: 29px;">failedTasks</td></tr></tbody></table>

<table border="1" id="bkmrk-completedtasks-total" style="border-collapse: collapse; width: 24.1976%; height: 203px;"><tbody><tr style="height: 29px;"><td style="width: 100%; height: 29px;">completedTasks</td></tr><tr style="height: 29px;"><td style="width: 100%; height: 29px;">totalTasks</td></tr><tr style="height: 29px;"><td style="width: 100%; height: 29px;">totalDuration</td></tr><tr style="height: 29px;"><td style="width: 100%; height: 29px;">totalInputBytes</td></tr><tr style="height: 29px;"><td style="width: 100%; height: 29px;">totalShuffleRead</td></tr><tr style="height: 29px;"><td style="width: 100%; height: 29px;">totalShuffleWrite</td></tr><tr style="height: 29px;"><td style="width: 100%; height: 29px;">maxMemory</td></tr></tbody></table>

[![sparkmodulos.png](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/scaled-1680-/sparkmodulos.png)](https://pandorafms.com/guides/public/uploads/images/gallery/2021-09/sparkmodulos.png)