Configuración

El plugin hace uso de unos endpoints de la rest api de Spark, para poder acceder a ellos desde el plugin tendremos que tener una serie de puertos activos y que no los bloquee el firewall, estos son los siguientes :

firewall-cmd --permanent --zone=public --add-port=6066/tcp
firewall-cmd --permanent --zone=public --add-port=7077/tcp
firewall-cmd --permanent --zone=public --add-port=8080-8081/tcp
firewall-cmd --permanent --zone=public --add-port=4040/tcp
firewall-cmd --permanent --zone=public --add-port=18080/tcp
firewall-cmd --reload

6066: Rest url (cluster mode).

7077: Server master.

8080 : Web UI.

4040: Para aplicaciones en ejecución.

18080: Para el history server.

Para poder hacer uso del history server tendremos que activar spark.eventLog.enabled, spark.eventLog.dir y spark.history.fs.logDirectory en spark-defaults.conf.

Podemos encontrar una plantilla del conf en /conf

Crearemos en esa ruta el archivo con:

vi spark-defaults.conf

Y lo dejaremos así, puedes elegir la ruta en la que quieres guardar los eventos.

Ahora podremos activar el history server, en /sbin la misma ruta donde se activa el master, los workers, etc.

Lo iniciaremos con :

./start-history-server.sh

Si vamos al log que nos devuelve la salida veremos como correctamente se ha iniciado y su url.

Si accedemos a la url veremos como nos sale el history server.

Nota:

Esto se presupone, pero para que funcione el plugin se tendrá que tener activo el server maestro, así como tener aplicaciones en ejecución o que han sido ejecutadas y han finalizado, ya que es de las aplicaciones de lo que cogeremos las métricas, concretamente de sus ejecutores.