Cómo monitorizar Apache Hbase

En esta sociedad dominada por grandes volúmenes de datos, merece la pena tener en consideración una tecnología de base de datos llamada “Bigtable”. Este es el ejemplo de Hbase, una tecnología fruto del desarrollo de los ingenieros de Google, una empresa que sabe alguna que otra cosa acerca de gestionar grandes cantidades de datos. Ahora Pandora FMS también puede monitorizar los parámetros de rendimiento de Apache Hbase.

¿Qué es Hbase?

Hbase es una base de datos no relacional de código abierto, distribuida siguiendo el modelo de BigTable y escrita en Java, y cuyo desarrollo forma parte del proyecto de Software Apache Hadoop.
Hbase establece una manera, susceptible a errores, de almacenar grandes cantidades de información dispersa. Puede obtener más información sobre Apache Hbase visitando su página web: http://hbase.apache.org/

Recolección de información

Pandora FMS utiliza un agente software instalado en el sistema que contiene Hbase para ejecutar pruebas de tipo local y enviar los resultados en formato XML al servidor.

Este plugin devuelve 8 módulos, y todos ellos extraen información importante sobre el rendimiento. Puede fijar umbrales manualmente:

• Hbase Alive: Muestra si Hbase esta funcionando, si llega a estado crítico se corta la
monitorización en el resto de los módulos.

• Hbase Connections: Muestra la cantidad de conexiones de red.

• Hbase CPU Usage: Muestra el porcentaje de CPU utilizado por HBase.

• Hbase Memory Usage: Muestra el porcentaje de Memoria utilizada por Hbase.

• Hbase Heap Memory Used: Muestra el porcentaje de memoria heap utilizada por Hbase.

• Hbase Process State: El estado del proceso Hbase.

• Hbase Tables: Numero de tablas en Hbase.

• Hbase Time in CPU: Tiempo de CPU para el proceso de Hbase.

• Hbase/Region Servers Online: Número de Servidores de Región Activos.

• Hbase/Region Server Request per second: Petición por segundo del servidor de región

• Hbase Log Warning Messages: Número de mensajes de warning en el log de Hbase.

• Hbase Log Errors: Número de mensajes de error en el log de Hbase.

• Hbase/Region Server Cache Hit Ratio: Muestra el porcentaje de Cache Hit Ratio para el servidor Region.

• Hbase/Region Server Flush Queue Size: Muestra el Número de regiones encoladas.

• Hbase/Region Server Compaction time: Longitud de la cola de compactación. Este es el número de campos en el RegionServer designadas para compactación.

• Hbase/Region Server Memstore Size: Suma de todos los tamaños de Memstore en el RegionServer.

• Hbase/Region Server Read Request: Número de peticiones de lectura para el Region Server.

• Hbase/Region Server Write Request: Número de peticiones de escritura para el RegionServer.

• Hbase/Region Server Number of Online Regions: Número de las regiones activas en el RegionServer.

 

Configuración

Para configurar el plugin correctamente hay que seguir los siguientes pasos:

1. Mover el script hbase_plugin.sh de la carpeta de descarga por defecto al directorio etc/pandora/plugins/

2. Asignar los permisos necesarios a hbase.pl script:

chmod +x hbase_plugin.pl

3. Al final del fichero de configuración pandora_agent.conf añadir la siguiente línea:

module_plugin /etc/pandora/plugins/hbase_plugin.pl

4. Al final del fichero de configuración pandora_agent.conf añadir la siguiente línea:

module_plugin /etc/pandora/plugins/hbase_plugin.pl

5. Reinicia rel proceso de dicho agente:

sudo service pandora_agent_daemon restart

Para poder recoger la información correctamente a través del servidor de información de Hbase es necesaria una configuración específica de Hbase.

En primer lugar, Hbase deber ser desempaquetado en /etc. La carpeta donde se debe desempaquetar se llamará hbase. Antes de iniciar Hbase hay que modificar el fichero de configuración de Hbase, localizado en /etc/hbase/conf en función de nuestras necesidades.
Es preciso editar/añadir las siguientes líneas en hbase-site.xml entre las etiquetas de configuración (<configuration> and </configuration>):

<property>

<name>hbase.master.info.port</name>

<value>16010</value>

</property>

<property>

<name>hbase.master.info.bindAddress</name>

<value>127.0.0.1</value>

</property>

 

Información recolectada

Vista general de los módulos en la consola de Pandora FMS

Vista de gráfica de la información recolectada por un agente

¿Quieres saber más sobre Pandora FMS?	¿Quieres descargar el plugin?