Monitorización y recolección de logs

Volver al Índice de Documentación Pandora FMS.

La monitorización de logs en Pandora FMS está establecida de dos formas diferentes:

1. Basada en módulos: Representa logs en Pandora FMS como monitores asíncronos, pudiendo asociar alertas a las entradas detectadas que cumplan una serie de condiciones preconfiguradas por el usuario. La representación modular de los logs permite:
   1. Crear módulos que cuenten las ocurrencias de una expresión regular en un log.
   2. Obtener las líneas y el contexto de los mensajes de log.
2. Basada en visualización combinada: Permite al usuario visualizar en una única Consola toda la información de logs de múltiples orígenes que se desee capturar, organizando la información de manera secuencial, utilizando la marca de tiempo en que se procesaron los logs.

• Los logs analizados por los Agentes Software (eventlog o ficheros de texto), son reenviados hacia el servidor de Pandora FMS, en forma “literal” (RAW) dentro del XML de reporte del agente.

• El Data Server Pandora FMS recibe el XML del agente, que contiene información tanto de monitorización como de logs.

• Cuando el Data Server procesa los datos del XML identifica la información de los logs, guardando en la base de datos principal las referencias del agente que ha reportado y el origen del log y luego enviando automáticamente la información a Elasticsearch.

• Pandora FMS almacena los datos en índices de Elasticsearch generando diariamente un índice único por cada instancia de Pandora FMS.

• El servidor de Pandora FMS dispone de una tarea de mantenimiento que elimina los índices en el intervalo definido por el administrador del sistema (por defecto, 90 días).

Es recomendable distribuir a Pandora, FMS Server y Elasticsearch en servidores independientes.

• Rocky Linux 8 o RHEL 8.
• Al menos 4 gigabytes de RAM, aunque se recomiendan 6 GB de RAM por cada instancia de Elasticsearch.
• Desactivar SWAP en el(los) nodo(s) donde esté Elasticsearch.
• Al menos 2 núcleos (cores) de CPU.
• 20 GB de espacio en disco para el sistema.
• 50 GB de espacio en disco para los datos de Elasticsearch (el número puede variar dependiendo de la cantidad de datos que se desee almacenar). El uso de disco de Elasticsearch es muy intensivo, por lo que a mayor rapidez de lectura y escritura se tenga mejor será el rendimiento del entorno.
• Conectividad desde el Servidor y Consola de Pandora FMS a la API de Elasticsearch (por defecto puerto 9200/TCP ).

Con un entorno de un solo nodo con estas características se pueden almacenar hasta 1 GB de datos diarios y almacenarlos el tiempo por defecto que son 8 días.

En el caso de requerir una mayor resiliencia de datos, y tolerancia a fallos, será necesario la configuración de un clúster de Elasticsearch (mínimo 3 nodos para garantizar integridad de datos). Al pasar a un entorno de clúster también es posible distribuir la carga entre los nodos, duplicando (en el caso de 3 nodos) la capacidad de procesamiento del entorno. Será necesario un sistema de balanceo de carga si se quiere atacar con los diferentes nodos de forma simultánea.

Documentación oficial de Elasticsearch:

• https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html

Para Rocky Linux 8 se recomienda la instalación por medio de paquete RPM, es un único paquete que contiene todo lo necesario para la instalación de la base de datos de Elasticsearch.

Para su descarga vaya a https://www.elastic.co/downloads/elasticsearch y seleccione
Linux x86_64 (procesadores AMD® o Intel® de 64 bits).

Una vez haya descargado el paquete debe subirlo al servidor donde instalará Eleasticsearch, vaya a ese directorio y ejecute con derechos suficientes:

dnf install ./downloaded_packet.rpm

Sustituya downloaded_packet.rpm por el nombre del paquete descargado.

Obtendrá una salida similar a:

Para comprobar que el servicio se instaló correctamente puede ejecutar el comando:

systemctl status elasticsearch.service

Obtendrá una salida similar a:

Note que el servicio Elasticsearch está inactivo.

Este fichero contiene la configuración de todos los parametros del servicio de Elasticsearch, consulte la documentación oficial para más información:

• https://www.elastic.co/guide/en/elasticsearch/reference/current/settings.html

A continuación se describirán las configuraciones mínimas necesarias para iniciar el servicio y su uso con Pandora FMS.

• Configure el número de puerto, ubicación de los datos y ubicación del fichero de registro de eventos (log).

 # ---------------------------------- Network -----------------------------------
 # Set a custom port for HTTP:
 http.port: 9200
 # ----------------------------------- Paths ------------------------------------
 # Path to directory where to store the data (separate multiple locations by a comma):
 path.data: /var/lib/elastic
 # Path to log files:
 path.logs: /var/log/elastic

• Configure el xpack:

xpack.security.enabled: false
xpack.security.enrollment.enabled: false

• Comente las siguientes líneas:

#http.host: [_local_]
#transport.host: [_local_]

Será necesario descomentar y definir también las siguientes líneas:

cluster.name: pandorafms
node.name: ${HOSTNAME}
network.host: 0.0.0.0

cluster.name

Será el nombre que recibirá el grupo o clúster.

node.name

Para nombrar el nodo utilizando la variable de sistema ${HOSTNAME}, este tomará automáticamente el nombre del anfitrión.

network.host

Para network.host el valor 0.0.0.0 permite que Elasticsearch “escuche” en todas las interfaces de red (NIC), coloque un valor específico para utilizar una NIC específica.

En caso de trabajar con un clúster necesita completar el parámetro discovery.seed_hosts .

discover.seed_hosts : ["ip:port", "ip", "ip"]

O bien (ejemplo de formato):

 discovery.seed_hosts:
  - 192.168.1.10:9300
  - 192.168.1.11
  - seeds.mydomain.com

Una vez finalizado será necesario ejecutar:

systemctl start elasticsearch.service

Para iniciar utilice start, para reiniciar use restart y para detener stop.

Espere unos instantes mientras Elasticsearch inicia, tenga paciencia. El comando para consultar el estado es:

systemctl status elasticsearch.service

Verá algo similar a esto:

Para comprobar la instalación de Elasticsearch ejecute el siguiente comando en una ventana terminal:

curl -q http://{IP}:9200/

Sustituya {IP} por la dirección IP o URL de Elasticsearch instalado.

Recibirá una respuesta similar a la siguiente:

{
  "name" : "3743885b95f9",
  "cluster_name" : "docker-cluster",
  "cluster_uuid" : "7oJV9hXqRwOIZVPBRbWIYw",
  "version" : {
    "number" : "7.6.2",
    "build_flavor" : "default",
    "build_type" : "docker",
    "build_hash" : "ef48eb35cf30adf4db14086e8aabd07ef6fb113f",
    "build_date" : "2020-03-26T06:34:37.794943Z",
    "build_snapshot" : false,
    "lucene_version" : "8.4.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

Se recomienda visitar el enlace a las Best practices (Mejores prácticas) de Elasticsearch para entornos en producción:

• https://www.elastic.co/guide/en/elasticsearch/reference/current/system-config.html#dev-vs-prod

• El tamaño mínimo de un clúster de servidores Elasticsearch es de 3 nodos y siempre debe ir creciendo en números impares para poder hacer uso del sistema de quorum y garantizar la integridad de los datos.
• Asegúrese de que tiene conectividad entre los 3 nodos y que los puertos 9200 y 9300 son accesibles entre todos y cada uno de los nodos.

Detenga el servicio Elasticsearch en todos y cada uno de los nodos:

systemctl stop elasticsearch.service

Modifique en el fichero de configuración /etc/elasticsearch/elasticsearch.yml las siguientes líneas:

#discovery.seed_hosts: ["host1", "host2"]
#cluster.initial_master_nodes: ["host1", "host2"]

Descomentelas líneas y agregue las direcciones IP o URL de cada uno de los nodos :

discovery.seed_hosts: ["host1", "host2", "host3"]
cluster.initial_master_nodes: ["host1", "host2", "host3"]

Ejemplo con direcciones IP:

discovery.seed_hosts: ["172.42.42.101", "172.42.42.102", "172.42.42.103"]
cluster.initial_master_nodes: ["172.42.42.101", "172.42.42.102", "172.42.42.103"]

Antes de iniciar el servicio, debido a que los nodos se iniciaron por primera vez por sí solos (standalone), debe borrarse el contenido de la carpeta data (por defecto /var/lib/elasticsearch/) para poder iniciar por primera vez el clúster. Hágalo con el comando:

rm -rf /var/lib/elasticsearch/*

Ahora es momento de iniciar los servicios en todos y cada uno de los nodos. Inicie y compruebe que se están ejecutando con los comandos:

systemctl start elasticsearch.service && systemctl status elasticsearch.service

Debe obtener una salida similar a:

Una vez iniciados los servicios debe confirmar que los 3 nodos están unidos al clúster correctamente, por lo que al ejecutar en cualquiera de los nodos el siguiente comando debe dar la misma respuesta:

curl -XGET http://127.0.0.1:9200/_cat/nodes

Vuelva a revisar la configuración del firewall siempre tomando en cuanta que los nodos deben comunicarse por los puertos 9200 y 9300 y que desde el servidor PFMS y la Consola web PFMS debe poder accederse al puerto 9200 también. Con estos pasos ya tendrá instalado y configurado el clúster de Elasticsearch para ser usado como motor de almacenamiento de logs de Pandora FMS.

Antes de poner en producción un entorno, bien sea de un solo nodo o un clúster de datos, se recomienda aplicar las configuraciones correspondientes a este nodo o clúster en función a su utilización. En el caso de los índices generados por Pandora FMS la forma más efectiva de hacerlos es definiendo una plantilla (template) para definir la configuración de los campos y los datos almacenados.

Para crear un template básico, solo debe definir los siguientes campos:

{
 "index_patterns": ["pandorafms*"],
 "settings": {
   "number_of_shards": 1,
   "auto_expand_replicas" : "0-1",
   "number_of_replicas" : "0"
 },
"mappings" : {
     "properties" : {
       "agent_id" : {
         "type" : "long",
         "fields" : {
           "keyword" : {
             "type" : "keyword",
             "ignore_above" : 256
           }
         }
       },
       "group_id" : {
         "type" : "long",
         "fields" : {
           "keyword" : {
             "type" : "keyword",
             "ignore_above" : 256
           }
         }
       },
       "group_name" : {
         "type" : "text",
         "fields" : {
           "keyword" : {
             "type" : "keyword",
             "ignore_above" : 256
           }
         }
       },
       "logcontent" : {
         "type" : "text",
         "fields" : {
           "keyword" : {
             "type" : "keyword",
             "ignore_above" : 256
           }
         }
       },
       "source_id" : {
         "type" : "text",
         "fields" : {
           "keyword" : {
             "type" : "keyword",
             "ignore_above" : 256
           }
         }
       },
       "suid" : {
         "type" : "text",
         "fields" : {
           "keyword" : {
             "type" : "keyword",
             "ignore_above" : 256
           }
         }
       },
       "type" : {
         "type" : "text",
         "fields" : {
           "keyword" : {
             "type" : "keyword",
             "ignore_above" : 256
           }
         }
       },
       "utimestamp" : {
         "type" : "long"
       }
     }
   }
 }
}

A través de la interfaz de Elasticsearch en Pandora FMS (Admin tools → Elasticsearch Interface) y utilizando el comando nativo de Elasticsearch podrá subir dicho template.

• PUT _template/<nombredeltemplate>: en este ejemplo PUT _template/pandorafms .

También podrá consultar los templates por la misma interfaz de Pandora FMS:

• GET _template/<nombredeltemplate>: en este ejemplo GET _template/pandorafms .

Para definir un template multinodo debe tener en cuenta la siguiente información:

• Cuando realice la configuración del template (formato JSON), necesita configurar tantos search como nodos tenga, sin embargo para configurar correctamente las réplicas debe restar 1 al número de nodos del entorno.

Por ejemplo, en un entorno de Pandora FMS con Elasticsearch con 3 nodos configurados, cuando modifique los campos number_of_search y number_of_replicas debe quedar de la siguiente manera:

{
 "index_patterns": ["pandorafms*"],
 "settings": {
   "number_of_shards": 3,
   "auto_expand_replicas" : "0-1",
   "number_of_replicas" : "2"
 },

• https://www.elastic.co/blog/how-many-shards-should-i-have-in-my-elasticsearch-cluster

Desde la línea de comando puede listar los templates del entorno ejecutando:

curl -X GET "localhost:9200/_cat/templates/*?v=true&s=name&pretty"

También puede ver los detalles de un, template, por ejemplo el que hemos creado para pandorafms ejecutando:

curl -X GET "localhost:9200/_template/pandorafms*?pretty"

el cual devolverá en formato JSON la configuración que tenga definida.

Puede realizar estas operaciones a través de la interfaz de Elasticsearch en Pandora FMS utilizando los comandos nativos de Elasticsearch.

• PUT _template/<nombre_del_template> {json_data}: permite introducir los datos del template a crear.
• GET _template/><nombre_del_template>: permite visualizar el template creado.

Rotación de logs para Elasticsearch

Importante: para evitar que los logs de Elasticsearch crezcan sin medida, debe crear una nueva entrada para el demonio o daemon de rotado de logs en /etc/logrotate.d :

 cat> /etc/logrotate.d/elastic <<EOF
 /var/log/elastic/elaticsearch.log {
        weekly
        missingok
        size 300000
        rotate 3
        maxage 90
        compress
        notifempty
        copytruncate
 }
 EOF

Purgado de índices

Puede consultar en todo momento el listado de índices y el tamaño que ocupan lanzando una petición cURL contra el servidor Elasticsearch:

curl -q http://<elastic>:9200/_cat/indices?

Donde elastic se refiere a la dirección IP del servidor.

Para eliminar cualquiera de estos índices puede ejecutar la orden DELETE :

curl -q -XDELETE http://<elastic>:9200/{index-name}

Donde {index-name} es el fichero de salida del comando anterior. Esta operación liberará el espacio utilizado por el índice eliminado.

Este componente permite a Pandora FMS analizar el syslog de la máquina donde está ubicado, analizando su contenido y almacenando las referencias en el servidor Elasticsearch correspondiente.

La ventaja principal del Syslog Server consiste en complementar la unificación de logs. Con apoyo de las características de exportado de Syslog Server de los entornos Linux® y Unix®, Syslog Server permite la consulta de logs independientemente del origen, buscando en un único punto común (visor de logs de la consola de Pandora FMS).

La instalación de Syslog Server se debe realizar tanto en cliente como en servidor, y para ejecutarla es necesario lanzar el siguiente comando:

yum install rsyslog

Una vez instalado syslog en los equipos a trabajar, hay que acceder al fichero de configuración /etc/rsyslog.conf para habilitar el input de TCP y UDP.

 (...)

 # Provides UDP syslog reception
 $ModLoad imudp
 $UDPServerRun 514

 # Provides TCP syslog reception
 $ModLoad imtcp
 $InputTCPServerRun 514

 (...)

Tras realizar este ajuste será necesario detener y volver a arrancar el servicio rsyslog. Una vez el servicio esté disponible, comprobar que el puerto 514 está accesible con:

netstat -ltnp

Para más información de la configuración de rsyslog, visite la web oficial.

En el cliente configurar para que pueda enviar los logs al Syslog Server. Para ello acceda una vez más al fichero de configuración de rsyslog /etc/rsyslog.conf en el cliente . Localice y habilite la línea que permite configurar el host remoto.

.* @@remote-host:514

Para activar esta funcionalidad en Pandora FMS Server, habilite en el archivo pandora_server.conf el siguiente contenido:

 # Enable (1) or disable (0) the Pandora FMS Syslog Server
 #  (PANDORA FMS ENTERPRISE ONLY).
 syslogserver 1

 # Full path to syslog's output file (PANDORA FMS ENTERPRISE ONLY).
 syslog_file /var/log/messages

 # Number of threads for the Syslog Server
 #  (PANDORA FMS ENTERPRISE ONLY).
 syslog_threads 2

 # Maximum number of lines queued by the Syslog Server's
 #   producer on each run (PANDORA FMS ENTERPRISE ONLY).
 syslog_max 65535

syslogserver

Booleano, habilita (1) o deshabilita (0) el motor de análisis de SYSLOG local.

syslog_file

Ubicación del fichero donde se entregan las entradas de los SYSLOG.

syslog_threads

Número de hilos máximo que se utilizarán en el sistema productor/consumidor del Syslog Server.

syslog_max

Es la ventana de procesado máxima para Syslog Server; será el número máximo de entradas del SYSLOG que se procesarán en cada iteración.

Una vez configurado el nuevo sistema de almacenamiento de logs, puede migrar todos los datos almacenados previamente en Pandora FMS, en forma distribuida en directorios al nuevo sistema.

Para ello deberá ejecutar el siguiente script que se encuentra en
/usr/share/pandora_server/util/ :

 # Migrate Log Data <7.0NG 712 to>= 7.0NG 712
 /usr/share/pandora_server/util/pandora_migrate_logs.pl /etc/pandora/pandora_server.conf

Para activar el sistema de visualización de logs debe activar la siguiente configuración (Setup → Setup → Enterprise):

Luego puede configurar el comportamiento del visor de logs en Configuration > Log Collector:

• Dirección IP o FQDN y puerto del servidor que aloja el servicio Elasticsearch
• Number of logs viewed: Para agilizar la respuesta de la consola se ha añadido la carga dinámica de registros. El usuario debe avanzar hasta el final de la página, lo que obliga a cargar el siguiente grupo de registros disponible, agrupados en el número definido aquí.
• Days to purge old information: Para evitar que el tamaño del sistema se sobrecargue, se puede definir un número máximo de días que se almacenará la información de logs; a partir de esa fecha se borrarán automáticamente en el proceso de limpieza de Pandora FMS.

En la configuración por defecto Pandora FMS genera un índice por día, el cual Elasticsearch se encarga de fragmentar y repartir para futuras búsquedas.

Para que estas búsquedas sean óptimas, por defecto Elasticsearch genera un índice por cada una de ellas, por lo que debemos configurar en nuestro entorno tantas búsquedas como nodos de Elasticsearch estén instalados.

Estas búsquedas y réplicas se configuran cuando se crea un índice, que Pandora FMS genera automáticamente, por lo que para modificar esta configuración debe hacer uso de las plantillas o templates.

Una fotografía instantánea, o simplemente instantánea (snapshot), de los datos (índices) es el mecanismo que las recientes versiones de Elastichsearch utilizan para realizar respaldo de datos. Estos snapshots se pueden utilizar para recuperar datos luego de una falla de hardware, para transferir datos entre nodos e incluso para sacar de el nodo o nodos los índices que sean poco utilizados (esto último requiere configuración adicional).

Dichos snapshots trabajan realizando respaldos de datos de forma incremental, es decir, copian solamente los datos nuevos que no han sido respaldados mientras que se garantiza que los respaldos ya realizados sean fidedignos y sean compatibles entre distintas versiones de Elasticsearch.

Los repositorios pueden ser propios o realizados por terceros (AWS S3®, Google Cloud Storage®, Microsoft Azure®) y en todo caso deben estar físicamente fuera del nodo o nodos que utilice de manera conjunta con Pandora FMS. Usted es el único responsable de dichos snapshots .

Consulte la documentación oficial de Elasticsearch para más información:

• https://www.elastic.co/guide/en/elasticsearch/reference/current/snapshot-restore.html

Se debe contar con un sistema de archivos de red (NFS) u otro tipo de filesystem compartido desde la(s) máquina(s) que albergará el repositorio Elasticsearch y el nodo o nodos del entorno.

Una vez haya instalado y configurado el NFS destino, proceda crear y montar un directorio en el nodo o nodos Elastisearch, por ejemplo puede ser llamado:

/mnt/pandorafms/elk_repo

Otorgue los permisos para el usuario elasticsearch:

chown elasticsearch:  /mnt/pandorafms/elk_repo

Debe declarar esta ruta en el fichero de configuración de Elasticsearch como ruta de repositorio en el nodo o nodos (todos los nodos):

path:
  repo:
   - /mnt/pandorafms/elk_repo

Cuando haya configurado el nodo o nodos deberá reiniciar el servicio elasticsearch (en todos los nodos):

systemctl start elasticsearch.service && systemctl status elasticsearch.service

Aparte de la interfaz de Elasticsearch en Pandora FMS también puede utilizar el comando curl para obtener información o comunicar órdenes al nodo o nodos Elastisearch. Para crear el repositorio ejecute de manera local en el nodo o nodos (todos los nodos) el siguiente comando:

curl -X PUT "localhost:9200/_snapshot/backup_repo?pretty" -H 'Content-Type: application/json' -d'
{
 "type": "fs",
 "settings": {
   "location": "/mnt/pandorafms/elk_repo/"
 }
}
'

Si utiliza un puerto distinto a 9200 sustiya con dicho valor.

Debe obtener el siguiente mensaje del nodo o nodos:

"acknowledged" : true

Lo cual indicará que el repositorio ha sido creado. Para verificar el estado del repositorio:

curl -X POST "localhost:9200/_snapshot/my_unverified_backup/_verify?pretty"

Sustituya my_unverified_backup por el nombre del repositorio a verificar. Si todo ha ido correctamente, recibirá una lista de los nodos en los que el repositorio está configurado.

Para tomar una instantánea manualmente, utilice la API de creación de snapshots. El nombre de la instantánea admite el uso de date math para dar un nombre único.

PUT _snapshot/my_repository/<my_snapshot_{now/d}>

Sustituya my_repository por el nombre de su repositorio y my_snapshot por el nombre de la instantánea. Si utiliza curl deberá utilizar caractéres de escape, por lo que el comando anterior quedaría de la siguiente manera:

PUT _snapshot/my_repository/%3Cmy_snapshot_%7Bnow%2Fd%7D%3E

Dependiendo de su tamaño, una instantánea puede tardar en completarse. Por defecto, la API de creación de instantáneas solo inicia el proceso de instantáneas, que se ejecuta en segundo plano. Para bloquear al cliente hasta que la instantánea termine, establezca el parámetro de consulta wait_for_completion en true.

PUT _snapshot/my_repository/my_snapshot?wait_for_completion=true

Para realizar un snapshot llamado: snapshot_today, puede ejecutar en uno de los nodos:

curl -X PUT "localhost:9200/_snapshot/backup_repo/snapshot_today?wait_for_completion=true&pretty"

Si utiliza un puerto distinto a 9200 sustiya con dicho valor.

Con el parámetro wait_for_completion=true la llamada quedará activa hasta que termine el proceso (puede tardar un poco de tiempo, dependiendo del tamaño de la base de datos).

En cuanto termine, devolverá en formao JSON la información de resumen del proceso, será algo similar a esto:

También es posible definir opciones específicas en la ejecución del snapshot como los índices a incluir o metadatos, para más detalles visite:

• https://www.elastic.co/guide/en/elasticsearch/reference/current/create-snapshot-api.html

Ejemplo:

curl -X PUT "localhost:9200/_snapshot/backup_repo/snapshot_2?wait_for_completion=true&pretty" -H 'Content-Type: application/json' -d'
{
 "indices": "pandorafms*",
 "metadata": {
   "taken_by": "PandoraFMS admin user",
   "taken_because": "backup before upgrading"
 }
}
'

Para obtener una lista de todos los snapshots almacenados puede ejecutar el comando:

curl -X GET "localhost:9200/_snapshot/backup_repo/*?pretty"

Donde backup_repo es la id del repositorio y * representa a todo. Para más información sobre filtros de búsqueda de snapshots en Elasticsearch visite:

• https://www.elastic.co/guide/en/elasticsearch/reference/current/get-snapshot-api.html

Para borrar un snapshot debe obtener su nombre del comando anterior y luego ejecutar en uno de los nodos:

curl -X DELETE "localhost:9200/_snapshot/backup_repo/snapshot_today?pretty"

Para restaurar un índice se debe hacer de alguna de estas dos maneras:

1. Eliminar el índice original antes de restaurar.
2. Renombrar el índice restaurado.

A continuación se presentan ambos casos utilizando como ejemplo backup_repo para el nombre del repositorio y snapshot_today para el nombre de la instantánea.

• Borrar y restaurar:

La forma más sencilla de evitar conflictos es borrar un índice o flujo de datos existente antes de restaurarlo.

Para borrar un índice:

curl -X DELETE "localhost:9200/my-index?pretty"

Para restaurar un índice:

curl -X POST "localhost:9200/_snapshot/backup_repo/snapshot_today/_restore?pretty" -H 'Content-Type: application/json' -d'
{
 "indices": "my-index,logs-my_app-default"
}
'

• Renombrar al restaurar

  Asegurese de tener suficiente espacio de almacenamiento para esta operación.

  
  

De esta manera repetirá la información que ya tenga almacenada y en algunos escenarios puede ser útil este proceso, por ejemplo:

• Necesita confirmar que se haya realizado una recuperación correcta de datos. Cada uno de los índices y su copia renombrada deberá contener la misma información y arrojar los mismos resultados en sendas búsquedas.
• Validar auditorías de datos realizadas por terceros.

curl -X POST "localhost:9200/_snapshot/backup_repo/snapshot_today/_restore?pretty" -H 'Content-Type: application/json' -d'
{
 "indices": "my-index,logs-my_app-default"
  "rename_pattern": "(.+)",
  "rename_replacement": "restored-$1"
}
'

En el caso de querer restaurar un nodo entero con todos sus índices se recomienda parar los servicios de indexación antes de la ejecución de la restauración, para más información sobre este tema visite:

• https://www.elastic.co/guide/en/elasticsearch/reference/current/snapshots-restore-snapshot.html#restore-entire-cluster

En una herramienta de recolección de logs interesan principalmente dos características: el poder buscar información -filtrando por fecha, fuentes de datos y/o palabras clave, etc.- y poder visualizar esa información dibujada en ocurrencias por unidad de tiempo. En este ejemplo, se buscan todos los mensajes de log de todos los orígenes en la última hora; fije su atención en Search, Start date y End date:

Vista de ocurrencias a lo largo del tiempo

El campo más importante -y útil- será la cadena a buscar a introducir en el cuadro de texto Search en combinación con los tres tipos de búsqueda disponibles ( Search mode ).

Exact match

Búsqueda de cadena literal, el log contiene una coincidencia exacta.

All words

Búsqueda que contenga todas las palabras indicadas, independientemente del orden en una misma línea de log (tenga en cuenta, en lo sucesivo, que cada palabra está separada por espacios).

Any word

Búsqueda que contenga alguna de las palabras indicadas, independientemente del orden.

Si marca la opción de ver el contexto del contenido filtrado, obtendrá una vista general de la situación con información de otras líneas de logs relacionadas con la búsqueda:

Con esta característica se puede mostrar de manera gráfica las entradas de log, clasificando la información en base a modelos de captura de datos.

Estos modelos de captura de datos son básicamente expresiones regulares e identificadores que permiten analizar los orígenes de datos y mostrarlos como un gráfico.

Para acceder a las opciones avanzadas pulse en Advanced options. Se mostrará un formulario donde podrá elegir el tipo de vista de resultados:

• Mostrar entradas de log (texto plano).
• Mostrar gráfica de log.

Bajo la opción mostrar gráfica de log (Display mode) podrá seleccionar el modelo de captura (Use capture model).

El modelo por defecto, Apache log model, ofrece la posibilidad de procesar o parsear logs de Apache en formato estándar (access_log), pudiendo extraer gráficas comparativas de tiempo de respuesta, agrupando por página visitada y código de respuesta:

Bien puede pulsar el botón de editar , o el botón de crear para realizar un nuevo modelo de captura.

Capture regexp

Una expresión regular de captura de datos, cada campo a extraer se identifica con la subexpresión entre paréntesis (expresión a capturar).

Fields

Campos en el orden en que los hemos capturado con la expresión regular. Los resultados se agruparán por la concatenación de los campos clave (key) y valores (value), que son aquellos cuyo nombre no esté entre guiones bajos:

key, _value_

key1,key2,_value_

key1,_value_,key2

Observación: Si no especifica un campo valor, será automáticamente el conteo de apariciones que coinciden con la expresión regular.

Observación 2: Si especifica una columna valor podrá elegir entre representar el valor acumulado (comportamiento por defecto) o marcar la casilla de verificación para representar el promedio.

Ejemplo

Extraer entradas de un log con el siguiente formato:

 Sep 19 12:05:01 nova systemd: Starting Session 6132 of user root.
 Sep 19 12:05:01 nova systemd: Starting Session 6131 of user root.

Para contar el número de veces que han iniciado sesión, agrupando por usuario:

Expresión regular:

Starting Session \d+ of user (.*?)\.

Campos:

username

Este modelo de captura devolverá el número de inicios de sesión por usuario del intervalo de tiempo que seleccione:

La recolección de logs se hace mediante los agentes, tanto en el agente para Microsoft Windows® como en los agentes Unix® (Linux®, MacOsX®, Solaris®, HPUX®, AIX®, BSD®, etc). En el caso de los agentes Windows, también se puede obtener información del visor de eventos del sistema operativo, utilizando los mismos filtros que en el módulo de monitorización del visor de eventos.

Se podrán realizar ejecuciones del tipo de las que se muestran a continuación:

Módulo logchannel

module_begin
module_name MyEvent
module_type log
module_logchannel
module_source <logChannel>
module_eventtype <event_type/level>
module_eventcode <event_id>
module_pattern <text substring to match>
module_description <description>
module_end

Módulo logevent

module_begin
module_name Eventlog_System
module_type log
module_logevent
module_source System
module_end

Módulo regexp

module_begin
module_name PandoraAgent_log
module_type log
module_regexp <%PROGRAMFILES%>\pandora_agent\pandora_agent.log
module_description This module will return all lines from the specified logfile
module_pattern .*
module_end

Para más información sobre la descripción de módulos de tipo log puede consultar la siguiente sección referente a Directivas específicas.

module_type log

Al definir este tipo de etiqueta, module_type log, se indica que no almacene en base de datos, sino que se envíe al colector de log. Cualquier módulo con este tipo de dato se mandará al colector, siempre y cuando esté habilitado: en caso contrario se descartará la información.

Nota: Esta nueva sintaxis es válida para el agente con versión 5.0 o superior, recuerde mantener actualizada su versión Enterprise.

Con el agente versión 5.0 o superior, puede usar la siguiente sintaxis.

module_plugin grep_log_module /var/log/messages Syslog \.\*

Similar al plugin de parseo de logs (grep_log), el plugin grep_log_module envía la información procesada del log al Colector de logs con el nombre de “Syslog” como origen. Utiliza la expresión regular \.\* (en este caso “todo”) como patrón a la hora de elegir qué líneas enviamos y cuáles no.

A partir de la versión 749 de Pandora FMS, se ha añadido en la Vista del agente un cuadro llamado Log sources status, en el cual aparecerá la fecha de la última actualización de los logs por parte de ese agente. Al pulsar en el icono de la lupa de Review, redirige a la vista del Log Viewer filtrada por ese log.

Volver a Indice de Documentacion Pandora FMS