Difference between revisions of "Pandora: Documentation es: Netflow"

From Pandora FMS Wiki
Jump to: navigation, search
(Introducción)
 
(Configuración)
Line 172: Line 172:
 
<br>
 
<br>
  
 +
Las siguientes opciones de configuración están disponibles:
 +
* '''Data storage path''': Directorio donde se almacenarán los ficheros de datos de netflow.
 +
* '''Daemon interval''': Intervalo de tiempo en segundos después del cual se rotan los ficheros de datos.
 +
* '''Daemon binary path''': Ruta al binario de nfcapd.
 +
* '''Nfdump binary path''': Ruta al binario de nfdump.
 +
* '''Maximum chart resolution''': Número máximo de puntos que mostrará una gráfica de área de netflow. Cuanto más alta la resolución peor el rendimiento. Se recomiendan valores entre 50 y 100.
  
 
Una vez que se configura el netflow y se activa, habrá que reiniciar el servidor de Pandora para que éste levante el servidor ''nfcpad''. Este debe estar accesible en el path del sistema y correctamente instalado antes de intentar arrancarlo. Compruebe los logs del servidor ante cualquier duda. Note que no aparecerá como servidor en la vista de servidores de Pandora, ya que no es un servidor de Pandora.
 
Una vez que se configura el netflow y se activa, habrá que reiniciar el servidor de Pandora para que éste levante el servidor ''nfcpad''. Este debe estar accesible en el path del sistema y correctamente instalado antes de intentar arrancarlo. Compruebe los logs del servidor ante cualquier duda. Note que no aparecerá como servidor en la vista de servidores de Pandora, ya que no es un servidor de Pandora.

Revision as of 15:42, 22 January 2013

Volver a Indice de Documentacion Pandora FMS

1 Netflow

1.1 Introducción

A partir de la versión 5.0, Pandora FMS es capaz de monitorizar el tráfico IP haciendo uso del protocolo NetFlow. Permite mostrar patrones y datos generales del tráfico que resultan de gran utilidad.

NetFlow es un protocolo de red, desarrollado por Cisco Systems para recolectar información sobre tráfico IP. Netflow se ha convertido en un estándar de la industria para monitorización de tráfico de red, y actualmente se está soportado para varias plataformas además de Cisco IOS y NXOS, como por ejemplo en dispositivos de fabricantes como Juniper, Enterasys Switches, y en sistemas operativos como Linux, FreeBSD, NetBSD y OpenBSD.



Netflow architecture.png



1.1.1 Flujo de red

Los dispositivos con Netflow habilitado, cuando activan la característica de Netflow, generan "registros de netflow" que consisten en pequeños trozos de información que envian a un dispositivo central o servidor de Netflow (o colector Netflow), que es quien recibe información de los dispositivos (o sondas Netflow) y la almacena y procesa.

Esa información se transmite mediante el protocolo netflow, basado en UDP o SCTP. Cada registro de netflow es un paquete pequeño que contiene una capacidad minima de información, pero en ningún caso contiene los datos crudos o en bruto del tráfico, es decir, no envia el "payload" del tráfico que circula por el colector sino sólo datos estadísticos.

Existen varias diferencias entre la version de implementación del Netflow original, por lo que algunas versiones incorporan algunos datos más, pero en líneas generales, el Netflow basico envia al menos la siguiente información.

A network flow has been defined in many ways. The traditional Cisco definition is to use a 7-tuple key, where a flow is defined as a unidirectional sequence of packets all sharing all of the following 7 values:

  • Dirección IP de origen.
  • Dirección IP de destino.
  • Puerto UDP o TCP de origen.
  • Puerto UDP o TCP de destino.
  • Protocolo IP.
  • Interfaz (SNMP ifIndex)
  • Tipo de servicio IP

Con el tiempo, otros fabricantes han diseñado sistemas silimares para sus dispositivos de red, con diferentes nombres pero propósito similar

  • Jflow o cflowd de Juniper Networks
  • NetStream de 3Com/H3C|HP
  • NetStream de Huawei
  • Cflowd de Alcatel Lucent
  • Rflow de Ericsson
  • AppFlow
  • sFlow

1.1.2 Colector Netflow

Se trata de un dispositivo (PC o servidor) ubicado en la red para recoger toda la información de NetFlow que es enviada desde los routers y switches.

NetFlow genera y recoge esta información, pero se necesita un software que permita almacenar y analizar dicho tráfico. Con Pandora FMS, utilizaremos un servidor especial para este propósito, que Pandora FMS levanará y parará cuando se arranque pandora. Este servidor, se llama nfcapd y es necesario instalarlo para poder usar monitorización Netflow.

1.1.3 Sonda Netflow

Las sondas son generalmente Routers con el netflow habilitado, configurado, y enviando información al colector Netflow (que en este caso será el servidor de Pandora con el demonio nfcapd habilitado.



NewNetFlowApproach.png



1.2 Requisitos e instalación

Pandora FMS utiliza una herramienta OpenSource llamada nfcapd para procesar todo el trafico netflow. Este demonio lo levanta de forma automática el servidor de Pandora FMS. Este sistema almacena los datos en ficheros binarios, en una ubicación determinada. Debe instalar nfcapd en su sistema antes de proder trabajar con Netflow en Pandora. nfcapd por defecto escucha en el puerto 9995/UDP. Tengalo en cuenta si tiene firewalls para abrir este puerto y a la hora de configurar sus sondas Netflow.

1.2.1 Instalacion de nfcapd

La instalacion de nfcapd requiere que usted se instale nfcapd por su cuenta, Pandora FMS no lo instalará. Para más información, vaya a la página oficinal del proyecto nfcapd

Pandora por defecto, usa el directorio /var/spool/pandora/data_in/netflow para procesar la informacion. Cuando arranque nfcapd utilizará este directorio. No lo modifique si no sabe exactamente qué está haciendo.

Es necesario que instale la version 1.6 de nfdump para poder usarla con Pandora FMS.

Para testear su funcionamiento de forma manual:

Ejemplo:

nfcapd -l /var/spool/pandora/data_in/netflow -D

Tenga en cuenta que es necesario que Pandora FMS, y en concreto, el servidor WEB que ejecuta la consola, tenga acceso a esos ficheros de datos, en este ejemplo, en /var/spool/pandora/data_in/netflow.

1.2.2 Instalación de sondas

Si no dispone de un router con Netflow, pero su tráfico "pasa" por un sistema Linux, puede instalar un software que actúe de sonda, y envíe información de tráfico Netflow al colector.

En Linux existe un programa llamado fprobe que captura el tráfico y lo reenvia a un servidor NetFlow. Con el puede generar tráfico Netflow, de todo el tráfico de red que pasa por sus interfaces, p.e:

/usr/sbin/fprobe -ieth0 -fip 192.168.70.185:9995

Una vez generado tráfico, podrá ver estadísticas de este tráfico con el comando:

nfdump -S -R /var/spool/pandora/data_in/netflow

Que debe mostrarle informacion similar a la siguiente:


Aggregated flows 1286
Top 10 flows ordered by packets:
Date flow start          Duration Proto      Src IP Addr:Port          Dst IP Addr:Port   Packets    Bytes Flows
2011-12-22 20:41:35.697   901.035 TCP     192.168.60.181:50935 ->     192.168.50.2:22        2105   167388     4
2011-12-22 20:41:35.702   900.874 TCP       192.168.50.2:22    ->   192.168.60.181:50935     1275   202984     4
2011-12-22 20:48:15.057     1.347 TCP       157.88.36.34:80    ->    192.168.50.15:40044      496   737160     1
2011-12-22 20:48:14.742     1.790 TCP     91.121.124.139:80    ->    192.168.50.15:60101      409   607356     1
2011-12-22 20:46:02.791    76.616 TCP      192.168.50.15:80    ->   192.168.60.181:40500      370   477945     1
2011-12-22 20:48:15.015     1.389 TCP      192.168.50.15:40044 ->     157.88.36.34:80         363    22496     1
2011-12-22 20:46:02.791    76.616 TCP     192.168.60.181:40500 ->    192.168.50.15:80         303    24309     1
2011-12-22 20:48:14.689     1.843 TCP      192.168.50.15:60101 ->   91.121.124.139:80         255    13083     1
2011-12-22 20:48:14.665     1.249 TCP     178.32.239.141:80    ->    192.168.50.15:38476      227   335812     1
2011-12-22 20:48:21.350     0.713 TCP     137.205.124.72:80    ->    192.168.50.15:47551      224   330191     1  

Top 10 flows ordered by bytes:
Date flow start          Duration Proto      Src IP Addr:Port          Dst IP Addr:Port   Packets    Bytes Flows
2011-12-22 20:48:15.057     1.347 TCP       157.88.36.34:80    ->    192.168.50.15:40044      496   737160     1
2011-12-22 20:48:14.742     1.790 TCP     91.121.124.139:80    ->    192.168.50.15:60101      409   607356     1
2011-12-22 20:46:02.791    76.616 TCP      192.168.50.15:80    ->   192.168.60.181:40500      370   477945     1
2011-12-22 20:48:14.665     1.249 TCP     178.32.239.141:80    ->    192.168.50.15:38476      227   335812     1
2011-12-22 20:48:21.350     0.713 TCP     137.205.124.72:80    ->    192.168.50.15:47551      224   330191     1
2011-12-22 20:48:15.313     1.603 TCP       89.102.0.150:80    ->    192.168.50.15:52019      212   313432     1
2011-12-22 20:48:14.996     1.433 TCP     212.219.56.138:80    ->    192.168.50.15:36940      191   281104     1
2011-12-22 20:51:12.325    46.928 TCP      192.168.50.15:80    ->   192.168.60.181:40512      201   245118     1
2011-12-22 20:52:05.935    34.781 TCP      192.168.50.15:80    ->   192.168.60.181:40524      167   211608     1
2011-12-22 20:41:35.702   900.874 TCP       192.168.50.2:22    ->   192.168.60.181:50935     1275   202984     4

Summary: total flows: 1458, total bytes: 5.9 M, total packets: 15421, avg bps: 49574, avg pps: 15, avg bpp: 399
Time window: 2011-12-22 20:40:46 - 2011-12-22 20:57:21
Total flows processed: 1458, Records skipped: 0, Bytes read: 75864
Sys: 0.006s flows/second: 208345.2   Wall: 0.006s flows/second: 221177.2  

Si tiene este sistema funcionando, lo siguiente será configurar Pandora FMS para que utilice esta configuración.


1.3 Como operar con Netflow en Pandora

Pandora FMS trabaja con los flujos como un sistema auxiliar, es decir, no almacena la información de los flujos en la base de datos. Pandora muestra información de los flujos como informes solicitados bajo demanda.

Pandora opera con los flujos usando el concepto de "Filtro" que es un conjunto de reglas para especificar un tráfico determinado, estas reglas pueden ser algo tan sencillo como "Todo el tráfico de la red 192.168.70.0/24" o algo mas complejo, p.e. usando expresiones pcap.

Una vez definidos los filtros, definiremos los informes, que son, como queremos ver los datos (graficos, listas...) y en que intervalo de tiempo. Al definir filtros e informes, dejamos definida esa información, de forma similar a como se opera con los informes de Pandora, para utilizarla -bajo demanda- cuando queramos.

Los informes Netflow aparecerán también como "tipo de informe" en la seccion de Informes generales de Pandora, para poderlos "incorporar" también a los informes "normales" de Pandora.

Por otro lado, disponemos de una consola de "tiempo real" para analizar el tráfico, componiendo directamente las reglas, útil para investigar problemas, ver graficas puntuales que no corresponden a un filtro determinado etcétera.

1.3.1 Version enterprise: Análisis en Pandora

La versión Enterprise incorpora una pequeña funcionalidad, que permite incorporar el tráfico de un flujo, cada X tiempo como módulo de datos de Pandora. Esto permite establecer alertas sobre sus valores, mostrarlo en gráficas combinadas, o trabajar con él, como si fuera otro módulo más de Pandora. Para ver más sobre este punto, puede leerlo en la seccion: Monitorización Netflow con Prediction server

1.3.2 Configuración

En primer lugar, hay que habilitar Netflow para que sea accesible desde los menús Operación y Administración. En la opcion de configuracion (menu administracion) hay una opcion para habilitarlo de deshabilitarlo globalmente. Una vez activado, aparecerá una nueva ocpion de configuración de Netflow en la seccion de configuración.



Netflow manager0.png



En el menú Administración, dentro de Configuración, encontramos la opción Netflow en la que especificaremos la ruta en la que se encuentran los ficheros capturados del tráfico Netflow. Por ejemplo: /tmp/netflow. También es importante comprobar que la ruta al demonio nfcapd es correcta.



Netflow manager.png



Las siguientes opciones de configuración están disponibles:

  • Data storage path: Directorio donde se almacenarán los ficheros de datos de netflow.
  • Daemon interval: Intervalo de tiempo en segundos después del cual se rotan los ficheros de datos.
  • Daemon binary path: Ruta al binario de nfcapd.
  • Nfdump binary path: Ruta al binario de nfdump.
  • Maximum chart resolution: Número máximo de puntos que mostrará una gráfica de área de netflow. Cuanto más alta la resolución peor el rendimiento. Se recomiendan valores entre 50 y 100.

Una vez que se configura el netflow y se activa, habrá que reiniciar el servidor de Pandora para que éste levante el servidor nfcpad. Este debe estar accesible en el path del sistema y correctamente instalado antes de intentar arrancarlo. Compruebe los logs del servidor ante cualquier duda. Note que no aparecerá como servidor en la vista de servidores de Pandora, ya que no es un servidor de Pandora.

1.4 Filtros

La creación y edición de filtros se encuentra en "Administración / Netflow / Filters". En ésta vista, encontramos un listado de los filtros ya creados que pueden ser modificados y borrados.

Los filtros Netflow permiten definir unas características que explicamos a continuación.

  • Nombre: Es aconsejable que el nombre del filtro sea descriptivo.
  • Grupo: Un usuario solo podrá crear un filtro o editar un filtro de un grupo al que tenga acceso.
  • Filtros: Existen dos tipos de filtros, básico y avanzado. El filtro avanzado permite introducir expresiones avanzadas en el mismo formato que nfdump. El filtro básico permite filtrar el tráfico por ip origen, ip destino, puerto origen y puerto destino. Son válidas las listas de Ips y puertos separados por comas.
  • Agregado: El tráfico se agrupará siguiendo alguno de éstos criterios:

IP Origen: se muestra el tráfico para cada IP de origen diferente.
IP Destino: se muestra el tráfico para cada IP de destino diferente.
Puerto Origen: se muestra el tráfico para cada puerto de origen diferente.
Puerto Destino: se muestra el tráfico para cada puerto de destino diferente.
Protocolo: se muestra el tráfico para cada protocolo diferente.
Ninguno: (los datos serán totalizados).

  • Formato de salida: El resultado puede ser mostrado en:

Paquetes.
Bytes.
Bits por segundo.
Bytes por paquete.

Ejemplo de filtro básico para tráfico web:



Netflow filter normal.png



Ejemplo de filtro avanzado para tráfico desde y hacia una intranet:



Netflow filter advanced.png



1.5 Informes

La creación y edición de informes se encuentra en "Administración / Netflow / Manage Reports". En ésta vista, encontramos un listado de los informes ya creados que pueden ser modificados y borrados.

Cuando creamos un informe, hay que definir aspectos generales como son: Nombre, Grupo y Descripción.



800px



Una vez guardado, podemos añadir elementos a éste informe accediendo al editor de elementos o al listado de elementos que se encuentran en la parte superior derecha. Con la creación de elementos podemos definir:

  • Intervalo: periodo de tiempo que se muestra.
  • Filtro: seleccionar filtro creado previamente (apartado Filtros).
  • Max. valor agregado: En el caso de que el filtro contenga agregado, se establece el número máximo de valores que se van a mostrar.
  • Elementos: Tipo de gráfica o tabla. Si en el filtro se ha seleccionado un agregado, el tipo de elemento puede ser: gráfica de área, gráfica de tarta, tabla de valores y suma por periodo. Si por el contrario, no hay agregado seleccionado (totalizado), el tipo de gráfica debe ser únicamente de área.

Se pueden seleccionar tantos elementos como se quiera para elaborar el informe.



800px



1.6 Visualización de informes

Para visualizar los informes que se han creado, accedemos a "Operation / Netflow". Aparece una lista de informes en la que seleccionamos el que nos interesa consultar. La fecha e intervalo del informe pueden ser modificados en esta vista.



800px



1.7 Vista en tiempo real

Los filtros se pueden visualizar en tiempo real desde "Operation / Netflow / Live view". Esta herramienta permite visualizar los cambios que se realizan en un filtro y guardarlo una vez se obtenga el resultado deseado. También es posible cargar y modificar filtros ya existentes.

Netflow live view.png



Volver a Indice de Documentacion Pandora FMS