Hola :-) Estoy utilizando un agente para hacer la monitorizacion de URLs con el comando "curl". Hice 2 políticas: - Tiempo de respuesta - Disponibilidad Cada politica tiene casi 200 modulos (1 modulo para cada URL). He aplicado las 2 políticas para un agente (400 modulos), se quedando responsable por la monitorizacion web. Mi pregunta es si hay algun limite maximo de modulos por agente. Pregunto eso pues estoy mirando algunos comportamientos raros de algunos modulos cuando hay las 2 politicas aplicadas para ese agente. Saludos!
Cantidad maxima de modulos por agente
Robas · 28 ene 2011, 21:59 · 20 mensajes · 68 visitas
- Inicio del debate
Buenos días Robas, Más que un límite de módulos para cada agente, hay un límite de módulos para cada servidor, ya que si los módulos son remotos, estos son ejecutados por los diferentes servidores de Pandora. Para el servidor de Pandora, podemos monitorizar aproximadamente unos 50000 módulos. ¿Lo estás haciendo mediante módulos remotos o módulos de agente software? Saludos.
Los modulos que dice son ejecutados en el agente, la línea de comando es algo así: $ curl (El contenido ya no está disponible) -s | grep -i "cadena buscada" | wc -l Pregunté si hay algun limite en el numero de modulos porque a veces la salida del comando ejecutado por el agente es distinta de la salida del comando ejecutado directamente en la línea de comando (que raro!). Alguna idea de cómo hacer algo como un debug?
Hola, Pues en principio el número de módulos es "ilimitado" ya que el límite lo pone la máquina al ejecutar los módulos. Los módulos van ejecutándose uno a uno y generando el XML, pero deberían recoger los mismos datos que al ejecutarlo desde la línea de comandos. Saludos.
Luismi, sobre esa cantidad de 50.000 modulos / servidor. Hay alguna relación con la frecuencia de monitorización?
No, la frecuencia con la que envíen los agentes los datos recogidos no debería afectar a la monitorización. En caso extremo, el agente se volvería a ejecutar antes de terminar la ejecución de los módulos de la ejecución anterior. En casos normales no debería afectar. Saludos.
Estaba pensando, hay alguna manera de un agente ejecutar sus modulos en paralelo? Por ejemplo utilizando 2 threads para ejecutar los modulos. Es que a veces el curl se queda detenido en una URL hasta el timeout establecido, si había alguna manera de ejecutar más 1 curl al mismo tiempo seria genial. Saludos.
Hola Robas, Se puede hacer que el agente utilice un número de hilos determinado para ejecutar los módulos en paralelo: Para ello basta con editar el archivo de configuración del agente /etc/pandora/pandora_agent.conf y modificar el parámetro:
#agent_threads 1Aquí determinas el número de hilos que lanzará el agente para ejecutar los módulos. Por defecto viene desactivado y ejecutando los módulos uno detrás de otro en un único hilo. Eso sí, este parámetro solo está disponible para agentes Unix.
Hmmm, que bueno :-) He intentado en un linux y me parece que en las primeras veces que ha ejecutado (primeros modulos), ha utilizado más de 1 hilo (ejecutando más de 1 modulo al mismo tiempo)... pero en las ejecuciones posteriores parece que la ejecución se quedo serializada. Mira el ejemplo en anejo. El primero "ps" nos muestra 1 comando curl en la URL: sh -c curl (El contenido ya no está disponible) -s | grep -i "TVA" | wc -l 2> /dev/null El segundo "ps" nos muestra que tenemos 2 curls ejecutando: sh -c curl (El contenido ya no está disponible) -s | grep -i "TVA" | wc -l 2> /dev/null sh -c curl (El contenido ya no está disponible) -s | grep -i "Portal" | wc -l 2> /dev/null El tercero "ps" nos muestra el primero curl detenido en la primera url esperando que conteste y un otro comando curl ejecutando en una nueva URL: sh -c curl (El contenido ya no está disponible) -s | grep -i "TVA" | wc -l 2> /dev/null sh -c curl (El contenido ya no está disponible) -s | grep -i "Portal" | wc -l 2> /dev/null El cuarto "ps" nos muestra el primero curl aun detenido y otro curl ejecutando una nueva URL: sh -c curl (El contenido ya no está disponible) -s | grep -i "TVA" | wc -l 2> /dev/null sh -c curl (El contenido ya no está disponible) -s | grep -i "XMLSchema" | wc -l 2> /dev/null Hasta aquí todo bien, pero ahora se ejecuta un solo comando curl, como se tuviéramos un solo hilo. Mi intención es justo esa: encuanto un hilo quedarse detenido en una URL que tarda a contestar, los otros hilos se quedan libres para acceder a las otras URLs. Tiene alguna idea de porque los hilos se ejecutaban OK, pero despues pasó a ejecutar solo 1 hilo? Muchas gracias por la ayuda! :-)
Buenos días Robas, Podría ser que los procesos estén terminando justo cuando se empiezan a ejecutar otros. Con esa prueba no se puede determinar exactamente el correcto funcionamiento de los hilos. Para hacer la prueba de forma más exhaustiva, prueba a ejecutar diferentes sleep. Con lo que sea nos cuentas. Saludos.
Buenos días, Voy a hacer esta prueba :-) Saludos! Obs: En la secuencia de comandos que he anejado, hice una limpieza... dejando solo los "ps -ef" con retornos distintos... o sea, estaba ejecutando 1 "ps -ef" por segundo, tuve muchos retornos iguales y en ningun de esos estaba más de 1 URL siendo accedida... por eso he pensado que no había manera de los hilos acabaren justo cuando otro empezava.
Hola Luismi, Hice una politica con 3 modulos con tiempos distintos de sleep, para vermos facilmente la diferencia entre ellos por el "ps -ef" Política: Somnífero Módulo 1: sleep 10 Módulo 2: sleep 9 Módulo 3: sleep 8 Anejado está el dump de los "ps -ef". He probado con "agent_threads 1" y "agent_threads 3", pero me parece que solo 1 hilo esta ejecutando. Obs: ahora no he limpiado el log de la ejecución, hice algunos "ps -ef" durante la ejecución de cada modulo, para chequear si algun otro hilo había empezado a ejecutar.
Hola Robas, Sí, efectivamente he estado haciendo las mismas pruebas y la ejecución con diferentes hilos se realiza siempre en la primera ejecución después de iniciar el agente, pero las siguientes ejecuciones las hace sobre un único hilo. He abierto el bug en el tracker y se solucionará para próximas versiones. De todas maneras, te adjunto el demonio del agente modificado y que funciona bien con todos los hilos de ejecución que configures. Para el servicio del agente de pandora, sustituye el demonio que tienes ahora, que por defecto está en /usr/bin/pandora_agent y /usr/share/pandora_agent por el modificado e inicia de nuevo el agente de pandora. Saludos.
Hola Luismi, Muchas gracias :-) He probado y con esa versión que me ha enviado está perfecto... la cantidad exacta de hilos son creados y recreados despues de la primera ejecución. Saludos!
Hola Luismi, Hay alguna cantidad maxima de hilos?? Algo raro esta pasando: tengo 278 modulos, pero 155 estan como unknown... He puesto 15 y despues 10 hios... los modulos se ejecutan bién, pero en un determinado momento los hilos van morriendo y la ejecución para, reporta al server, pero, más de metade de los modulos no son ejecutados. Que raro! Actualmente estan aplicadas 2 politicas... voy probar solo con 1 politica.. despues solo con la otra.. y si todo ocurrir bien, poneré las 2 juntas.. i'll let you know Alguna idea de pruebas que podemos hacer?? Muchas Gracias por la ayuda!! Saludos.
Hmmm, mira lo que tenemos en pandora_agent.log: Thread creation failed: pthread_create returned 11 at /usr/bin/pandora_agent line 1402.
El número máximo de hilos son unos 15 hilos, aunque no te aconsejo poner tanto ya que no por tener más hilos el agente ejecutará antes todos los módulos ya que los cambios de contexto también consumen tiempo. Yo te aconsejaría poner por ejemplo 4 o 5 hilos para ejecutar todos los módulos. El error ese puede ser causado al manejar más hilos de los que soporta. Un saludo.
Hola Luismi, Probé lo sugerido pero el agente no esta bien.. he puesto 4 threads, 3 threads, 2 threads, rearrancado el agente, pero no se ejecuta normalmente. El numero de modulos ejecutados esta cada vez más bajo... ahora mismo creo que ningun modulo esta ejecutando.. en el log tenemos la línea "Thread creation failed: pthread_create returned 11 at /usr/bin/pandora_agent line 1402." Alguna idea?
Buenos días Robas, Hemos replicado una situación parecida con muchos módulos y con algunos threads y efectivamente se da el mismo comportamiento que describes. Hemos vuelto ha hacer algunos cambios al demonio del agente de pandora y lo hemos comprobado para el mismo caso, obteniendo buen resultado. Igual que la vez anterior, para el servicio del agente de pandora y sustituye el demonio que tienes (/usr/bin/pandora_agent y /usr/share/pandora_agent) por el nuevo que subo e inicia de nuevo el agente de pandora. Cuando lo pruebes nos cuentas. Saludos.
Buenos días Luismi, Voy reemplazar el demonio y le cuento :-) Muchas Gracias!! Saludos.
Entra en tu cuenta para publicar.
