Recostackción de loggings de varios serveres de forma tolerante a fallos

el requisito principal que tengo es poder ver y hacer búsquedas simples en loggings combinados de múltiples máquinas. Sin embargo, me gustaría que la solución tuviera un impacto mínimo en el rest del sistema (básico). No tengo ningún requisito en time real, el process puede ser asynchronous.

Inicialmente syslog parecía una buena opción, pero ¿qué pasa si el server syslog muere? En el peor de los casos, el usuario del sistema central ve errores, en el mejor de los casos algunos loggings se pierden.

Así que comencé a mirar alnetworkingedor y encontré Logstash ( http://logstash.net/ ). Actualmente mi idea es:

  • en cada server (que está ejecutando los componentes principales del sistema) hay un agente Logstash ejecutando
  • el agente monitores registra files y los envía a un clúster ElasticSearch
  • hay otro server con la interfaz de usuario Logstash

De esa manera:

  • no hay punto único de fracaso
  • incluso si el clúster de ES se muere, sólo los agentes se verán afectados – la aplicación seguirá felizmente escribir loggings en files
  • después de que ES vuelva, el agente (esperanzadamente) alcanzará para arriba y enviará todos los loggings pendientes (es Logstash bastante inteligente hacer eso?)

¿Crees que esto funcionará? ¿O tal vez podría recomendar otra solución?

2 Solutions collect form web for “Recostackción de loggings de varios serveres de forma tolerante a fallos”

Rsyslog tiene algunas de las funcionalidades que está describiendo y el proyecto también tiene un montón de documentation sobre el reenvío de posts confiable .

En resumen, con rsyslog puede utilizar el protocolo RELP para el reenvío de posts syslog fiable y, a continuación, no tiene que preocuparse por la pérdida de posts. Y también tiene la opción de configurar files de queue locales, donde rsyslog almacenará posts en el caso de que el server remoto esté inactivo. Una vez que el control remoto regrese, su agente se pondrá al día.

También tiene la opción de configurar rsyslog para escribir en una database relacional y, a continuación, puede hacer que la database sea networkingundante como desee (personalmente encuentro un server syslog más fácil de agrupar).

Esta pregunta es muy probable que va a ser cerrado como fuera de tema, consulte las preguntas frecuentes.

Independientemente, syslog (o cualquier sistema basado en syslog) debería funcionar bien, después de todo si le preocupa perder loggings, asegúrese de hacer una copy de security del server syslog como parte de su escenario DR normal. Es una tarea / request muy sencilla.

  • ¿Cómo configurar JBoss AS 7 para iniciar session en syslog?
  • ¿Cómo puedo reenviar loggings de acceso antiguos a un nuevo destino de syslog (networkinghat)?
  • ¿Puede Rsyslog procesar posts antes de savelos?
  • El server se bloquea los domingos a las 6 am - sin memory
  • ¿Cómo configurar SYSLOG en Centos para más de 8 dispositivos?
  • audisp-remote señal USR1 funciona como root, no con sudo
  • la rotation de syslog no funciona
  • El filtrado de syslogd no funciona en FreeBSD
  • Detener crontab de llenar syslog Ubuntu 15.04
  • SNMPD no se enlaza correctamente
  • rsyslog - regex problema
  • Solaris syslog.conf. ¿Qué son root y operator?
  • Detenga posts de Munin desde / var / log / syslog
  • El linux y los temas del servidor de Windows, como ubuntu, centos, apache, nginx, debian y consejos de red.