Recostackción de loggings de varios serveres de forma tolerante a fallos

el requisito principal que tengo es poder ver y hacer búsquedas simples en loggings combinados de múltiples máquinas. Sin embargo, me gustaría que la solución tuviera un impacto mínimo en el rest del sistema (básico). No tengo ningún requisito en time real, el process puede ser asynchronous.

Inicialmente syslog parecía una buena opción, pero ¿qué pasa si el server syslog muere? En el peor de los casos, el usuario del sistema central ve errores, en el mejor de los casos algunos loggings se pierden.

Así que comencé a mirar alnetworkingedor y encontré Logstash ( http://logstash.net/ ). Actualmente mi idea es:

  • en cada server (que está ejecutando los componentes principales del sistema) hay un agente Logstash ejecutando
  • el agente monitores registra files y los envía a un clúster ElasticSearch
  • hay otro server con la interfaz de usuario Logstash

De esa manera:

  • no hay punto único de fracaso
  • incluso si el clúster de ES se muere, sólo los agentes se verán afectados – la aplicación seguirá felizmente escribir loggings en files
  • después de que ES vuelva, el agente (esperanzadamente) alcanzará para arriba y enviará todos los loggings pendientes (es Logstash bastante inteligente hacer eso?)

¿Crees que esto funcionará? ¿O tal vez podría recomendar otra solución?

2 Solutions collect form web for “Recostackción de loggings de varios serveres de forma tolerante a fallos”

Rsyslog tiene algunas de las funcionalidades que está describiendo y el proyecto también tiene un montón de documentation sobre el reenvío de posts confiable .

En resumen, con rsyslog puede utilizar el protocolo RELP para el reenvío de posts syslog fiable y, a continuación, no tiene que preocuparse por la pérdida de posts. Y también tiene la opción de configurar files de queue locales, donde rsyslog almacenará posts en el caso de que el server remoto esté inactivo. Una vez que el control remoto regrese, su agente se pondrá al día.

También tiene la opción de configurar rsyslog para escribir en una database relacional y, a continuación, puede hacer que la database sea networkingundante como desee (personalmente encuentro un server syslog más fácil de agrupar).

Esta pregunta es muy probable que va a ser cerrado como fuera de tema, consulte las preguntas frecuentes.

Independientemente, syslog (o cualquier sistema basado en syslog) debería funcionar bien, después de todo si le preocupa perder loggings, asegúrese de hacer una copy de security del server syslog como parte de su escenario DR normal. Es una tarea / request muy sencilla.

  • Averigüe cuánto time un usuario ha iniciado session en un server Linux
  • Registro centralizado de syslog-ng en FreeBSD
  • Reenvío del evento de logging de Windows mediante TCP
  • ¿Cómo puedo hacer syslogd correo electrónico ciertos posts de logging para mí?
  • Registro de Tomcat 8.5 a Syslog
  • Mensajes regulares de syslogd clusvcmgrd enviados a TODOS los terminales
  • Software para enviar notificaciones de eventos de Windows a linux syslog server y codificar a utf8
  • Determinar qué programas están registrando en una instalación de syslog específica
  • El linux y los temas del servidor de Windows, como ubuntu, centos, apache, nginx, debian y consejos de red.