Nagios
Introducción
Nagios es una empresa que se dedica a todo tipo de monitores de la red, entre ellos está Nagios Core, que es su versión gratuita.
Los anteriores han sido extremadamente fáciles de configurar, así que Nagios se encargará de justo lo contrario, ¡si todo es tan fácil hasta parece aburrido!
Si replicamos la configuración en ambos nodos, nos llegarán el doble de notificaciones. Es preferible dejar un nodo monitorizando toda la red (incluido ambos nodos) y el otro nodo para vigilar que el primero siga vivo. No sería la primera vez que algo falla y no se notifica porque el que ha fallado, es el nodo que tiene Nagios.
Instalación
Nagios Core nunca está disponible como versión actualizada en los repositorios de paquetes. La versión disponible vía apt es antigua y no se recomienda. Siempre se debe compilar desde el código fuente.
Debido a que tenemos que compilar, habrá que instalar todas las dependencias.
sudo apt update
sudo apt install -y autoconf gcc libc6 libmcrypt-dev make \
libssl-dev wget bc gawk dc build-essential snmp \
libnet-snmp-perl gettext unzip libgd-dev
Para hacerlo funcionar necesitamos 3 aplicaciones:
- Nagios Core es el motor principal.
- Nagios Plugins tiene un kit de pruebas.
- NRPE es el servicio utilizado para consultar a otros servidores.
Empezamos descargando y descomprimiendo todos.
Hay que ajustar estos enlaces según la última versión. Comprobar las páginas de releases indicadas arriba para obtener las URLs actualizadas.
wget https://github.com/NagiosEnterprises/nagioscore/archive/nagios-4.5.11.tar.gz -O nagios.tar.gz
wget http://nagios-plugins.org/download/nagios-plugins-2.4.12.tar.gz -O nagios-plugins.tar.gz
wget https://github.com/NagiosEnterprises/nrpe/releases/download/nrpe-4.1.3/nrpe-4.1.3.tar.gz -O nrpe.tar.gz
tar xzf nagios.tar.gz
tar xzf nagios-plugins.tar.gz
tar xzf nrpe.tar.gz
Nagios Core
Creamos los usuarios y grupos de Nagios.
sudo useradd -m -s /bin/bash nagios
sudo groupadd nagcmd
sudo groupadd nagios
sudo usermod -a -G nagcmd nagios
sudo usermod -a -G nagios nagios
Compilamos y ejecutamos los procesos para su instalación.
cd nagioscore-nagios-4.5.11/
./configure --with-nagios-group=nagios --with-command-group=nagcmd --with-gd-lib=/usr/local/lib
make all
sudo make install
sudo make install-daemoninit
sudo make install-commandmode
sudo make install-config
cd ..
Nagios Plugins
Repetimos con los plugins, mucho más sencillo.
cd nagios-plugins-2.4.12/
./configure
make
sudo make install
cd ..
Nagios NRPE
Y acabamos con el NRPE (aviso que este es leeeeeento).
cd nrpe-4.1.3/
./configure
make all
sudo make install
sudo make install-config
sudo make install-init
sudo systemctl enable nrpe.service
Antes de iniciarlo, se debe configurar.
sudo vi /usr/local/nagios/etc/nrpe.cfg
Básicamente tenemos 3 puntos a ajustar:
- Qué IP puede hacer preguntas por el servicio NRPE, deberíamos dejar activo localhost y las IP de ambas Raspberry (la 2a solo requiere acceso a la 1a, pero es buena idea dejarlo preparado por si un día tenemos cambios).
- Aceptar comandos con argumentos (
dont_blame_nrpe), normalmente se dejaría apagado, pero en mi caso lo necesito para los backups notificados. - Lista de comandos aceptados, por defecto NRPE tiene varios, y podemos crear tantos como queramos. En mi caso, suelo crear uno para cada partición y apunto a ellas en vez de al disco como hace por defecto, y reajusto el warning para cargas de trabajo, ya que suele saltar a la mínima y no me es relevante.
allowed_hosts=127.0.0.1,::1,192.168.1.5,192.168.1.6
dont_blame_nrpe=1
command[check_disk_root]=/usr/local/nagios/libexec/check_disk -w 20% -c 10% -p /
command[check_load]=/usr/local/nagios/libexec/check_load -r -w .30,.25,.20 -c .40,.35,.30
command[check_total_procs]=/usr/local/nagios/libexec/check_procs -w 200 -c 250
Una vez configurado, iniciamos ambos servicios y comprobamos el NRPE.
sudo systemctl start nagios.service
sudo systemctl start nrpe.service
/usr/local/nagios/libexec/check_nrpe -H 127.0.0.1
Al ejecutar los 3 comandos seguidos, es posible que NRPE esté encendiendo y su check falle. Si es el caso, volver a lanzar para confirmar que funciona.
Acceso directo a configuración
Para facilitar el acceso a los ficheros de configuración de Nagios, es recomendable crear un enlace simbólico desde el home del usuario.
ln -s /usr/local/nagios/etc ~/nagios-config
Esto permite acceder rápidamente a la configuración con:
cd ~/nagios-config
Lighttpd (Desde Pi-hole 2)
Esta sección documenta la configuración original con Pi-hole 2 que incluía lighttpd. Se mantiene como referencia histórica.
Nagios dispone de una web para visualizar los procesos, pero su instalación está pensada para Apache, y tenemos un Lighttpd debido a Pi Hole, lo mejor es adaptarnos a ello.
Primero debemos darle permiso al sistema de comandos, ya que sin ello no podremos hacer cosas tan importantes como decirle que vuelva a analizar un proceso.
sudo chown -R nagios:www-data /usr/local/nagios/var/rw/
Nagios tampoco tiene un sistema de inicio de sesión, pero da por hecho que accedemos con el usuario nagiosadmin, así que lo generamos. Es posible generar un fichero de estos a mano, pero me es más sencillo instalar las tools de Apache.
sudo apt install apache2-utils -y
sudo htpasswd -c /etc/lighttpd/nagios.passwd nagiosadmin
Con todo preparado, añadimos la configuración.
sudo vi /etc/lighttpd/external.conf
Nagios requiere algunos extras que Pi Hole no añade, así que los añadimos y configuramos sus rutas de acceso.
# Nagios
server.modules += (
"mod_alias",
"mod_authn_file",
"mod_cgi"
)
alias.url = (
"/nagios/cgi-bin" => "/usr/local/nagios/sbin",
"/nagios" => "/usr/local/nagios/share"
)
$HTTP["url"] =~ "^/nagios/cgi-bin" {
cgi.assign = ( "" => "" )
}
$HTTP["url"] =~ "nagios" {
auth.backend = "htpasswd"
auth.backend.htpasswd.userfile = "/etc/lighttpd/nagios.passwd"
auth.require = ( "" => (
"method" => "basic",
"realm" => "nagios",
"require" => "user=nagiosadmin"
)
)
}
Reiniciamos.
sudo service lighttpd restart
Si todo ha funcionado, podremos acceder desde la misma URL que Pi Hole, cambiando admin por nagios:
Lighttpd (Desde Pi-hole 3)
Debido a que Pi-hole 3 tiene su propio servidor web, tenemos que instalar uno para que Nagios pueda ser publicado. Siguiendo el modelo anterior, lighttpd sigue siendo buena opción al ser muy ligero.
Instalar el servidor web y dependencias.
sudo apt-get install lighttpd php-cgi apache2-utils -y
Configurar el módulo de PHP (necesario para las métricas de temperatura).
sudo vi /etc/lighttpd/conf-available/10-php-cgi.conf
cgi.assign += (
".php" => "/usr/bin/php-cgi",
)
Debido a que Pi-hole usa los puertos 80 y 443, lighttpd tendrá que utilizar otros.
sudo vi /etc/lighttpd/lighttpd.conf
server.port = 81
Configurar SSL con los certificados generados por Certbot. El puerto SSL será el 444.
sudo vi /etc/lighttpd/conf-available/10-ssl.conf
# -*- conflicts: mbedtls, gnutls, nss, wolfssl -*-
server.modules += ( "mod_openssl" )
ssl.pemfile = "/etc/letsencrypt/live/rasp1.intranet.domain.cat/fullchain.pem"
ssl.privkey = "/etc/letsencrypt/live/rasp1.intranet.domain.cat/privkey.pem"
$SERVER["socket"] == "0.0.0.0:444" {
ssl.engine = "enable"
}
include_shell "/usr/share/lighttpd/use-ipv6.pl 444"
# Redirect HTTP to HTTPS
server.modules += ( "mod_redirect" )
$HTTP["scheme"] == "http" {
$HTTP["host"] =~ "([^:]+)(?::[0-9]+)?" {
url.redirect = (
"^/(.*)" => "https://%1:444/$1"
)
}
}
Los certificados de Certbot se renuevan automáticamente y el deploy hook se encarga de reiniciar lighttpd. Revisar la sección de renovación automática para confirmar que el hook está configurado.
Lighttpd necesita permisos de lectura sobre los certificados. Revisar las instrucciones de permisos en Certbot - Lighttpd.
Activar todos los módulos.
sudo lighttpd-enable-mod status cgi auth php-cgi ssl
Crear un usuario para Nagios.
sudo htpasswd -c /etc/lighttpd/nagios.passwd nagiosadmin
Y configurar la conexión hacia Nagios.
sudo vi /etc/lighttpd/conf-available/30-nagios.conf
# Nagios
server.modules += (
"mod_alias",
"mod_authn_file",
"mod_cgi"
)
alias.url = (
"/nagios/cgi-bin" => "/usr/local/nagios/sbin",
"/nagios" => "/usr/local/nagios/share"
)
$HTTP["url"] =~ "^/nagios/cgi-bin" {
cgi.assign = ( "" => "" )
}
$HTTP["url"] =~ "nagios" {
auth.backend = "htpasswd"
auth.backend.htpasswd.userfile = "/etc/lighttpd/nagios.passwd"
auth.require = ( "" => (
"method" => "basic",
"realm" => "nagios",
"require" => "user=nagiosadmin"
)
)
}
Tras activar la configuración y reiniciar, se podrá acceder a la consola de Nagios.
sudo lighttpd-enable-mod nagios
sudo systemctl enable lighttpd
sudo systemctl start lighttpd
Para poder dar órdenes al motor de Nagios desde la web, el proceso de lighttpd necesita tener acceso.
sudo chown nagios:www-data /usr/local/nagios/var/rw
Acceder a Nagios desde:
Configuración
Podemos creer que instalarlo ha sido complicado, pero lo cierto es que configurar Nagios es lo verdaderamente complicado.
No hay una única forma de configurar Nagios, este es uno de tantos métodos.
Base
Lo primero es definir las bases: comandos a utilizar, grupos, carpetas de donde recuperar las configuraciones y otros tantos.
sudo vi /usr/local/nagios/etc/nagios.cfg
cfg_file=/usr/local/nagios/etc/objects/commands.cfg
cfg_file=/usr/local/nagios/etc/objects/contacts.cfg
cfg_file=/usr/local/nagios/etc/objects/timeperiods.cfg
cfg_file=/usr/local/nagios/etc/objects/templates.cfg
cfg_file=/usr/local/nagios/etc/objects/groups.cfg
#cfg_file=/usr/local/nagios/etc/objects/localhost.cfg
cfg_dir=/usr/local/nagios/etc/servers
cfg_dir=/usr/local/nagios/etc/printers
#cfg_dir=/usr/local/nagios/etc/switches
cfg_dir=/usr/local/nagios/etc/routers
cfg_dir=/usr/local/nagios/etc/nas
cfg_dir=/usr/local/nagios/etc/tools
Por defecto, Nagios analiza a localhost, pero prefiero redirigirlo con NRPE para que todo se valide con el mismo protocolo y poder copiar la configuración en el otro Nagios.
En la actualidad hay muchos dispositivos que se conectan a la red, ya no es únicamente servidores, NAS o routers/switch, también podemos tener impresoras y aparatos de domótica o similares.
sudo mkdir /usr/local/nagios/etc/{nas,printers,routers,servers,tools}
Comandos
Este fichero tiene la lista de todos los comandos que Nagios utiliza y también los que puede analizar.
sudo vi /usr/local/nagios/etc/objects/commands.cfg
Nagios utiliza como e-mail de envío el del sistema, pero podemos modificarlo para tener uno fijo.
define command {
command_name notify-host-by-email
command_line /usr/bin/printf "%b" "***** Nagios *****\n\nNotification Type: $NOTIFICATIONTYPE$\nHost: $HOSTNAME$\nState: $HOSTSTATE$\nAddress: $HOSTADDRESS$\nInfo: $HOSTOUTPUT$\n\nDate/Time: $LONGDATETIME$\n" | /usr/bin/mail -s "** $NOTIFICATIONTYPE$ Host Alert: $HOSTNAME$ is $HOSTSTATE$ **" $CONTACTEMAIL$ -r nagios@domain.cat
}
define command {
command_name notify-service-by-email
command_line /usr/bin/printf "%b" "***** Nagios *****\n\nNotification Type: $NOTIFICATIONTYPE$\n\nService: $SERVICEDESC$\nHost: $HOSTALIAS$\nAddress: $HOSTADDRESS$\nState: $SERVICESTATE$\n\nDate/Time: $LONGDATETIME$\n\nAdditional Info:\n\n$SERVICEOUTPUT$\n" | /usr/bin/mail -s "** $NOTIFICATIONTYPE$ Service Alert: $HOSTALIAS$/$SERVICEDESC$ is $SERVICESTATE$ **" $CONTACTEMAIL$ -r nagios@domain.cat
}
Nagios dispone de NRPE para comunicarse con otros servidores, pero por defecto, no tiene ningún comando para utilizarlo. Si un servidor publica un servicio, pero el servidor de Nagios no tiene el comando, no podrá utilizarlo, así que, si se crea uno nuevo, habrá que añadirlo a este.
Esta es una lista que he ido recopilando con el tiempo.
############################################################
#
# NRPE COMMANDS
#
############################################################
define command {
command_name check_nrpe
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c $ARG1$
}
define command {
command_name check_nrpe_disk_root
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_disk_root
}
define command {
command_name check_nrpe_disk_opt
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_disk_opt
}
define command {
command_name check_nrpe_disk_var
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_disk_var
}
define command {
command_name check_nrpe_disk_var_lib
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_disk_var_lib
}
define command {
command_name check_nrpe_disk_docker
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_disk_docker
}
define command {
command_name check_nrpe_disk_longhorn
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_disk_longhorn
}
define command {
command_name check_nrpe_disk_share
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_disk_share
}
define command {
command_name check_nrpe_disk_storage
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_disk_storage
}
define command {
command_name check_nrpe_users
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_users
}
define command {
command_name check_nrpe_procs
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_procs
}
define command {
command_name check_nrpe_load
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_load
}
define command {
command_name check_nrpe_swap
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_swap
}
define command {
command_name check_nrpe_total_procs
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_total_procs
}
define command {
command_name check_nrpe_zombie_procs
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_zombie_procs
}
define command {
command_name check_nrpe_bkp
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c check_bkp -a '$ARG1$'
}
Entre los analizadores normales, suele faltan uno para revisar virtual hosts.
define command {
command_name check_http_virtual
command_line $USER1$/check_http -H $ARG1$ $ARG2$
}
Alertas
Podemos definir varios usuarios y el momento en el que están "trabajando", para enviar alertas únicamente en ese rango. También se pueden asignar grupos por servicios.
sudo vi /usr/local/nagios/etc/objects/contacts.cfg
Este es un ejemplo donde las notificaciones se envían siempre, sin importar la hora.
define contact{
contact_name userName
use generic-contact
alias User Name
email userName@domain.cat
service_notification_period 24x7
service_notification_options w,u,c,r,f
service_notification_commands notify-service-by-email
host_notification_period 24x7
host_notification_options d,u,r,f
host_notification_commands notify-host-by-email
}
define contactgroup {
contactgroup_name admins
alias Nagios Administrators
members userName
}
Grupos
Nagios muestra el estado de todos los hosts y servicios en su UI, pero podemos organizar aquellos que no sean de más importancia en grupos.
Únicamente los que tengan miembros, aparecerán en la UI.
sudo vi /usr/local/nagios/etc/objects/groups.cfg
############################################################
#
# HOST GROUPS
#
############################################################
define hostgroup {
hostgroup_name Physical
alias Physical servers
}
define hostgroup {
hostgroup_name PROD
alias Production environment
}
define hostgroup {
hostgroup_name TEST
alias Testing environment
}
define hostgroup {
hostgroup_name DEV
alias Development environment
}
define hostgroup {
hostgroup_name printers
alias Impresoras
}
define hostgroup {
hostgroup_name NAS
alias NAS
}
define hostgroup {
hostgroup_name router
alias Router
}
define hostgroup {
hostgroup_name tools
alias Tools
}
############################################################
#
# SERVICE GROUPS
#
############################################################
define servicegroup {
servicegroup_name HDD
alias Hard Disk
}
define servicegroup {
servicegroup_name Web
alias Web Services
}
define servicegroup {
servicegroup_name HealthStatus
alias Health Status
}
define servicegroup {
servicegroup_name DB
alias Databases
}
define servicegroup {
servicegroup_name Backup
alias Backup
}
Dispositivos simples
Si un dispositivo no permite instalar NRPE (como una impresora), solo podremos configurar opciones básicas.
sudo vi /usr/local/nagios/etc/routers/router.cfg
Para estos, simplemente podremos definirlos para que sean revisados por ping, lo que suele ser suficiente.
define host {
use generic-switch
host_name router
alias router
address router.domain.intranet
hostgroups router
}
define service {
use local-service
host_name router
service_description PING
check_command check_ping!100.0,20%!500.0,60%
}
Habrá que replicarlo para cada dispositivo, indicando el host_name, el address y al grupo al que pertenece.
Dispositivos con NRPE
Siempre que sea posible, instalaremos NRPE para tener mejor control. Al instalar NRPE, se le indica qué comandos podrá ejecutar, así que podemos construir scripts nuevos. No hay límites al control que podemos aplicar.
sudo vi /usr/local/nagios/etc/servers/raspberry1.cfg
Este es un ejemplo para una Raspberry, de aquí podemos ir ampliando.
define host {
use linux-server
host_name raspberry1
alias Raspberry1
address raspberry1.domain.intranet
hostgroups PROD
}
define service {
use local-service
host_name raspberry1
service_description Hard disk - Root
check_command check_nrpe_disk_root
servicegroups HDD
}
define service {
use local-service
host_name raspberry1
service_description Current Users
check_command check_nrpe_users
}
define service {
use local-service
host_name raspberry1
service_description Total Processes
check_command check_nrpe_total_procs
}
define service {
use local-service
host_name raspberry1
service_description Zombie Processes
check_command check_nrpe_zombie_procs
}
define service {
use local-service
host_name raspberry1
service_description Current Load
check_command check_nrpe_load
}
define service {
use local-service
host_name raspberry1
service_description PING
check_command check_ping!100.0,20%!500.0,60%
}
define service {
use local-service
host_name raspberry1
service_description SSH
check_command check_ssh
}
define service {
use local-service
host_name raspberry1
service_description HTTP Lighttpd
check_command check_http
servicegroups Web
}
define service {
use local-service
host_name raspberry1
service_description HTTPS Lighttpd
check_command check_http_virtual!raspberry1.moon.intranet!-S
servicegroups Web
}
Verificar configuración
Antes de reiniciar el servicio, es muy aconsejable revisar que sea correcto.
sudo /usr/local/nagios/bin/nagios -v /usr/local/nagios/etc/nagios.cfg
Reiniciamos para aplicar los cambios.
sudo systemctl restart nagios.service
Copias de seguridad
Siguiendo el sistema definido en Ubuntu y Swarm - Backup, se configuran las copias de seguridad para la configuración de Nagios.
Los scripts de montaje, rotación y notificación ya deberían estar descargados en /opt/scripts. Si no es así, seguir las instrucciones de Ubuntu - Copias de seguridad.
La configuración de Nagios se encuentra en /usr/local/nagios/etc/, así que el script de copia de seguridad comprimirá esa carpeta completa.
cd /opt/scripts
sudo wget https://gitlab.com/ReiIzumi/scripts-backup/-/raw/master/backup_nagios.sh
sudo chmod 744 backup_nagios.sh
Ejecutar una primera vez para confirmar que todo funciona.
sudo /opt/scripts/backup_nagios.sh
Cron
Añadir la copia de seguridad al cron.
sudo crontab -e
Este ejemplo ejecuta la copia de seguridad cada día a las 3:30 de la mañana (después de la de Pi-hole).
30 3 * * * /opt/scripts/backup_nagios.sh
Nagios
Añadir la monitorización de la copia de seguridad en el fichero del servidor correspondiente.
define service {
use local-service
host_name raspberry1
service_description Backup Nagios
check_command check_nrpe_bkp!Nagios 03:30:00 5 10
servicegroups Backup
max_check_attempts 1
}