v.1.4-20_Мониторинг Offline ELM

Описание системы мониторинга

Мониторинг Offline ELM обеспечивается с помощью следующих сервисов:

• Influxdb — хранение данных о хосте и Docker-контейнерах (версия 2.7.5)
• Telegraf — получение данных о хосте и Docker-контейнерах и сохранение в БД Influxdb, запускается совместно с сервисами ELM (версия 1.30.0)
• Prometheus — получение данных о метриках ELM Server (версия 2.51.0)
• Grafana — отображение данных мониторинга в web-интерфейсе (версия 10.4.1)
• Nginx-exporter — сервис для сбора метрик с сервера nginx (web-ui) и преобразования их в формат для считывания Prometheus (версия 1.1.0).

Мониторинг Offline ELM предоставляет возможности по наглядному отслеживанию как состояния самого хоста (загрузка ЦП, оперативной памяти хоста, потребление ресурсов контейнерами), так и работы системы лицензирования Offline ELM как таковой (фиксирование запросов лицензии, ошибок работы, состояния сертификатов и т. д.). Помимо этого предоставляются возможности по оповещению о различных состояниях Offline ELM (оповещения о состоянии лицензии, контейнеров, USB-токена).

Конфигурационные файлы сервисов мониторинга

Файлы, используемые для конфигурации мониторинга

Переменные окружения мониторинга ELM

Переменные окружения устанавливаются в файле .env. После их изменения требуется перезапуск контейнеров.

Переменные окружения делятся на два типа:

1. Устанавливаются для сервера Offline ELM в файле .env, который располагается в директории с конфигурационными файлами сервера (по умолчанию elm-offline-data/.env).

2. Устанавливаются непосредственно в директории с конфигурационными файлами сервисов мониторинга в файле .env (по умолчанию elm-monitoring-data/.env) .

Web-интерфейс системы мониторинга

Авторизация

После запуска системы мониторинга Offline ELM администратору системы мониторинга становится доступен web-интерфейс Grafana по адресу: 
http://<MONITORING_GRAFANA_ADDRESS>:<MONITORING_GRAFANA_PORT>/.

• <MONITORING_GRAFANA_ADDRESS> — это адрес сервера Offline ELM в сети, установленный в переменной окружения MONITORING_GRAFANA_ADDRESS (значение по умолчанию 0.0.0.0); 
• <MONITORING_GRAFANA_PORT> — порт сервиса Grafana, установленный в переменной окружения MONITORING_GRAFANA_PORT (значение по умолчанию 3000). 

Авторизоваться можно по умолчанию с логином admin и паролем password.

Рисунок 12 — Страница авторизации Grafana

После авторизации в web-интерфейсе Grafana для доступа к данным мониторинга с Offline ELM требуется перейти в раздел "Dashboards". 

Для пользователя доступны два дашборда:

1. elm_alert_metrics — информация о состоянии метрик сервера Offline ELM.

2. elm_monitoring — информация о состоянии хоста.

Рисунок 13 — Страница "Dashboards", выбор раздела мониторинга

Панель мониторинга "elm_alert_metrics"

Панель мониторинга "elm_alert_metrics" отображает информацию о состоянии внутренних метрик Offline ELM, а также web-интерфейса ELM.

Рисунок 14 — Дашборд "elm_alert_metrics"

Запуск системы мониторинга Offline ELM

Сервис для мониторинга ELM представлен стеком сервисов с конфигурационными файлами, который можно запустить, используя docker-compose файл. Файлы системы мониторинга в этом архиве находятся в директории elm-monitoring-data-1.4-20 и имеют следующую структуру:

.
├── docker-compose.yml
├── .env
├── grafana
│   └── provisioning
│       ├── alerting
│       │   ├── alert_notification.yml
│       │   └── alert_rules.yml
│       ├── dashboards
│       │   ├── dashboard.yml
│       │   ├── elm_alert_metrics.json
│       │   └── elm_monitor.json
│       ├── datasources
│       │   └── datasource.yml
│       └── notifiers
│           ├── email.yml
│           └── telegram.yml
└── prometheus
    └── prometheus.yml

Сервис Telegraf запускается вместе с сервером Offline ELM, параметры его запуска прописаны в docker-compose.yml файле. Конфигурационные файлы данного сервиса расположены в папке config. 

.
├── config
│   └── telegraf
│       └── telegraf.conf
└── docker-compose.yml

Установить в переменной DOCKER_GROUP_ID значение группы пользователя docker. Узнать id группы docker можно командой:

$ getent group docker| cut -d: -f3 
999

В файле .env, расположенном в директории elm-offline-data-1.4-х, установить id пользователя в переменной DOCKER_GROUP_ID.

DOCKER_GROUP_ID="999"

Для запуска системы мониторинга Offline ELM требуется произвести следующие шаги:

1. Перейти в директорию с конфигурационными файлами мониторинга (по умолчанию elm-monitoring-data-1.4-20).

2. Запустить систему мониторинга Offline ELM командой:

$ docker compose up -d

3. Убедиться, что все контейнеры Offline ELM успешно запустились, используя команду:

$ docker compose ps

Теперь с системой мониторинга Offline ELM можно взаимодействовать через web-интерфейс Grafana. Более подробно работа с интерфейсом мониторинга описана в разделе Web-интерфейс системы мониторинга.

Остановка системы мониторинга

Для остановки системы мониторинга Offline ELM требуется произвести следующие шаги:
1. Перейти в директорию с конфигурационными файлами мониторинга (по умолчанию elm-monitoring-data-1.4-20).
2. Выполнить команду:

$ docker compose down

elm@elm-server:/opt/elm/monitoring$ docker compose down 
[+] Running 4/4
 ✔ Container influxdb        Removed                                                                                                                                                                     0.3s 
 ✔ Container grafana         Removed                                                                                                                                                                     0.3s 
 ✔ Container prometheus      Removed                                                                                                                                                                     0.3s 
 ✔ Container nginx-exporter  Removed     
elm@elm-server:/opt/elm/monitoring$

Настройка удаленного мониторинга

Сервисы мониторинга можно запустить совместно с Offline ELM на одном хосте. В таком случае дополнительной настройки подключения не требуется, однако рекомендуется запускать сервисы мониторинга на отдельном хосте. Для этого необходимо выполнить следующие настройки:

1. Настроить переменные окружения в файле .env (elm-offline-data/.env) на стороне сервера Offline ELM.  А именно:

• адрес MONITORING_SERVER_ADDRESS сервера Offline ELM, куда Prometheus будет подключаться для сбора метрик. Так как дефолтное значение переменной "MONITORING_SERVER_ADDRESS=127.0.0.1", без её установки мониторинг сервера Offline ELM не будет доступен при запуске сервисов мониторинга на отдельном хосте.
• порт MONITORING_SERVER_PORT сервера Offline ELM, куда Prometheus будет подключаться для сбора метрик;
• логин и пароль пользователя (MONITORING_SERVER_USERNAME и MONITORING_SERVER_PASSWORD), которые будут использоваться Prometheus для авторизации, InstanceID ноды.

2. В конфигурационном файле Telegraf telergaf.conf (elm-offline-data/config/telegraf/telegraf.conf) в разделе [[outputs.influxdb_v2]] необходимо указать адрес и порт сервиса мониторинга influxdb через переменную urls/

$ diff telegraf_old.conf telegraf.conf
<   urls = ["http://influxdb:8086"]
---
>   urls = ["http://192.168.1.2:8086"]

 3. В конфигурационном файле prometheus.yml (elm-monitoring-data/prometheus/prometheus.yml) изменить адрес "targets" на адрес и порт, указанные в переменных MONITORING_SERVER_ADDRESS и MONITORING_SERVER_PORT на сервере Offline ELM в .env файле. 

$ diff prometheus_old.yml prometheus.yml 
<       - targets: ['elmi-offline-server:8097']
---
>       - targets: ['192.168.1.1:8097']

4. В конфигурационном файле prometheus.yml (elm-monitoring-data/prometheus/prometheus.yml) изменить при необходимости данные логина и пароля пользователя для подключения к актуатору сервера Offline ELM, если для него в .env файле были указаны иные значения (MONITORING_SERVER_USERNAME и MONITORING_SERVER_PASSWORD).

basic_auth:
      username: 'user1'
      password: 'password1'

5. В docker-compose.yml файле для контейнера nginx-exporter, который собирает информацию о web-сервере, указать адрес и порт данного web-сервера, который запускается совместно с основным сервером Offline ELM в контейнере elmi-offline-web-ui. Порт web-сервера может быть изменен в .env файле с помощью переменной окружения ELM_WEB_UI_PORT. 

$ diff docker-compose_old.yml docker-compose.yml 
<      - https://elmi-offline-web-ui:80/nginx_status
---
>      - https://192.618.1.1:80/nginx_status

6. В elm-monitoring-data/.env файле установить переменную MONITORING_INFLUXDB_ADDRESS, которая указывает, на каком адресе будет доступен сервис InfluxDB. 

7. Необходимо перезапустить сервер Offline ELM и сервисы мониторинга.

$ docker compose down
$ docker compose up -d

8. Если подключение Telegraf к InfulxDB было настроено корректно, то после обновления страницы в интерфейсе Grafana на дашборде elm_alert_metrics вы увидете node1 в значениях Host. Если это так, то можно переходить к дальнейшей настройке. Если в значении указано None, то проверьте правильность настройки подключения.  

9.  Для панелей ELM USB token alert, Web UI Status, Licensing state, Licensing expiry, Certificate state, Certificate expiry выполните следующие действия:

Рисунок  15 — Панели до настройки источника данных

9.1. На панели через меню с 3 вертикальными точками нажмите "Edit".

9.2. Для панелей, отображающих даты, под самой панелью перейдите в раздел "Transform data", в выпадающем меню "Operation", как и для панели состояния нужно выбрать поле, значение "instance" в котором будет соответствовать указанному IP-адресу в файле конфигурации prometheus.yml.

Рисунок 16 — Выбор данных в "Transform data" 

9.3. В "Value options" в выпадающем меню "Fields" нужно выбрать актуальное поле, где значение "instance" будет соответствовать указанному IP-адресу в файле конфигурации prometheus.yml.

Рисунок 17 — Выбор источника данных

Метрики сервера Offline ELM

Мониторинг инфраструктуры

Мониторинг состояния лицензии и сертификатов

Мониторинг лицензируемых продуктов

Мониторинг работоспособности сервера Offline ELM

Панель мониторинга "elm_monitor"

Панель мониторинга "elm_monitor" предоставляет администратору Offline ELM общую информацию о хосте, в котором запущен Offline ELM, а также информацию о Docker-контейнерах Offline ELM.

Рисунок 18 — Панель мониторинга "elm_monitor"

На данной панели мониторинга представлена следующая информация:

• Средняя загруженность системы (за 1/5/15 минут);
• Количество ядер процессора;
• Загруженность процессора (в процентах);
• Количество используемой/общей оперативной памяти;
• Загрузка процессора Docker-контейнерами ELM;
• Использование памяти Docker-контейнерами ELM и JVM;
• Входящий и исходящий сетевой трафик Docker-контейнеров ELM (прирост за каждые 10 секунд);
• Информация о Docker-контейнерах ELM:
  • имя сервиса;
  • идентификатор процесса;
  • код возврата (при работе контейнера — код 0);
  • время старта контейнера;
  • время работы контейнера;
  • флаг нехватки оперативной памяти;
  • проверка работоспособности сервисов и количество ошибок его проверки.

Алерты

На панели мониторинга "elm_alert_metrics" представлен список алертов.

Рисунок 19 — Панель алертов

Подробнее о каждом алерте и его смысле можно прочитать в таблице из раздела Метрики сервера Offline.

Система оповещений о событиях ELM

Оповещение пользователя осуществляется с помощью механизма оповещений сервиса Grafana на основе событий (алертов) системных метрик и метрик, передаваемых ELM.

По умолчанию доступны следующие типы оповещений:

• рассылка с помощью E-mail;
• отправка сообщений через Telegram-бота.

Оповещения предусмотрены для всех алертов. Вы можете гибко настроить группы пользователей, которым должны отправляться оповещения об алертах разных меток severity.

Всего предусмотрены 4 группы меток severity для алертов:

• critical — требуется незамедлительная реакция. Процесс лицензирования прерван;
• high — уведомление о необходимости продления лицензии, или какой-то продукт не может получить лицензию;
• medium — продолжительное время отсутствуют запросы лицензии от лицензируемых продуктов или недоступен web-интерфейс;
• low — нелегитимные попытки авторизации от неподдерживаемых продуктов.

Оповещения приходят в двух случаях:

• появление проблемы (например, срок лицензии подходит к концу) — приходит оповещение с пометкой Firing;
• разрешение проблемы (например, срок лицензии был продлен) — приходит оповещение с пометкой Resolved.

Настройка оповещений

Настройка параметров оповещений может осуществляться через интерфейс Grafana в разделе "Alerting" → "Notification policies".

Либо через указание переменных окружения в файле .env перед запуском сервиса мониторинга.

Доступные переменные окружения:

При настройке оповещений с помощью e-mail также необходимо указать в .env файле параметры SMTP-сервера, через который должна осуществляться рассылка:

Для работы оповещений через данные, указанные в .env, (они же contact point под названием "Email and telegram notification") необходимо в разделе "Notification policies", в параметре Default policy выбрать "Email and telegram notification" contact point вместо "grafana-default-email".

Рисунок 20 — Раздел "Notification policies"

Рисунок 21 — Установка "Email and telegram notification" 

Для проверки правильности настройки contact point (то есть места, куда Grafana будет присылать эти оповещения ), есть возможность отправки тестовых оповещений. Для это необходимо перейти в раздел "Alerting" → "Contanct points".  У Contact point с названием "Email and telegram notification" нажать кнопку "View". Далее можно будет отправить тестовое оповещение в Telegram или на почту.    

Рисунок  22 — Отправка тестового оповещения на почту

Рисунок 23 — Пример оповещения о необходимости продления лицензии, отправленного на почту

Рисунок 24 — Пример оповещения о необходимости продления лицензии, отправленного в Telegram