| Scroll Ignore | ||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ||||||||||||||||
Версия ПО 0.57 |
Оглавление
Общая информация
...
Архитектура Peeper состоит из двух частей:
- Клиентская. Устанавливается на одном сервере с продуктом, например ECCM, Softswitch или SoftWLC. В ее задачи входит сбор метрик и их отправка на серверную часть.
- Серверная. В ее задачи входит агрегация и хранение метрик, визуализация метрик в виде графиков, отправка алертов об авариях в Telegram.
Все ПО предоставляется в виде Docker-образов, размещенных в публичных репозиториях, и файлов compose.yml и .env для деплоя контейнеров.
Зачем необходим Peeper
Peeper нужен, чтобы:
- предотвратить появление чрезвычайной ситуации на серверах и приложениях клиента заранее;
- в случае ЧС иметь возможность постфактум распутать клубок инцидента (иметь всю необходимую информацию в одном месте для того, чтобы завершить расследование);
- иметь возможность оперативно оценить внутреннее состояние системы по ее внешним показателям, а не просто констатировать факт, что система сломалась.
Функции и свойства Peeper
Peeper прост в развертывании и эксплуатации, что крайне важно для системы мониторинга. Также Peeper позволяет:
- собирать, хранить метрики и логи;
- визуализировать данные в виде дашбордов, графиков, диаграмм, таблиц;
- высылать алерты в случае срабатывания триггера по какой-либо метрике.
Архитектура Peeper
В архитектуре Peeper предусмотрено, что для получения метрик со стороны Peeper Client не требуется открывать никаких дополнительных портов на стороне сервера с программным продуктом Eltex. Отправка метрик с этого сервера производится методом Push.
...
| Примечание |
|---|
Для успешной установки Peeper Server и Peeper Client на всех серверах должен быть предустановлен docker и docker compose https://docs.docker.com/engine/install/ubuntu/ |
Peeper Server
Требования к серверу
| ОС | Ubuntu 22.04 Server или выше |
| CPU | 2 |
| RAM | 4 ГБ |
| Disk | 100 ГБ |
| Предустановленное ПО | Docker, Docker Compose |
Для установки скачайте на сервер для peeper-server архив с файлами: https://cloud.eltex-co.ru/index.php/s/cTfe9I3JyTxefjRПароль для скачивания можно запросить в Коммерческом Отделе Eltex или в ServiceDesk: /YqUw3ZWt8Kf2b9a/download?path=%2F&files=peeper-deploy.tar
| Блок кода |
|---|
mkdir peeper-server && cd peeper-server wget "https:// |
...
cloud.eltex-co.ru/index.php/s/YqUw3ZWt8Kf2b9a/download?path=%2F&files=peeper-deploy.tar" -O peeper-deploy.tar |
Далее распакуйте из архива файлы:
...
Команда установки Peeper Server:
| Блок кода |
|---|
sudo ./setup.sh -i |
Параметры запуска и модули:
Начиная с версии 0.7, скрипт установки поддерживает дополнительные параметры запуска, которые позволяют включать отдельные модули. Параметры могут вызываться как длинными, так и короткими ключами.
| Модуль | Длинный ключ | Короткий ключ | Описание |
|---|---|---|---|
| backup | --backup | -B | Включает модуль резервного копирования. |
| blackbox | --blackbox | -b | Включает модуль мониторинга через Blackbox Exporter. |
| -e | Включает модуль отправки уведомлений по email. |
Пример запуска с ключами:
| Блок кода | ||
|---|---|---|
| ||
./setup.sh -i --backup --email |
Также существует возможность включать модули без указания ключей.
Для этого необходимо установить соответствующие переменные окружения в файлах:
Например:
| Блок кода | ||
|---|---|---|
| ||
BACKUP_ENABLED=true |
| Блок кода | ||
|---|---|---|
| ||
BLACKBOX_EXPORTER_ENABLED=true |
| Блок кода | ||
|---|---|---|
| ||
EMAIL_ENABLED=true |
Если эти значения установлены в `true`, соответствующие модули будут запускаться автоматически при выполнении команды:
| Блок кода |
|---|
./setup.sh -i |
| Информация | ||
|---|---|---|
| ||
У модулей в .env файлах, могут содержаться переменные, которые необходимо заполнять при использовании модуля. Информация об этих переменных лежит в тех же .env файлах. |
| Информация |
|---|
В compose.yml Peeper Server для сервиса peeper-grafana используется volume "peeper-grafana-config", который монтируется в директорию /etc/grafana в контейнере. Часто при настройке LDAP в Grafana или других функций через WEB вручную конфигурация сохраняется в /etc/grafana, например, в таких файлах как grafana.ini Таким образом, чтобы при переустановке Peeper не потерять эти данные, достаточно не удалять этот volume, а примонтировать его к новой инсталляции Peeper: все настройки будут сохранены. |
...
Для установки Peeper Client скачайте на сервер peeper-client архив с файлами: https://cloud.eltex-co.ru/index.php/s/lEmEnAl0qnkH0JUПароль для скачивания можно запросить в Коммерческом Отделе Eltex или в ServiceDesk: https://servicedesk.eltex-co.ru/YqUw3ZWt8Kf2b9a/download?path=%2F&files=peeper-client.tar
Далее распакуйте из архива файлы:
...
Сгенерируйте token в WEB Grafana (https://<адрес Peeper Server>:443). Зайдите Зайдите в меню "Administration" → "Users and access" → "Service accounts" → "Add service account" → "Add service account token" → "Generate token".
...
После запуска Peeper Client токен из файла peeper-token будет автоматически удален
Команда установки Peeper Client:
| Блок кода |
|---|
sudo ./setup.sh -i <app> |
...
При установке Peeper Client на сервера с ECCM или SoftWLC необходимо распаковать архив с Peeper в дирректорию, откуда происходила установка SoftWLC или ECCM, чтобы установочные файлы Peeper оказались на одном уровне с папками "softwlc" или "eccmпапкой "provisioning".
Peeper Client может быть установлен на сервер с Ubuntu без развернутых на нем приложений Элтекс для мониторинга только Linux и Docker. Тогда команда установки Peeper Client будет такойКоманда для установки при этом не изменится.
Начиная с версии 0.7, установка peeper-client поддерживает дополнительные параметры запуска для включения модулей экспортеров.
Параметры можно вызывать как длинными, так и короткими ключами.
| Модуль | Длинный ключ | Короткий ключ | Описание |
|---|---|---|---|
| mysql | --mysql | -m | Включает модуль peeper-exporter-mysql для сбора метрик MySQL. |
| postgres | --postgres | -o | Включает модуль peeper-exporter-postgres для сбора метрик PostgreSQL. |
Пример запуска с ключами:
| Блок кода |
|---|
sudo ./setup.sh -i none |
...
eccm --mysql --postgres |
Модули можно активировать без указания ключей, если задать соответствующие переменные окружения в файлах:
Например:
| Блок кода | ||
|---|---|---|
| ||
MYSQL_EXPORTER_ENABLED=true |
| Блок кода | ||
|---|---|---|
| ||
POSTGRES_EXPORTER_ENABLED=true |
Если эти переменные установлены в `true`, соответствующие модули будут автоматически запущены при выполнении команды:
| Блок кода |
|---|
sudo ./setup.sh -i |
| Информация | ||
|---|---|---|
| ||
Для корректной работы модулей peeper-exporter-mysql и peeper-exporter-mysql недостаточно только включить их через ключи или *_ENABLED=true.
Без этих значений экспортеры не смогут подключиться к базам данных и начать сбор метрик. |
Графический интерфейс
Графический интерфейс представляет из себя GUI Grafana, доступный по адресу: https://<адрес сервера>
...
Для настройки целей мониторинга, необходимо добавить в файл http/blackbox_http.yaml или создать новый с названием http/blackbox_*.yaml где вместо * - ваше название. Внутри файла необходимо добавить цели:
| Блок кода |
|---|
- targets: - https://eltex-co.ru - ... # ваши сайты labels: group: eltex # название группы сайтов module: http_2xx # модуль для опроса сайта |
После добавления нужно просто сохранить файл на сервере, подождать 2-3 минуты и цель внесённая в конфиг, появится у вас в дашборде.
Есть 6 видов скрейп модулей для мониторинга разных по функциональности сайтов:
| Название модуля | Описание | Протокол | Особенности |
|---|---|---|---|
http_2xx | Стандартный модуль для мониторинга большинства сайтов | HTTP/HTTPS | Проверка доступности и получения кода ответа 2xx |
http_2xx_custom_ca | Стандартный модуль для мониторинга сайтов с кастомным CA | HTTPS | Требует CA сертификат по пути certificates/ca/ca.crt |
http_2xx_tls_strict | Модуль для мониторинга только HTTPS сайтов | HTTPS | Строгая проверка TLS/SSL соединения |
http_tls_expiry | Модуль для мониторинга SSL сертификатов | HTTPS | Проверяет срок действия сертификата без загрузки контента |
http_post_json_2xx | Модуль для мониторинга POST JSON endpoints | HTTP/HTTPS | Отправка POST запросов с JSON данными, проверка кода 2xx |
icmp | Модуль для проверки доступности по IP | ICMP | Проверка доступности узла через ping |
Резервное копирование Peeper
...
Для резервного копирования peeper-server есть отдельный контейнер, который запускается вместе со всем peeper. Данный контейнер, с помощью утилит резервного копирования Victoria Metrics осуществляет резервное копирование истории метрик. конифгурация данного контейнера происходит в .env.backup файле:
| Блок кода |
|---|
PEEPER_BACKUP_KEEP="1" # Количество резервных копий, которые будут сохранены в системе PEEPER_BACKUP_DIR="./backups" # Путь в системе, где будут сохраняться резервные копии (указывать полный путь до папки) PEEPER_BACKUP_CRON="0 0 * * *" # Cron расписание по которому будут сниматься резервные копии |
Настройки выше конфигурируют автоматические бэкапы. В случае когда вам нужно воспользоваться снятием ручным снятием резервной копии, можно использовать данную команду:
| Блок кода | ||
|---|---|---|
| ||
docker exec peeper-vmbackup-toolbox sh /backup.sh |
Восстановление резервных копий
...
- Резервную копию необходимо положить в папку указанную в PEEPER_BACKUP_DIR и запомнить название бэкапа
- После этого необходимо выполнить команду:
| Блок кода | ||
|---|---|---|
| ||
docker stop peeper-metrics || docker exec -i peeper-vmbackup-toolbox sh /restore.sh **название бэкапа без tar.gz** || docker start peeper-metrics || docker restart peeper-grafana |
- Проверить, что в процессе восстановления не возникло проблем и контейнеры запустились:
| Блок кода | ||
|---|---|---|
| ||
docker ps | grep peeper |
Взаимодействие с сертификатами Peeper
...
В случае если вы добавляете или обновляете сертификат после запуска peeper, вам необходимо будет перезапустить peeper-haproxy командой:
| Блок кода |
|---|
docker restart peeper-haproxy |
- CA сертификат.
- Данный сертификат не обязательный, если у вас нет локального домена с корневым сертификатом, который нужно мониторить и если у вас не используется blackbox. Сертификат нужно будет положить в
certificates/ca/ca.crt. После добавления данного сертификата, может потребоваться перезапуск blackbox, это можно сделать командой:
- Данный сертификат не обязательный, если у вас нет локального домена с корневым сертификатом, который нужно мониторить и если у вас не используется blackbox. Сертификат нужно будет положить в
| Блок кода |
|---|
docker restart peeper-exporter-blackbox |
Ошибка пересечения сетей
В случае возникновения подобной ошибки:
| Блок кода |
|---|
Error response from daemon: error while removing network: network internal has active endpoints |
необходимо отредактировать .env файл и указать значение
...
переменной PEEPER_EXTERNAL_MODE="true" и заново ввести команду установки Peeper Client