Визуализация статистических данных в системе мониторинга "Grafana"
Система мониторинга ECSS-10 основана на Grafana, свободном фронтенде для визуализации time-series данных из различных источников, и предназначена для наблюдения за метриками программного коммутатора. Система поставляется в виде докер-контейнера, образ которого лежит в корпоративном репозитории. Для его корректной работы необходимы работающий ECSS-10 и сервер MySQL, на который загружаются метрики.
Docker
В качестве примера, установим систему grafana в docker-контейнере на машине с ОС Ubuntu-19.04. С этой машины должен быть доступен адрес или имя mysql-сервера ECSS-10.
Установка docker
В сети имеется много информации про контейнеризацию с помощью docker, познакомиться с возможностями и процессом установки не составит труда. Например, здесь описана неплохая инструкция по инсталляции.
Обновим индекс пакетов:
sudo apt update
Установим зависимости:
sudo apt install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
Теперь можно загрузить и установить пакет Docker. Добавьте в систему GPG-ключ репозитория Docker:
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
Добавьте этот репозиторий в APT:
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable edge"
Еще раз обновим индекс пакетов:
sudo apt update
Следующая команда позволяет переключиться из репозитория Ubuntu 19.04 в репозиторий Docker:
apt-cache policy docker-ce
Команда должна вернуть примерно следующее:
sasha@bsk2:~/soft/docker$ apt-cache policy docker-ce
docker-ce:
Установлен: (отсутствует)
Кандидат: 5:19.03.12~3-0~ubuntu-eoan
Таблица версий:
5:19.03.12~3-0~ubuntu-eoan 500
500 https://download.docker.com/linux/ubuntu eoan/stable amd64 Packages
500 https://download.docker.com/linux/ubuntu eoan/edge amd64 Packages
5:19.03.11~3-0~ubuntu-eoan 500
500 https://download.docker.com/linux/ubuntu eoan/stable amd64 Packages
500 https://download.docker.com/linux/ubuntu eoan/edge amd64 Packages
5:19.03.10~3-0~ubuntu-eoan 500
500 https://download.docker.com/linux/ubuntu eoan/stable amd64 Packages
500 https://download.docker.com/linux/ubuntu eoan/edge amd64 Packages
5:19.03.9~3-0~ubuntu-eoan 500
500 https://download.docker.com/linux/ubuntu eoan/stable amd64 Packages
500 https://download.docker.com/linux/ubuntu eoan/edge amd64 Packages
5:19.03.8~3-0~ubuntu-eoan 500
500 https://download.docker.com/linux/ubuntu eoan/stable amd64 Packages
500 https://download.docker.com/linux/ubuntu eoan/edge amd64 Packages
5:19.03.7~3-0~ubuntu-eoan 500
500 https://download.docker.com/linux/ubuntu eoan/stable amd64 Packages
500 https://download.docker.com/linux/ubuntu eoan/edge amd64 Packages
5:19.03.6~3-0~ubuntu-eoan 500
500 https://download.docker.com/linux/ubuntu eoan/stable amd64 Packages
500 https://download.docker.com/linux/ubuntu eoan/edge amd64 Packages
Обратите внимание: пакет docker-ce пока не установлен. Чтобы установить Docker Engine - Community, введите:
sudo apt install docker-ce docker-ce-cli containerd.io
После этого программа Docker будет установлена; также это запустит демона и настроит автозапуск процесса. Чтобы убедиться в том, что программа работает, запросите её состояние:
sasha@bsk2:~/soft/docker$ systemctl status docker
● docker.service - Docker Application Container Engine
Loaded: loaded (/lib/systemd/system/docker.service; enabled; vendor preset: enabled)
Active: active (running) since Fri 2020-06-26 09:41:50 +07; 57s ago
Docs: https://docs.docker.com
Main PID: 24689 (dockerd)
Tasks: 13
Memory: 38.2M
CGroup: /system.slice/docker.service
└─24689 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock
июн 26 09:41:48 bsk2 dockerd[24689]: time="2020-06-26T09:41:48.554642224+07:00" level=warning msg="Your kernel does not support cgroup rt runtime"
июн 26 09:41:48 bsk2 dockerd[24689]: time="2020-06-26T09:41:48.554661303+07:00" level=warning msg="Your kernel does not support cgroup blkio weight"
июн 26 09:41:48 bsk2 dockerd[24689]: time="2020-06-26T09:41:48.554679115+07:00" level=warning msg="Your kernel does not support cgroup blkio weight_device"
июн 26 09:41:48 bsk2 dockerd[24689]: time="2020-06-26T09:41:48.555139402+07:00" level=info msg="Loading containers: start."
июн 26 09:41:49 bsk2 dockerd[24689]: time="2020-06-26T09:41:49.249973073+07:00" level=info msg="Default bridge (docker0) is assigned with an IP address 172.17.0.0/16. Daemon option --bip can be used to set
июн 26 09:41:49 bsk2 dockerd[24689]: time="2020-06-26T09:41:49.523473365+07:00" level=info msg="Loading containers: done."
июн 26 09:41:49 bsk2 dockerd[24689]: time="2020-06-26T09:41:49.933525762+07:00" level=info msg="Docker daemon" commit=48a66213fe graphdriver(s)=overlay2 version=19.03.12
июн 26 09:41:49 bsk2 dockerd[24689]: time="2020-06-26T09:41:49.933798200+07:00" level=info msg="Daemon has completed initialization"
июн 26 09:41:50 bsk2 dockerd[24689]: time="2020-06-26T09:41:50.311811318+07:00" level=info msg="API listen on /run/docker.sock
Теперь в системе работает сервис Docker.
Добавление пользователя в группу
По умолчанию команда docker требует привилегий root (или доступа к команде sudo). Также её можно запускать в группе docker, которая создаётся автоматически во время установки программы Docker.
Если вы попытаетесь запустить команду docker без префикса sudo и вне группы docker, вы получите ошибку:
docker: Cannot connect to the Docker daemon. Is the docker daemon running on this host?. See 'docker run --help'.
Чтобы не пришлось набирать префикс sudo каждый раз, когда вам нужно запустить команду docker, добавьте своего пользователя в группу docker:
sudo usermod -aG docker ${USER}
Чтобы активировать это изменение, выйдите из системы и войдите снова, или же введите:
su - ${USER}
При этом будет запрошен пароль вашего пользователя.
Убедитесь, что пользователь добавлен в группу:
sasha@bsk2:~$ id -nG sasha adm cdrom sudo dip plugdev lpadmin sambashare wireshark docker
Чтобы добавить в группу docker пользователя, который не является текущим, укажите в команде его имя:
sudo usermod -aG docker username
Можно проверить, что docker работает:
sasha@bsk2:~$ docker run hello-world
Hello from Docker!
This message shows that your installation appears to be working correctly.
To generate this message, Docker took the following steps:
1. The Docker client contacted the Docker daemon.
2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
(amd64)
3. The Docker daemon created a new container from that image which runs the
executable that produces the output you are currently reading.
4. The Docker daemon streamed that output to the Docker client, which sent it
to your terminal.
To try something more ambitious, you can run an Ubuntu container with:
$ docker run -it ubuntu bash
Share images, automate workflows, and more with a free Docker ID:
https://hub.docker.com/
For more examples and ideas, visit:
https://docs.docker.com/get-started/
Подробную информацию о командах docker можно получить из справки:
sasha@bsk2:~$ docker help
Usage: docker [OPTIONS] COMMAND
A self-sufficient runtime for containers
Options:
--config string Location of client config files (default "/home/sasha/.docker")
-c, --context string Name of the context to use to connect to the daemon (overrides DOCKER_HOST env var and default context set with "docker context use")
-D, --debug Enable debug mode
-H, --host list Daemon socket(s) to connect to
-l, --log-level string Set the logging level ("debug"|"info"|"warn"|"error"|"fatal") (default "info")
--tls Use TLS; implied by --tlsverify
--tlscacert string Trust certs signed only by this CA (default "/home/sasha/.docker/ca.pem")
--tlscert string Path to TLS certificate file (default "/home/sasha/.docker/cert.pem")
--tlskey string Path to TLS key file (default "/home/sasha/.docker/key.pem")
--tlsverify Use TLS and verify the remote
-v, --version Print version information and quit
Management Commands:
builder Manage builds
config Manage Docker configs
container Manage containers
context Manage contexts
engine Manage the docker engine
image Manage images
network Manage networks
node Manage Swarm nodes
plugin Manage plugins
secret Manage Docker secrets
service Manage services
stack Manage Docker stacks
swarm Manage Swarm
system Manage Docker
trust Manage trust on Docker images
volume Manage volumes
Commands:
attach Attach local standard input, output, and error streams to a running container
build Build an image from a Dockerfile
commit Create a new image from a container's changes
cp Copy files/folders between a container and the local filesystem
create Create a new container
diff Inspect changes to files or directories on a container's filesystem
events Get real time events from the server
exec Run a command in a running container
export Export a container's filesystem as a tar archive
history Show the history of an image
images List images
import Import the contents from a tarball to create a filesystem image
info Display system-wide information
inspect Return low-level information on Docker objects
kill Kill one or more running containers
load Load an image from a tar archive or STDIN
login Log in to a Docker registry
logout Log out from a Docker registry
logs Fetch the logs of a container
pause Pause all processes within one or more containers
port List port mappings or a specific mapping for the container
ps List containers
pull Pull an image or a repository from a registry
push Push an image or a repository to a registry
rename Rename a container
restart Restart one or more containers
rm Remove one or more containers
rmi Remove one or more images
run Run a command in a new container
save Save one or more images to a tar archive (streamed to STDOUT by default)
search Search the Docker Hub for images
start Start one or more stopped containers
stats Display a live stream of container(s) resource usage statistics
stop Stop one or more running containers
tag Create a tag TARGET_IMAGE that refers to SOURCE_IMAGE
top Display the running processes of a container
unpause Unpause all processes within one or more containers
update Update configuration of one or more containers
version Show the Docker version information
wait Block until one or more containers stop, then print their exit codes
Run 'docker COMMAND --help' for more information on a command.
Запуск контейнера с Grafana
Установка
Образ контейнера ecss_grafana можно получить, сделав запрос в техническую поддержку.
Для загрузки образа необходимо выполнить команду:
docker load -i ecss_grafana.tar
Запуск
Для запуска системы мониторинга достаточно указать только порт <port>, который будет соответствовать порту Grafana (3000):
docker run -p <port>:3000 ecss_grafana
Предполагается, что будут использоваться стандартные параметры доступа, указанные ниже. Если же какие-то параметры должны отличаться, необходимо воспользоваться переменными окружения:
| Переменная окружения | Описание | Значение по-умолчанию |
|---|---|---|
| GF_SECURITY_ADMIN_USER | Логин аккаунта администратора в Grafana | admin |
| GF_SECURITY_ADMIN_PASSWORD | Пароль аккаунта администратора в Grafana | admin |
| GF_SERVER_HTTP_PORT | Порт, прослушиваемый Grafana внутри контейнера (менять крайне не рекомендуется) | 3000 |
| GF_SERVER_PROTOCOL | Протокол доступа в Grafana | http |
| MYSQL_USER | Имя пользователя, имеющего доступ к БД ecss_statistics | statistics |
| MYSQL_PASSWORD | Пароль пользователя, имеющего доступ к БД ecss_statistics | statistics |
| MYSQL_HOST | Адрес хоста с сервером MySQL | statistics.mysql.ecss |
| ZABBIX_USER | Пароль аккаунта администратора в Zabbix | |
| ZABBIX_PASSWORD | Пароль аккаунта администратора в Zabbix | |
| ZABBIX_HOST | Адрес хоста с сервером Zabbix | |
| PROMETHEUS_HOST | Адрес хоста с сервером Prometheus |
Например, если нужно указать иное доменное имя/IP сервера MySQL (например ssw1.eltex.loc):
docker run -p 3000:3000 -e MYSQL_HOST='ssw1.eltex.loc' ecss_grafana
Если имя резолвится через /etc/hosts, нужно добавить флаг:
-v /etc/hosts:/etc/hosts
Таким образом, для создания сервиса-демона, осуществляющего мониторинг офиса на порту 3000, понадобится сделать что-то вроде:
docker run -d -p 3000:3000 -e MYSQL_HOST='ssw1.eltex.loc' -v /etc/hosts:/etc/hosts --rm --name grafana ecss_grafana
Пример, если вместо имени используется IP MySQL:
docker run -d -p 3000:3000 -e MYSQL_HOST='192.168.1.71' --rm --name grafana ecss_grafana
Просмотр запущенных контейнеров:
bsk@bsk:~/tmp$ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 99012354be4d ecss_grafana "/bin/run.sh" 43 seconds ago Up 38 seconds 0.0.0.0:3000->3000/tcp grafanaРабота с dashboard
Для удобства пользования системой мониторинга вместе с ней поставляются заранее созданные дашборды (наборы графиков), визуализирующие различные метрики ECSS-10. Описание метрик приведено в разделе "Cтатистика с агрегацией данных"
Для доступа к ним можно воспользоваться вкладкой "Manage dashboards" или панелью "Recently viewed dashboards", если она не пустая, на главной странице.
Для просмотра статистики нужно открыть требуемую метрику, например, вызывную статистику:
В правом верхнем углу рабочего стола можно выбрать соответствующий период и режим автообновления.
Пример отображения метрик ECSS-10:
Или статистики по транкам:
Также есть возможность редактирования и создания собственных дашбордов и источников данных. Для этого нужно перейти в раздел настроек("Configuration") и выбрать нужный источник данных, например, "ECSS-10 Statistics"
Подробнее о подключении собственных источников данных - в официальной документации по системе Grafana.