Резервирование контроллеров SoftWLC необходимо для синхронизации критичных для работы системы файлов (настройки, файлы прошивок, выгрузки данных), баз данных MySQL, а также DHCP серверов. Такая схема обеспечивает доступность услуг и и актуальные данные на обоих контроллерах при выходе одного из строя, недоступности сети, проблем с электропитанием.
Настройка резервирования контроллеров SoftWLC состоит из следующих этапов:
установка и настройка keepalived (выполняется по схеме master-slave)
настройка rsync
настройка репликации MySQL (осуществляется путём встречной репликации по принципу master-master)
настройка работы Eltex-PCRF в режиме кластера
изменение конфигурации модулей системы для работы с виртуальным IP
В примерах конфигурации в данном разделе для простоты ip-адреса будут указываться как <ip_server1>, <ip_server2> и <virtual_ip>, где:
<ip_server1> - реальный ip-адрес первого сервера
<ip_server2> - реальный ip-адрес второго сервера
<virtual_ip> - виртуальный ip-адрес
Для корректной работы требуется обеспечить L2 связность между двумя удаленными серверами.
Синхронизация токенов сервиса eltex-doors
Описание
После развертывания серверов SoftWLC, на них необходимо синхронизировать токены сервиса eltex-doors. Токены с сервера Primary копируются на потенциальный Secondary с заменой, затем перезапускаются зависящие от них сервисы и повторно генерируются записи в БД.
В данной документации все данные по контроллеру SoftWLC располагаются в директории /home/tester/docker. При расположении контроллера в другой директории изменить путь в ниже перечисленных командах.
Порядок действий
Удалите содержимое папки "/home/tester/docker/data/eltex-doors/etc/eltex-doors/keys" на сервере Slave (файлы private.pem и public.pem).
# На сервере SLAVE
tester@slave:~/docker$ cd /home/tester/docker/data/eltex-doors/etc/eltex-doors/keys
tester@slave:~/docker/data/eltex-doors/etc/eltex-doors/keys$ sudo rm private.pem public.pem
Скопируйте содержимое папки "/etc/eltex-doors/keys/" с сервера Master на сервер Slave (файлы private.pem и public.pem).
# На сервере MASTER, выполнять от пользователя root
root@master:/home/tester/docker/data/eltex-doors/etc/eltex-doors/keys# scp private.pem public.pem tester@<ip_slave>:
#На сервере slave
tester@slave:~$ sudo cp private.pem public.pem docker/data/eltex-doors/etc/eltex-doors/keys/
На обоих серверах удалите из целевой БД в MySQL записи о токенах сервиса eltex-doors командой:
docker exec -it eltex-mysql mysql -uroot -proot -e "delete from eltex_doors.auth_token;"
На обоих серверах удалите из целевой БД в MySQL записи о токенах сервиса eltex-doors командой:
Перейдите к веб-интерфейсу личного кабинета на каждом сервере, адрес "http://<ip-адрес сервера>:8080/wifi-cab", внутри личного кабинета перейдите во вкладку "Сервисы и тарифы". Редактировать ничего не требуется, при переходе в указанный раздел ЛК - записи об удаленных на шаге "3" токенах сгенерируются в БД повторно.
Установка и настройка keepalived
Описание пакета
Пакет keepalived - это open source программное обеспечение, предназначенное для обеспечения функций высокой надежности (high availabilitty) и балансировки нагрузки (load-balancing). За первую функцию отвечает реализация протокола VRRP, а вторая основывается на модуле ядра Linux Vitrual Server (IPVS). Keepalived не разрабатывается сотрудниками Eltex и не включает доработок, за исключением конфигурации. Keepalived используется для организации резервирования контроллеров SoftWLC, при этом используется только функционал VRRP.
Установка keepalived
Для установки пакета, необходимо загрузить его на сервер и выполнить следующую команду (установка должна производиться от имени суперпользователя root на обоих серверах):
sudo apt update
sudo apt install keepalived
После установки необходимо добавить демона Keepalived в автозагрузку и запустить его:
Скрипт пингует шлюз по умолчанию и возвращает код результата. Таким образом, при успешном выполнении скрипта, гарантируется, что SoftWLC достижим для внешних клиентов.
В текущей реализации на обоих серверах, в качестве тестового скрипта, предлагается использовать следующий:
/etc/keepalived/check_ping.shРазвернуть исходный код
#!/bin/bash
# host to ping
# there - default gw
HOST=<default_gw_ip>
# -q quiet
# -c nb of pings to perform
ping -q -c5 $HOST > /dev/null
# $? var keeping result of execution
# previous command
if [ $? -eq 0 ]
then
echo `date +"%T %F"` "OK gw reachable"
EXIT_CODE=0
else
echo `date +"%T %F"` "ERROR gw unreacheble!"
EXIT_CODE=1
fi
exit $EXIT_CODE
где <default_gw_ip> - шлюз по умолчанию для этого сервера аналогично записи (100.10.194.1);.
Конфигурация смены роли
При смене состояния сервера, выполняется скрипт keep_notify.sh, где <mysql_user> и <mysql_password> - логин и пароль от БД MySQL (по умолчанию root/root).
/etc/keepalived/keep_notify.shРазвернуть исходный код
#!/bin/bash
MYSQL_USER="root"
MYSQL_PASSWORD="root"
if ! lockfile-create --use-pid -r 5 /tmp/keep.mode.lock; then
echo "Unable to lock"
echo "Unable to lock" > /tmp/keep.mode.lock.fail
exit 0
fi
case "$1" in
master)
# ems_reload_all
echo "MASTER" > /tmp/keep.mode
docker container restart eltex-ems-core
#sudo docker container restart tomcat8 не понимаю что надо стопать
docker container restart eltex-ngw
# рестарт слейва MySQL чтобы при восстановлении связи - сразу получить изменения,
# а не ждать периодического heartbeat от второго сервера
docker exec eltex-mysql mysql -u$MYSQL_USER -p$MYSQL_PASSWORD -e "stop slave"
docker exec eltex-mysql mysql -u$MYSQL_USER -p$MYSQL_PASSWORD -e "start slave"
;;
backup)
echo "BACKUP" > /tmp/keep.mode
docker container stop eltex-ems-core
docker container stop eltex-ngw
docker exec eltex-mysql mysql -u$MYSQL_USER -p$MYSQL_PASSWORD -e "stop slave"
docker exec eltex-mysql mysql -u$MYSQL_USER -p$MYSQL_PASSWORD -e "start slave"
;;
fault)
echo "FAULT" > /tmp/keep.mode
;;
*)
echo "Usage: $0 {master|backup|fault}"
exit 1
esac
lockfile-remove /tmp/keep.mode.lock;
exit 0
Для того, чтобы скрипты работали корректно, необходимо назначить права на их исполнение:
Для работы вышеупомянутых скриптов необходимо установить на оба хоста пакет lockfile-progs
sudo apt update
sudo apt install lockfile-progs
Выделение лога в отдельный файл
По умолчанию keepalived записывает лог в файл /var/log/syslog . Для удобства отладки, мониторинга и контроля работы keepalived, можно настроить ведение собственного, отдельного лог-файла.
Ниже приведен пример настройки rsyslog:
sudo nano -w /etc/rsyslog.d/10-keepalived.conf
Добавьте в файл 10-keepalived.conf следующее:
/etc/rsyslog.d/10-keepalived.conf
if $programname contains 'Keepalived' then /var/log/keepalived.log
if $programname contains 'Keepalived' then ~
Затем, нужно перезапустить rsyslog командой:
sudo service rsyslog restart
Теперь сообщения от демона keepalived попадут только в лог-файл /var/log/keepalived.log и не попадут в /var/log/syslog .
Способ запуска/остановки keepalived
Для запуска сервиса воспользуйтесь командой:
sudo service keepalived start
Остановка сервиса:
sudo service keepalived stop
Проверить состояние сервиса можно командой:
sudo service keepalived status
На одном из серверов, при корректной настройке, должен отображаться интерфейс с виртуальным ip.
Для проверки работы сервиса keepalived, отключите сервер, у которого в интерфейсах присутствует virtual_ip. Virtual_ip должен появиться на втором сервере.
Настройка rsync
Rsync в схеме резервирования отвечает за синхронизацию служебных файлов, сервисов Eltex-EMS и Eltex-APB, а также файлов прошивок, шаблонов конфигурации, выгрузок конфигураций точек. Rsync представляет собой клиент серверное ПО. В данной схеме master-сервер выступает в роли клиента и синхронизирует каталоги slave-сервера с локальными.
Конфигурация сервера rsync
Для активации сервера rsync, необходимо на каждом сервере в файле /etc/default/rsync установить значение: RSYNC_ENABLE=true
Создать файл ,. Листинг файла приведен ниже.
hosts allow = <ip_другого_сервера> <virtual ip>
Запись hosts allow = <ip_другого_сервера> <virtual ip> в конфигурации встречается в 5 местах, не забудьте исправить все значения!
/etc/rsyncd.confРазвернуть исходный код
[ems-conf]
path = <директория SoftWLC>/data/eltex-ems/usr/lib/eltex-ems/conf/
use chroot = no
max connections = 2
lock file = /var/lock/rsyncd
read only = no
list = no
uid = root
auth users = backup
secrets file = /etc/rsyncd.secrets
strict modes = yes
# IP-адрес сервера, который будет иметь доступ к ресурсу, т.е. адрес второго сервера в паре
hosts allow = <ip_server2> <virtual_ip>
ignore errors = no
ignore nonreadable = yes
transfer logging = no
timeout = 60
refuse options = checksum dry-run
dont compress = *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz
[ems-tftp]
path = <директория SoftWLC>/volumes/eltex-ems/tftpboot
use chroot = no
max connections = 2
lock file = /var/lock/rsyncd.tftp
read only = no
list = no
uid = root
auth users = backup
secrets file = /etc/rsyncd.secrets
strict modes = yes
hosts allow = <ip_server2> <virtual_ip>
ignore errors = no
ignore nonreadable = yes
transfer logging = no
timeout = 60
refuse options = checksum dry-run
dont compress = *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz
[ems-wp]
path = <директория SoftWLC>/volumes/eltex-ems/var/ems-data/WP
use chroot = no
max connections = 2
lock file = /var/lock/rsyncd.ems-wp
read only = no
list = no
uid = root
auth users = backup
secrets file = /etc/rsyncd.secrets
strict modes = yes
hosts allow = <ip_server2> <virtual_ip>
ignore errors = no
ignore nonreadable = yes
transfer logging = no
timeout = 60
refuse options = checksum dry-run
dont compress = *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz
[radius-nbi-certs]
path = <директория SoftWLC>/volumes/eltex-radius-nbi/var/lib/eltex-radius-nbi
use chroot = no
max connections = 2
lock file = /var/lock/rsyncd.radius
read only = no
list = no
uid = root
auth users = backup
secrets file = /etc/rsyncd.secrets
strict modes = yes
hosts allow = <ip_server2> <virtual_ip>
ignore errors = no
ignore nonreadable = yes
transfer logging = no
timeout = 60
refuse options = checksum dry-run
dont compress = *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz
[radius-certs]
path = <директория SoftWLC>/data/eltex-radius/etc/eltex-radius/certs
use chroot = no
max connections = 2
lock file = /var/lock/rsyncd.radius
read only = no
list = no
uid = root
auth users = backup
secrets file = /etc/rsyncd.secrets
strict modes = yes
hosts allow = <ip_server2> <virtual_ip>
ignore errors = no
ignore nonreadable = yes
transfer logging = no
timeout = 60
refuse options = checksum dry-run
dont compress = *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz
Для аутентификации, необходимо настроить пользователя rsync, для этого, на каждом сервере создайте файлы /etc/rsyncd.secrets, в которых необходимо указать пароль.
/etc/rsyncd.secrets
backup:rspasswd
Назначить права доступа к файлам, выполнив на обоих серверах:
sudo chmod 600 /etc/rsyncd.secrets
Настройка запуска синхронизации Создайте файлы /etc/rsync_client.secrets, в которых укажите пароль:
Для проверки — запущен ли сервис в данный момент, используется команда:
sudo service rsync status
Конфигурация скрипта для eltex-ems
Операцию синхронизации файлов осуществляет задача cron, в которой выполняется скрипт rsync_ems_backup.sh. Скрипт запускает rsync клиент и синхронизирует локальные директории с директориями на втором (backup) сервере. Синхронизация запускается только в случае, если сервер в состоянии master.
Необходимо создать данный файл в директории, где расположен скрипт для запуска softwlc в docker, например "/home/tester/docker", а также выдать ему права на исполнение (chmod +x rsync_ems_backup.sh)
В строках 6,8,10 необходимо указать директорию, где находится скрипт для запуска softwlc в docker В 13 строке заменить HOST на ip-адрес другого сервера (Пример: HOST=100.111.195.201)
rsync_ems_backup.shРазвернуть исходный код
#!/bin/bash
LOCKFILE="/run/lock/rsync_ems_backup"
# when using docker, specify the path: <directory where docker is deployed>/data/eltex-ems/usr/lib/eltex-ems/conf/
EMS_CONF="<Директория с SoftWLC>/data/eltex-ems/usr/lib/eltex-ems/conf/"
# when using docker, specify the path: <directory where docker is deployed>/volumes/eltex-ems/tftpboot/
EMS_TFTP="<Директория с SoftWLC>/volumes/eltex-ems/tftpboot/"
# when using docker, specify the path: <directory where docker is deployed>/volumes/eltex-ems/var/ems-data/WP/
EMS_WP="<Директория с SoftWLC>/volumes/eltex-ems/var/ems-data/WP/"
# IP address backup server
HOST=<ip адрес второго сервера>
# Check if we're root
if [ `whoami` != "root" ]
then
echo "This script should be run by root."
exit 1
fi
# Check and create lock file
if ! lockfile-create --use-pid -r 0 $LOCKFILE &> /dev/null ; then
echo "Backup is already running"
exit 0
fi
FOLDER="/tmp/rsync"
if [ ! -d "$FOLDER" ]
then
mkdir $FOLDER
fi
# Check - if we're master - try to perform backup to slave
SRVMODE=`cat /tmp/keep.mode`
if [ "$SRVMODE" == "MASTER" ]
then
rsync -urlogtp --delete-after --password-file=/etc/rsync_client.secrets $EMS_CONF backup@$HOST::ems-conf > /tmp/rsync/rsync_ems_conf.log 2>&1
echo $? >> /tmp/rsync/rsync_ems_conf_result.log
rsync -urlogtp --delete-after --password-file=/etc/rsync_client.secrets $EMS_TFTP backup@$HOST::ems-tftp > /tmp/rsync/rsync_ems_tftpboot.log 2>&1
echo $? >> /tmp/rsync/rsync_ems_tftpboot_result.log
rsync -urlogtp --delete-after --password-file=/etc/rsync_client.secrets $EMS_WP backup@$HOST::ems-wp > /tmp/rsync/rsync_ems_wp.log 2>&1
echo $? >> /tmp/rsync/rsync_ems_wp_result.log
else
echo "Not master. No action will be performed."
fi
lockfile-remove $LOCKFILE
Конфигурация скрипта для eltex-radius/eltex-radius-nbi
Сервис eltex-radius-nbi генерирует для каждой из нод свой собственный CA и серверный сертификат, после чего копирует их в eltex-radius:
На основании wireless-ca.crt буду генерироваться клиентские сертификаты (создаются через ЛК) в директории /var/lib/eltex-radius-nbi/certificates/ При создании сертификата пользователя через ЛК он будет сгенерирован на только ноде, на которой сейчас вы находитесь и на основании его собственного wireless-ca.crt. Поэтому при переходе мастерства вторая нода не будет ничего знать о клиентских сертификатах.
Обязательно убедитесь, что в файле<директория SoftWLC>/environment-overrides/eltex-radius-nbi.envв переменной TOMCAT_HOSTустановлен ваш виртуальный ip-адрес
Чтобы это исправить нужно:
Выбираем ноду, которая будет владеть актуальными данными, например первую ноду
Добавить ip-адрес второго хоста в переменную окружения
echo "export SLAVE_HOST="YOUR_IP"" | sudo tee /etc/environment && source /etc/environment
Создайте в директории SoftWLC файл rsync_radius_cert_synchronization.sh и выдайте права на его выполнение (chmod +x rsync_radius_cert_synchronization.sh)
#!/bin/bash
# You mustn't change this script. After new installation it will be replaced.
LOCKFILE="/run/lock/rsync_radius_cert_synchronization"
# when using docker, specify the path: <directory where docker is deployed>/volumes/eltex-radius-nbi/var/lib/eltex-radius-nbi/
RADIUS_NBI_CERTS="/home/tester/docker/volumes/eltex-radius-nbi/var/lib/eltex-radius-nbi/"
# when using docker, specify the path: <directory where docker is deployed>/data/eltex-radius/etc/eltex-radius/certs/
RADIUS_CERTS="/home/tester/docker/data/eltex-radius/etc/eltex-radius/certs/"
# IP address server for synchronization.
# Please before all define SLAVE_HOST for your environment.
SLAVE_HOST=${SLAVE_HOST:-SLAVE_HOST_DEFAULT}
# Check if we're root
if [ `whoami` != "root" ]
then
echo "This script should be run by root."
exit 1
fi
# Check and create lock file
if ! lockfile-create --use-pid -r 0 $LOCKFILE &> /dev/null ; then
echo "Backup is already running"
exit 0
fi
# Check - if we're master - try to perform backup to slave
SRVMODE=`cat /tmp/keep.mode`
if [ "$SRVMODE" == "MASTER" ]
then
rsync -urlogtp --password-file=/etc/rsync_client.secrets $RADIUS_NBI_CERTS backup@$SLAVE_HOST::radius-nbi-certs > /tmp/rsync_radius_nbi_certs.log 2>&1
echo $? >> /tmp/rsync_radius_nbi_certs.log
rsync -urlogtp --password-file=/etc/rsync_client.secrets $RADIUS_CERTS backup@$SLAVE_HOST::radius-certs > /tmp/rsync_radius_certs.log 2>&1
echo $? >> /tmp/rsync_radius_certs.log
else
echo "Not master. No action will be performed."
fi
lockfile-remove $LOCKFILE
Если задача не добавилась или случайно добавилась несколько раз - редактируем список вручную:
sudo crontab -e
Select an editor. To change later, run 'select-editor'.
1. /bin/nano <---- easiest
2. /usr/bin/vim.tiny
3. /usr/bin/code
4. /bin/ed
Choose 1-4 [1]: 1 # выбираем в каком редакторе открыть
Проверить работу rsync можно в EMS. Во вкладке "Информация"-Состояние системы резервирования-Rsync service.
На обоих серверах должна быть запись такого типа:
OK. Успешная синхронизация файлов из директории: /usr/lib/eltex-ems/conf/*
OK. Успешная синхронизация файлов из директории: /tftpboot/*
OK. Успешная синхронизация файлов из директории: /var/ems-data/WP/*
Настройка репликации MySQL
Резервирование данных, хранящихся СУБД MySQL, осуществляется путём встречной репликации по принципу master-master (ведущий-ведущий). То есть, каждый из серверов одновременно является и master и slave. При такой схеме работы, все изменения в БД на одном сервере записываются в специальный бинарный лог, который в реальном времени вычитывает второй сервер и применяет изменения. Второй сервер реплицирует данные с первого, а первый со второго. Это позволяет получить актуальную копию БД на двух хостах одновременно. При разрыве связи, изменения накапливаются, после восстановления происходит синхронизация.
Перенос дампа данных и перенос на второй сервер
При настройке резервирования в процессе эксплуатации (то есть если в MySQL на действующем сервере уже имеются данные), необходимо перенести эти данные на второй сервер. Это можно сделать при помощи утилиты mysqldump.
Для этого, необходимо на первом сервере заблокировать таблицы, снять дамп, разблокировать таблицы и скопировать получившийся файл на второй сервер:
Конфигурация самого демона mysqld заключается в настройке параметров ведения бинарных логов. Обозначения первый сервер и второй сервер далее условны, и применяются лишь для обозначения различий в конфигурации серверов.
Необходимо скопировать конфигураионный файл mysql из контейнера в рабочую директорию softwlc на каждом хосте:
Перезапустить сервис mysql на каждом сервер и создать БД для репликации:
sudo docker compose down eltex-mysql
sudo docker compose up -d eltex-mysql
Создание учетных записей
Для работы репликации необходима служебная учетная запись на каждом из серверов. Под этой учетной записью, сервер будет подключаться к master-серверу и получать изменения в данных.
Создать в консоли MySQL(sudo docker exec -it eltex-mysql mysql -uroot -proot) учетную запись для репликации на первом сервере:
Выполнять из mysql-client ((sudo docker exec -it eltex-mysql mysql -uroot -proot)
GRANT SELECT, SUPER, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'replication'@'<ip_server2>' IDENTIFIED BY 'password';
GRANT SELECT, SUPER, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'replication'@'172.30.0.1' IDENTIFIED BY 'password'; #необходимо для проверки состояния репликации из EMS
FLUSH PRIVILEGES;
Создать в консоли MySQL учетную запись для репликации на втором сервере:
Выполнять из mysql-client (sudo docker exec -it eltex-mysql mysql -uroot -proot)
GRANT SELECT, SUPER, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'replication'@'172.30.0.1' IDENTIFIED BY 'password';
GRANT SELECT, SUPER, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'replication'@'<ip_server2>' IDENTIFIED BY 'password'; #необходимо для проверки состояния репликации из EMS
FLUSH PRIVILEGES;
Адрес 172.30.0.1 задается параметрами подсети в файле docker-compose.yml по умолчанию. При необходимости этот параметр можно изменить.
Привилегия SELECT необходима для работы проверки репликации из GUI EMS
Выдача прав сервисным пользователям
Открыть <Директория SoftWLC>/data/eltex-ems/usr/lib/eltex-ems/conf/config.txt, посмотреть какие username / password используются (по умолчанию - javauser / javapassword)
Выдаем им права на внешний доступ на обоих серверах:
Выполнять из mysql-client (sudo docker exec -it eltex-mysql mysql -uroot -proot)
GRANT ALL PRIVILEGES ON *.* TO 'javauser'@'%' IDENTIFIED BY 'javapassword';
GRANT ALL PRIVILEGES ON eltex_auth_service.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `radius`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `wireless`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `Syslog`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `eltex_doors`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `eltex_ngw`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `ELTEX_PORTAL`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `eltex_ems`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `eltex_alert`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `eltex_auth_service`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `eltex_bruce`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `eltex_pcrf`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `eltex_wids`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `eltex_sorm2`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `eltex_jerry`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `eltex_ott`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `eltex_wifi_customer_cab`.* TO 'javauser'@'%';
GRANT ALL PRIVILEGES ON `eltex_jobs`.* TO 'javauser'@'%';
FLUSH PRIVILEGES;
Включение репликации
Запуск репликации на втором сервере
На первом сервере, в консоли MySQL(sudo docker exec -it eltex-mysql mysql -uroot -proot), выполнить команду show master status и проанализировать полученные значения:
Выполнять из mysql-client (sudo docker exec -it eltex-mysql mysql -uroot -proot)
show master status \G
*************************** 1. row ***************************
File: mysql-bin.000001
Position: 00000107
Binlog_Do_DB: eltex_alert,eltex_ems,wireless,radius,eltex_auth_service,ELTEX_PORTAL,eltex_doors,eltex_ngw,eltex_bruce,eltex_jobs,eltex_ont,eltex_pcrf,eltex_wids,eltex_wifi_customer_cab,
eltex_sorm2,eltex_ott,eltex_jerry
Binlog_Ignore_DB: mysql,Syslog,performance_schema,information_schema
1 row in set (0.00 sec)
Запомнить параметры File и Position.
Настроить и запустить репликацию второго сервера с первого (выполнить действия на втором сервере):
Выполнять из mysql-client (sudo docker exec -it eltex-mysql mysql -uroot -proot)
MASTER_LOG_FILE='mysql-bin.000001' – указать значение File, полученное на первом сервере; MASTER_LOG_POS=107 – указать значение Position, полученное на первом сервере.
Проверить состояние репликации на втором сервере:
Выполнять из mysql-client (sudo docker exec -it eltex-mysql mysql -uroot -proot)
Выполнять из mysql-client (sudo docker exec -it eltex-mysql mysql -uroot -proot)
show slave status \G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: <ip_server2>
Master_User: replication
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000001
Read_Master_Log_Pos: 107
Relay_Log_File: mysqld-relay-bin.000001
Relay_Log_Pos: 107
Relay_Master_Log_File: mysql-bin.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
...
Если параметры Slave_IO_Running и Slave_SQL_Running имеют значение «Yes», значения Master_Log_File и Read_Master_Log_Pos репликация выполняется в обе стороны.
Проверка репликации из EMS-GUI
Состояние репликации MySQL можно контролировать из GUI EMS. Для этого, необходимо отредактировать конфигурационный файл check-ems-replication.conf в директории SoftWLC. Изменения необходимо внести на обоих серверах.
<Директория SoftWLC>/check-ems-replication.conf
# Включить("Yes") / Выключить("No") проверку репликации
ENABLE_REPLICATION="Yes"
# Адрес первого хоста репликации
HOST1=<ip_server1>
# Адрес второго хоста репликации
HOST2=<ip_server2>
# параметры доступа к mysql серверу
# mysql пользователь
USER="replication"
# mysql пароль
PASSWORD="password"
где,
ENABLE_REPLICATION - включена ли проверка репликации (установить в "Yes"); HOST1, HOST2 - ip-адреса серверов; USER, PASSWORD - логин/пароль учетной записи, для работы репликации.
После сохранения изменений, состояние репликации можно отслеживать в GUI EMS в разделе Информация → Состояние системы резервирования → MySQL.
Работа Eltex-PCRF в режиме кластера
Настройка кластера PCRF
Между серверами PCRF нужно открыть порты 5701 tcp, 5801 tcp
На серверах в файлах конфигурации/etc/eltex-pcrf/hazelcast-cluster-network.xmlнужно указать адреса сетевых интерфейсов (в строках 5 и 22 в примере - адрес самого сервера, строки 14-15 - список всех членов кластера) пример, часть конфигурации:
<network>
<!-- Write here public address of the node -->
<!-- здесь нужно указать собственный адрес сервера -->
<public-address>ip_server1</public-address>
<port auto-increment="false" port-count="100">5701</port>
<outbound-ports>
<ports>0</ports>
</outbound-ports>
<join>
<multicast enabled="false"/>
<tcp-ip enabled="true">
<!-- Перечислить IP-адреса всех членов кластера (включая этот) -->
<member>ip_server1</member>
<member>ip_server2</member>
</tcp-ip>
<discovery-strategies>
</discovery-strategies>
</join>
<interfaces enabled="true">
<!-- здесь нужно указать собственный адрес сервера -->
<interface>ip_server1</interface>
</interfaces>
В конфигурации<Директория Softwlc>/environment-override/eltex-pcrf.envнужно разрешить запуск кластера:
PCRF_cluster.enable=true
Перезапустить Eltex-PCRF командой
sudo docker compose down eltex-pcrf
sudo docker compose up -d eltex-pcrf
Особенности настройки ESR для взаимодействия с кластером PCRF
При использовании кластера PCRF на ESR настроить взаимодействие со всеми нодами кластера используя их реальный адрес.
Настройка модулей SoftWLC
Необходимо настроить модули SoftWLC на работу с контроллером по virtual ip на обоих серверах. Необходимо внести изменения в файлы конфигурации environment-override/<Сервис>.env. По умолчанию данные файлы пустые.
Внимание! При изменении настроек подключения к БД Mysql следует исключительно внимательно относится к настройкам коннектов к БД - ошибки в настройке, такие как ошибки в символах между параметрами (например "?" вместо "&"), лишние символы и т. п. приведут к сложно диагностируемым ошибкам подключения к БД!
После внесения изменений в конфигурационные файлы необходимо перезапустить соответствующий сервис:
sudo docker compose restart <Название сервиса>
Файл environment/eltex-pcrf.envРазвернуть исходный код
Файл environment-override/eltex-ems.envРазвернуть исходный код
# DB Event
CONFIG_FORCE_event_jdbc_dbUrl=jdbc:mysql://<virtual-ip>:3306/eltex_alert?useUnicode=true&characterEncoding=utf8&relaxAutoCommit=true&connectTimeout=5000&useSSL=false
# DB Tree
CONFIG_FORCE_tree_jdbc_dbUrl=jdbc:mysql://<virtual-ip>:3306/eltex_ems?useUnicode=true&characterEncoding=utf8&relaxAutoCommit=true&connectTimeout=5000&noAccessToProcedureBodies=true&useSSL=false
# DB Ont
CONFIG_FORCE_ont_jdbc_dbUrl=jdbc:mysql://<virtual-ip>:3306/eltex_ont?useUnicode=true&characterEncoding=utf8&relaxAutoCommit=true&connectTimeout=5000&useSSL=false
# DB Syslog
CONFIG_FORCE_syslog_jdbc_dbUrl=jdbc:mysql://<virtual-ip>:3306/Syslog?useUnicode=true&characterEncoding=utf8&relaxAutoCommit=true&connectTimeout=5000&useSSL=false
# DB acsmain (alias=cpe)
CONFIG_FORCE_cpe_jdbc_dbUrl=jdbc:mysql://<virtual-ip>:3306/acsmain?useUnicode=true&characterEncoding=utf8&relaxAutoCommit=true&connectTimeout=5000&useSSL=false
# DB acscmds(alias=cmds)
CONFIG_FORCE_cmds_jdbc_dbUrl=jdbc:mysql://<virtual-ip>:3306/acscmds?useUnicode=true&characterEncoding=utf8&relaxAutoCommit=true&connectTimeout=5000&useSSL=false
# DB acsinf(alias=inf)
CONFIG_FORCE_inf_jdbc_dbUrl=jdbc:mysql://<virtual-ip>:3306/acsinf?useUnicode=true&characterEncoding=utf8&relaxAutoCommit=true&connectTimeout=5000&useSSL=false
# DB acscache(alias=cache)
CONFIG_FORCE_cache_jdbc_dbUrl=jdbc:mysql://<virtual-ip>:3306/acscache?useUnicode=true&characterEncoding=utf8&relaxAutoCommit=true&connectTimeout=5000&useSSL=false
# DB radius(alias=radius)
CONFIG_FORCE_radius_jdbc_dbUrl=jdbc:mysql://<virtual-ip>:3306/radius?useUnicode=true&characterEncoding=utf8&relaxAutoCommit=true&connectTimeout=5000&useSSL=false
# DB wireless (alias=wireless)
CONFIG_FORCE_wireless_jdbc_dbUrl=jdbc:mysql://<virtual-ip>:3306/wireless?useUnicode=true&characterEncoding=utf8&relaxAutoCommit=true&connectTimeout=5000&useSSL=false
Файл environment-override/eltex-bruce.envРазвернуть исходный код
# URI для подключения к БД MySQL
SPRING_DATASOURCE_URL=jdbc:mysql://<virtual-ip>/eltex_bruce
# URI для подключения к БД MySQL
SPRING_FLYWAY_URL=jdbc:mysql://<virtual-ip>/eltex_bruce
# URI для подключения к БД MySQL
SPRING_QUARTZ_PROPERTIES_ORG_QUARTZ_DATASOURCE_QUARTZDATASOURCE_URL=jdbc:mysql://<virtual-ip>:3306/eltex_bruce
Файл environment-override/eltex-disconnect-service.envРазвернуть исходный код
# Настройки pcrf
pcrf.host=<virtual-ip>
Файл environment-override/eltex-doors.envРазвернуть исходный код
# Настройка подключения к БД
database.host=<virtual-ip>
Файл environment-override/eltex-johnny.envРазвернуть исходный код
# Хост подключения к сервису eltex-pcrf
pcrf.host=<virtual-ip>
Файл environment-override/eltex-logging-service.envРазвернуть исходный код
# Настройка подключения к БД eltex_wifi_customer_cab
database.jdbcUrl=jdbc:mysql://<virtual-ip>/eltex_wifi_customer_cab
Файл environment-override/eltex-mercury.envРазвернуть исходный код
# Хост подключения к БД
database.host=<virtual_ip>
Файл data/eltex-pcrf/etc/eltex-pcrf/hazelcast-local.xmlРазвернуть исходный код
Скопируйте лицензии в директорию /usr/lib/eltex-ems/conf/licence/ на обоих серверах.
Если используются иные лицензионные файлы, также необходимо скопировать их на второй сервер (список всех лицензионных файлов доступен в следующей статье)
Добавление пользователя в таблицу NAS
Для доступа в Личный кабинет необходимо добавить соответствующие записи в таблицу NAS.
Данная таблица находится в БД eltex_auth_service и содержит адреса клиентов, имеющих право отправлять запросы на проведение авторизации пользователей. Если клиент не включен в эту таблицу, то запросы авторизации будут игнорироваться.
Для этого в личном кабинете в разделе Настройки → Серверные адреса добавить :
<ip_server_1> - IP-адрес сервера-1
<ip_server_2> - IP-адрес сервера-2
<virtual_ip> - Виртуальный IP-адрес
Ключ RADIUS -eltex
Смена настроек в GUI
Также нужно настроить модули SoftWLC при помощи графического интерфейса.
Личный кабинет Wi-Fi
В разделе Настройки → Интеграция в параметрах PCRF URL,URL NGW-клиента и URL конструктора порталов изменить localhost на виртуальный ip-адрес:
Конструктор порталов
Изменить localhost на виртуальный ip-адрес в разделах настроек:
Системные настройки → Конструктор порталов
Системные настройки → Доступ к NBI
Системные настройки → Доступ к NGW
Системные настройки → Доступ к PCRF
Системные настройки → Доступ к Mercury
EMS-GUI
В графическом интерфейсе сервера EMS изменить localhost (либо 127.0.0.1) на виртуальный ip-адрес в следующих разделах: