Введение

Управление аутентификацией и авторизацией пользователей требует обеспечения высокой доступности NAC-системы, т. к. в случае её отказа подключение пользователей и эндпоинтов станет невозможным.

Резервирование Eltex-NAICE выполняется по схеме Active-Active с использованием VRRP-адреса, что позволяет использовать один RADIUS-сервер в настройках сетевых устройств и зарезервировать подключение для сетевых устройств, настройки которых не поддерживают указание нескольких RADIUS-серверов. Для настройки схемы с резервирование требуется выделить 4 виртуальных (или физических) сервера: 2 для функционирования сервисов NAICE, 2 для функционирования СУБД PostgreSQL, отвечающей за хранение данных.

Установка обновлением схемы с резервированием на хост, который ранее использовался для работы системы в однохостовом режиме не допускается

Порядок действий при переходе с однохостовой схемы на схему с резервированием описан в v1.1_3.8.1 Обновление PostgreSQL при переходе со схемы с однохостовой установкой на схему с резервированием.

Общая схема резервирования

  • Резервирование NAICE выполняется по схеме Active-Active, возможно обращение к любому серверу NAICE протоколу RADIUS со стороны сетевых устройств. Потребует настройки одного инстанса radius-server host с указанием VIP адреса на сетевом оборудовании, либо двух инстансов radius-server host с указанием реальных адресов NAICE.
  • Между IP-адресами серверов с NAICE используется дополнительно VIP, зарезервированный по протоколу VRRP с использованием сервиса keepalived. Данный адрес также может использоваться сетевым оборудованием для обмена RADIUS-трафиком и позволяет ограничиться настройкой только одного инстанса radius-server host на нём. Также адрес используется для административного доступа: подключение к WEB-интерфейсу управления.
  • Для резервирования БД PostgreSQL используется replication manager. Резервирование выполняется на двух нодах, которые имеют роли Primary и Standby.
  • В настройках подключения к БД сервисов NAICE указываются оба адреса БД.

    Для лицензирования схемы с резервированием требуется две лицензии для каждого из хостов NAICE. Лицензии должны иметь уникальные Product ID, но одинаковый ключ лицензии.


Системные требования к серверам

Системные требования к серверам описаны в разделе "Установка с резервированием" статьи v1.1_3.1 Системные требования

Установка

Возможна онлайн и оффлайн установка.

Установка онлайн возможна на все поддерживаемые типы ОС и описана далее.

Оффлайн установка (закрытый контур) описана в разделе v1.1_3.4.1 Установка схемы с резервированием в закрытом контуре (с использованием VRRP)

Онлайн установка

Для выполнения онлайн установки требуется обеспечить с хостов, на которые выполняется установка, прямой доступ в сеть Интернет (без использования прокси-сервера или иных способов, которые вызывают подмену сертификатов конечных сайтов, к которым выполняется обращение в ходе установки).

Требуется указывать IP-адреса целевых серверов при выполнении установки! Использование доменных имен не допускается!

Установка выполняется с помощью двух плейбуков ansible:

  • Выполняется установка СУБД PostgrteSQL в кластере плейбуком install-postgres-cluster.yml.
  • Выполняется установка сервисов NAICE и сервиса keepalived плейбуком reservation-naice-services.yml.

Подготовка к установке 

Адреса целевых хостов, на которых будет выполняться установка, определяется в файле inventory/hosts-cluster.yml.

Для СУБД PostgreSQL необходимо задать адреса в разделе postgres-cluster:

# Группа хостов для установки postgres-cluster (primary + standby)
postgres-cluster:
  hosts:
    node_primary:
      ansible_host: <IP-адрес хоста для node-1 PostgreSQL>
      ansible_port: 22
      ansible_user: <логин пользователя>
      ansible_ssh_pass: <пароль пользователя>
      ansible_become_password: <пароль для повышения привилегий (sudo)>
      forwarded_postgresql_port: 5432
      forwarded_ssh_port: 15432
    node_standby:
      ansible_host: <IP-адрес хоста для node-2 PostgreSQL>
      ansible_port: 22
      ansible_user: <логин пользователя>
      ansible_ssh_pass: <пароль пользователя>
      ansible_become_password: <пароль для повышения привилегий (sudo)>
      forwarded_postgresql_port: 5432
      forwarded_ssh_port: 15432

Для установки сервисов NAICE с резервированием необходимо задать адреса в разделе reservation:

# Группа хостов для установки NAICE с резервированием
reservation:
  hosts:
    master_host:
      ansible_host: <IP-адрес хоста 1 для NAICE>
      ansible_port: 22
      ansible_user: <логин пользователя>
      ansible_ssh_pass: <пароль пользователя>
      ansible_become_password: <пароль для повышения привилегий (sudo)>
      keepalived_interface: <наименование интерфейса, на котором будет настроен VIP-адрес, например eth0>

    backup_host:
      ansible_host: 192.168.0.102
      ansible_port: 22
      ansible_user: <логин пользователя>
      ansible_ssh_pass: <пароль пользователя>
      ansible_become_password: <пароль для повышения привилегий (sudo)>
      keepalived_interface: <наименование интерфейса, на котором будет настроен VIP-адрес, например eth0>
  vars:
    keepalived_vip: <VIP-адрес, без маски, например 192.168.0.11>

При выполнении онлайн установки не требуется указывать данные для доступа к хосту, на котором запускается плейбук, в разделе Local actions. Данный раздел используется только при выполнении установки в закрытом контуре.

Установка кластера СУБД PostgreSQL

Выполнить плейбук:

ansible-playbook install-postgres-cluster.yml -i inventory/hosts-cluster.yml

Результатом выполнения плейбука будет установка СУБД PostgreSQL в кластере на серверах, указанных в node_primary и node_standby. Мастер-нода кластера будет находиться на хосте node_primary.

Проверка состояния кластера PostgreSQL после установки описана в инструкции Диагностика состояния кластера БД PostgreSQL.

Установка кластера NAICE

Перед установкой необходимо убедиться, что роль Primary принадлежит ноде PostgreSQL, указанной в переменной node_primary "ansible_host". При необходимости выполнить переключение роли Primary. В противном случае установка не сможет быть завершена.

В настройках подключения к БД сервисов NAICE указываются оба адреса БД, а запись в БД возможна только через Primary-сервер, обязательным условием является использование в URL параметра targetServerType.
Пример:

URSUS_POSTGRES_JDBC_URL:jdbc:postgresql://192.168.0.101:5432,192.168.0.102:5432/ursus?targetServerType=preferPrimary

Адреса взаимодействия с БД берутся из значения ansible_host из раздела postgres-cluster файла hosts-cluster.yml.

Для установки необходимо выполнить плейбук:

ansible-playbook reservation-naice-services.yml -i inventory/hosts-cluster.yml

Проверка состояния кластера NAICE

После завершения установки на одной из нод кластера, NAICE захватит мастерство VRRP и поднимет у себя на интерфейсе VIP-адрес. Для того, чтобы узнать на какой ноде он находится, необходимо выполнить команду на каждой ноде:

ip address show dev <имя интерфейса указанное в переменной keepalived_interface>
Пример вывода VRRP MASTER
$ip address show dev eth0
4: eth2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 02:00:a5:a1:b2:ce brd ff:ff:ff:ff:ff:ff
    altname enp0s5
    altname ens5
    inet 192.168.0.101/24 brd 192.168.0.255 scope global eth2
       valid_lft forever preferred_lft forever
    inet 192.168.0.103/32 scope global eth2:NAICE
       valid_lft forever preferred_lft forever
    inet6 fe80::a5ff:fea1:b2ce/64 scope link
       valid_lft forever preferred_lft forever
Пример вывода VRRP BACKUP
$ip a show dev eth2
4: eth2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 02:00:a5:a1:b2:cf brd ff:ff:ff:ff:ff:ff
    altname enp0s5
    altname ens5
    inet 192.168.0.102/24 brd 192.168.0.255 scope global eth2
       valid_lft forever preferred_lft forever
    inet6 fe80::a5ff:fea1:b2cf/64 scope link
       valid_lft forever preferred_lft forever

VIP-адрес должен быть только на одной ноде кластера. Если адрес отображается на обоих нодах, это, как правило, означает отсутствие связности между ними.

Для работы протокола VRRP требуется наличие L2-связности и возможность передавать мультикаст-трафик на адреса VRRP 00:00:5E:00:01:XX (используемые для рассылки анонсов MAC-адреса определенные в RFC3768).

На хосте зайти в папку установки (по умолчанию /etc/docker-naice) и убедиться, что контейнеры запущены. 

Пример вывода
$ sudo docker compose ps -a
NAME               IMAGE                                                               COMMAND                  SERVICE         CREATED         STATUS                   PORTS
epg-service        naice-build-hosted.registry.eltex.loc/naice/epg-service:1.1-2       "/bin/sh -e /usr/loc…"   epg-service     9 minutes ago   Up 9 minutes (healthy)   0.0.0.0:8100->8100/tcp, [::]:8100->8100/tcp
naice-aquila       naice-release.registry.eltex.loc/naice-aquila:1.0                   "java -cp @/app/jib-…"   naice-aquila    9 minutes ago   Up 8 minutes (healthy)   0.0.0.0:49->49/tcp, [::]:49->49/tcp, 0.0.0.0:5703->5703/tcp, [::]:5703->5703/tcp, 0.0.0.0:8091-8092->8091-8092/tcp, [::]:8091-8092->8091-8092/tcp
naice-bubo         naice-release.registry.eltex.loc/naice-bubo:1.0                     "java -cp @/app/jib-…"   naice-bubo      9 minutes ago   Up 8 minutes (healthy)   0.0.0.0:5704->5704/tcp, [::]:5704->5704/tcp, 0.0.0.0:8093-8094->8093-8094/tcp, [::]:8093-8094->8093-8094/tcp
naice-castor       naice-release.registry.eltex.loc/naice-castor:1.0                   "java -Djava.awt.hea…"   naice-castor    9 minutes ago   Up 8 minutes (healthy)   0.0.0.0:5705->5705/tcp, [::]:5705->5705/tcp, 0.0.0.0:8095-8096->8095-8096/tcp, [::]:8095-8096->8095-8096/tcp
naice-gavia        naice-release.registry.eltex.loc/naice-gavia:1.0                    "java -cp @/app/jib-…"   naice-gavia     9 minutes ago   Up 7 minutes (healthy)   0.0.0.0:8080->8080/tcp, [::]:8080->8080/tcp
naice-gulo         naice-release.registry.eltex.loc/naice-gulo:1.0                     "java -cp @/app/jib-…"   naice-gulo      9 minutes ago   Up 8 minutes (healthy)   0.0.0.0:8089-8090->8089-8090/tcp, [::]:8089-8090->8089-8090/tcp
naice-lemmus       naice-release.registry.eltex.loc/naice-lemmus:1.0                   "java -cp @/app/jib-…"   naice-lemmus    9 minutes ago   Up 8 minutes (healthy)   0.0.0.0:8083->8083/tcp, [::]:8083->8083/tcp
naice-lepus        naice-release.registry.eltex.loc/naice-lepus:1.0                    "java -cp @/app/jib-…"   naice-lepus     9 minutes ago   Up 9 minutes (healthy)   0.0.0.0:8087->8087/tcp, [::]:8087->8087/tcp, 0.0.0.0:67->1024/udp, [::]:67->1024/udp
naice-mustela      naice-release.registry.eltex.loc/naice-mustela:1.0                  "java -cp @/app/jib-…"   naice-mustela   9 minutes ago   Up 8 minutes (healthy)   0.0.0.0:8070-8071->8070-8071/tcp, [::]:8070-8071->8070-8071/tcp
naice-nats         naice-build-hosted.registry.eltex.loc/naice/nats:0.7.1              "docker-entrypoint.s…"   nats            8 hours ago     Up 9 minutes (healthy)   0.0.0.0:4222->4222/tcp, [::]:4222->4222/tcp, 0.0.0.0:6222->6222/tcp, [::]:6222->6222/tcp, 0.0.0.0:7777->7777/tcp, [::]:7777->7777/tcp, 0.0.0.0:8222->8222/tcp, [::]:8222->8222/tcp
naice-ovis         naice-release.registry.eltex.loc/naice-ovis:1.0                     "java -cp @/app/jib-…"   naice-ovis      9 minutes ago   Up 8 minutes (healthy)   0.0.0.0:5701->5701/tcp, [::]:5701->5701/tcp, 0.0.0.0:8084-8085->8084-8085/tcp, [::]:8084-8085->8084-8085/tcp
naice-postgres-1   naice-build-hosted.registry.eltex.loc/naice/postgres-repmgr:1.0.6   "/opt/bitnami/script…"   postgres-1      8 hours ago     Up 8 hours (healthy)     0.0.0.0:5432->5432/tcp, [::]:5432->5432/tcp, 0.0.0.0:15432->22/tcp, [::]:15432->22/tcp
naice-radius       naice-release.registry.eltex.loc/naice-radius:1.0                   "/docker-entrypoint.…"   naice-radius    9 minutes ago   Up 9 minutes (healthy)   0.0.0.0:1812-1813->1812-1813/udp, [::]:1812-1813->1812-1813/udp, 0.0.0.0:9812->9812/tcp, [::]:9812->9812/tcp
naice-sterna       naice-release.registry.eltex.loc/naice-sterna:1.0                   "/docker-entrypoint.…"   naice-sterna    9 minutes ago   Up 6 minutes (healthy)   80/tcp, 0.0.0.0:8443->444/tcp, [::]:8443->444/tcp
naice-ursus        naice-release.registry.eltex.loc/naice-ursus:1.0                    "java -cp @/app/jib-…"   naice-ursus     9 minutes ago   Up 9 minutes (healthy)   0.0.0.0:8081-8082->8081-8082/tcp, [::]:8081-8082->8081-8082/tcp
naice-vulpus       naice-release.registry.eltex.loc/naice-vulpus:1.0                   "java -cp @/app/jib-…"   naice-vulpus    9 minutes ago   Up 8 minutes (healthy)   0.0.0.0:5702->5702/tcp, [::]:5702->5702/tcp, 0.0.0.0:8086->8086/tcp, [::]:8086->8086/tcp, 0.0.0.0:8088->8088/tcp, [::]:8088->8088/tcp
naice-web          naice-release.registry.eltex.loc/naice-web:1.0                      "/docker-entrypoint.…"   naice-web       9 minutes ago   Up 6 minutes (healthy)   80/tcp, 0.0.0.0:443->443/tcp, [::]:443->443/tcp, 0.0.0.0:80->4200/tcp, [::]:80->4200/tcp

Описание схемы работы

Нормальное состояние системы

В нормальном состоянии системы функционируют все четыре хоста.

  • Обработка RADIUS-запросов возможна на всех трех адресах кластера;
  • Взаимодействие сервисов с БД выполняется по двум реальным адресам нод кластера PostgrteSQL. Нода, доступная для записи в состоянии Primary, определяется автоматически.

Отказ хоста NAICE 1

При отказе хоста NAICE 1 будут автоматически выполнены следующие действия:

  • Хост NAICE 2 автоматически перехватит VRRP-мастерство;
  • Обработка RADIUS-запросов будет выполняться адресами VIP и реальным адресом хоста NAICE 2.

Отказ хоста БД 1

При отказе хоста БД 1 будут автоматически выполнены следующие действия:

  • Хост БД 2 автоматически перейдет в состояние Primary;
  • Сервисами NAICE будет определен факт недоступности БД 1 и дальнейшие действия по работе с БД будут выполняться с хостом БД 2;
  • Обработка RADIUS-запросов возможна на всех трех адресах кластера.

Восстановление после отказа

  1. После возвращения в работу хоста NAICE, более высокоприоритетный VRRP инстанс не выполняет перехват мастерства и будет работать в состоянии VRRP BACKUP.
  2. После возвращения в работу хоста БД PostgreSQL, он будет работать в режиме Standby. Роль Primary останется у текущей ноды кластера.

Восстановление хоста

В случае полной утраты одного из хостов требуется предварительно восстановить стартовое состояние: развернуть ОС, настроить IP-адресацию и пользователей, как было ранее, и выполнить процедуру восстановления.

Восстановление хоста кластера БД PostgreSQL

На оставшейся в работе ноде, выполнить резервное копирование данных в соответствии с инструкцией: v1.1_3.9 Создание резервной копии данных БД и восстановление данных БД.

Повторно развернуть хост для вышедшей из строя ноды кластера с прежней ОС, адресацией и пользователем.

Выполнить плейбук:

ansible-playbook install-postgres-cluster.yml -i inventory/hosts-cluster.yml

После завершения работы плейбука, проверить состояние кластера БД PostgreSQL, убедиться в его работоспособности и проверить работу авторизации и корректности настроек в GUI.

Восстановление хоста сервисов NAICE

Повторно развернуть хост для вышедшей из строя ноды кластера с прежней ОС, адресацией и пользователем.

Выполнить плейбук:

ansible-playbook reservation-naice-services.yml -i inventory/hosts-cluster.yml

При повторном выполнении установки будет выполнен перезапуск всех сервисов NAICE, что приведет к кратковременному (до 5 мин) перерыву в работе комплекса. Необходимо это учитывать при проведении работ по восстановлению.

Также будет выполнен перезапуск сервиса keepalived, что приведет к переходу VRRP-мастерства на более высокоприоритетный инстанс.

В случае, если выполнялось восстановление первого хоста NAICE, будет выпущен новый самоподписанный сертификат HTTPS.

После восстановления, убедиться в работе авторизации и корректной работе всех сервисов.

  • Нет меток