Первоначальная установка системы с резервированием, в кластере из двух серверов

Исходные данные

Вариант с резервом,  используется на проектах чаще , поэтому его мы рассмотрим первым. Пример установки на одном сервере будет приведен ниже

Конфигурация системы  в кластере из двух серверов

Исходные данные

В данном разделе использованы специфичные для данного продукта термины, ознакомиться с ними можно здесь.

Техническое задание:

Требуется интеграция программного коммутатора 5 класса ECSS-10 (SSW) на 2-х физических серверах с поддержкой SIP со следующими параметрами на нагрузку группы серверов:

• Максимальное количество абонентов 15000 (MUL — Max user limit);
• Максимальное количество одновременных соединений 2000 (MCL — Max call limit);
• Требуется полный резерв системы ecss (все node резервируется на втором сервере);
• Количество сетевых интерфейсов ethernet — 3/5.

По техническому заданию требуется определить аппаратную платформу.

Полоса пропускания СПД

Требуемая полоса пропускания СПД  не менее 1000Mb/s

Пример составления аппаратных требований:

Включение в сеть

Топологию включения сервера в сеть для обеспечения резервирования рекомендуется делать с использованием 2-х коммутаторов. Пример на рисунке ниже.

Рисунок 1 — Схема организации связи

Вариант 1. Схема active-backup

Коммутаторы связаны между собой в erps-кольцо.

Все 4 физических сетевых интерфейса каждого сервера объединяются в 1 агрегированный линк (bond). Агрегация портов сервера настраивается в режиме active-backup, т.е. в работе всегда находится только 1 сетевой интерфейс. Сетевые интерфейсы каждого сервера попарно включены в коммутаторы, на которых агрегация портов (port-channel) также настраивается в режиме active-backup. Например, eth1 и eth2 каждого сервера включаются в первый коммутатор (port-channel 1 и 2), а eth3 и eth4 (port-channel 3 и 4) — во второй.

Вариант 2. Схема LACP

Коммутаторы связаны между собой в стек. Стек должен логически работать как один коммутатор, способный обеспечивать агрегацию портов в режиме LACP между разными физическими коммутаторами. Пример — коммутаторы MES-3124 со специализированной прошивкой.

Все 4 физических сетевых интерфейса также объединяются в 1 агрегированный линк (bond). Агрегация портов сервера настраивается в режиме 802.3ad. Создаются агрегированные группы сетевых карт с одинаковой скоростью и дуплексом. При таком объединении передача задействует все каналы в активной агрегации согласно стандарту IEEE 802.3ad. Выбор того, через какой интерфейс необходимо отправлять пакет, определяется политикой. По умолчанию это XOR-политика, можно использовать «xmit_hash» политику. Подробнее — в разделе Приложение Е. Netplan.

Требования:

• Поддержка Ethtool в драйвере для получения информации о скорости и дуплексе на каждом сетевом интерфейсе;
• Поддержка на коммутаторе стандарта IEEE 802.3ad;

Сетевые интерфейсы сервера также попарно включены в коммутаторы, на которых агрегация портов (port-channel) тоже настраивается в режиме LACP. Например, eth1 и eth2 каждого сервера включаются в первый коммутатор (port-channel 1 и 2), а eth3 и eth4 (port-channel 3 и 4) — во второй. 

Последовательность установки SSW ECSS10 в кластере из двух серверов

Установка SSW ECSS10 состоит из 2-х основных частей :

• Подготовительной  -  Установка ОС  Astra Linux 1.7, обновлений пакетов OC Astra Linux 1.7 , установка дополнительных пакетов программ, подготовка сетевых интерфейсов,  /etc/hosts, ssh-keygen

• Установка приложений Eltex ECSS10

Подготовительный этап

В этом разделе приведено описание инсталляции операционной системы, а также необходимых и дополнительных пакетов. Система ECSS-10 версии 3.14 работает под управлением ОС  Astra Linux 1.7.

Предварительные требования

• Установочный загрузочный носитель с дистрибутивом операционной системы;
• Подготовленный сервер с обновленным BIOS, ILO (если есть), подключенная сеть для доступа;
• Выставленный первый приоритет загрузки с установочного носителя — USB Flash или CD/DVD в BIOS;
• Достаточный объем дискового пространства и памяти в соответствии с проектом.

Установка ОС

Для установки ОС необходимо выполнить следующее:

• После загрузки с установочного носителя выбрать "Графическая установка" или "Установка".
• Согласится с лицензионным соглашением.
• Выбрать  раскладку клавиатуры.

• Выбрать сетевой интерфейс для подключения к сети Интернет.

• Установить имя компьютера (рекомендованы ecss1/ecss2)
• Настроить  пользователя- администратора.
• Создать партиции на диске в соответствии с таблицей 1 (разметка диска - Вручную).
• В процессе установке , не создавать раздел swap . При напоминании о пропуске раздела , подтвердить , что установка выполняется без создания swap. (см рис. 1)
• Установить часовой пояс.
• Установить OpenSSH server (активизировать пункт : "Средства удаленного подключения SSH" см рис. 2).
• Выбрать уровень защищенности, который используется в вашем проекте (в примере будем использовать вариант "Воронеж" см рис.3)
• Дополнительные настройки ОС - по умолчанию(см рис.4)
• Перезагрузить успешно установленную ОС

рис. 1

рис. 1

рис. 2

рис. 3

Таблица 1 — Вариант размещения информации в файловой системе на физических носителях для серверов

* Если сервер не будет работать в кластере, то вместо glusterfs создается раздел /var/lib/ecss/restfs.

** Рекомендуемое значение для серий Light, Light+, Midi — 100 Gb. Рекомендуемое значение для серии Heavy — 200 Gb,  Super Heavy — 400 Gb.

Для работы системы необходимо как минимум 256 Gb свободного пространства.

На серверах системы необходимо настроить параметр "hostname".

На всех серверах системы желательно указать одинаковое имя пользователя (любое, кроме ssw). Лицензия ECSS-10 привязывается к ключу eToken/ruToken и к имени компьютера (hostname). Системный пользователь ssw создается при инсталляции пакета ecss-user.

При установке системы в кластере, рекомендуемое значение для первого сервера — ecss1, для второго — ecss2.

Проверка установки ОС

Проверка в основном сводится к правильности создания разделов диска и наличия доступа по ssh.

Для вывода информации о состоянии дискового пространства введите команду df -h. Она покажет общее и занятое место в разделах. Размеры разделов должны соответствовать проекту и введенным значениям при установке.

Для проверки доступа по ssh с машины, находящейся в одной подсети со вновь установленным сервером, нужно выполнить команду:

ssh <user>@<IP_ecss>

где:

• <user> — имя пользователя, заданного при установке;
• <IP_ecss> — IP-адрес хоста, заданного при установке.

Настройка /etc/hosts

Доменному имени хоста ecss1 должен соответствовать адрес 127.0.1.1. Также нужно прописать адрес хоста ecss2. Для этого в файле /etc/hosts необходимо прописать IP-адреса хостов ecss.

Например, для кластера: ecss1 имеет адрес 10.0.10.41, ecss2 — 10.0.10.42. Данные адреса нужно прописать в /etc/hosts:
посмотреть можно командой cat /etc/hosts
изменить/добавить командой sudo nano /etc/hosts
после модификации должен проходить пинг с сервера ecss1 ping ecss2 и наоборот с сервера ecss2 ping ecss1

sudo nano /etc/hosts

ecss1:

127.0.0.1 localhost
127.0.1.1 ecss1
10.0.10.42 ecss2

ecss2:

127.0.0.1 localhost
127.0.1.1 ecss2
10.0.10.41 ecss1

Настройка сетевых интерфейсов

Получение адресов на сетевых интерфейсах по DHCP недопустимо на серверах ECSS.

Сетевые настройки необходимо выполнять с помощью Netplan.

По умолчанию в Astra Linux пакет netplan не установлен.
Необходимо выполнить следующие действия. После установки для обновления будет использоваться только образ DVD диска, загрузка с репозитория отключена. 

Давайте разрешим обновление пакетов с локального репозитория Eltex.

Копируем  образ репозитория Eltex  в локальную директорию.

scp eltex_repo_latest.tar.gz eltex@10.0.20.40:/home/eltex

И распаковываем архив.

пример:

tar -xzf eltex_repo_latest.tar.gz 

перемещаем директорию с Eltex пакетами в /var/spool/:

sudo mv eltex_repo /var/spool/

sudo apt-key add eltex_repo_gpg.key

Редактируем source.list

echo "deb file:/var/spool/eltex_repo 1.7_x86-64 contrib main non-free" | sudo tee -a /etc/apt/sources.list

Выполнить обновление:

sudo apt update

Установить пакеты для обслуживание функции netplan:

sudo apt install -y dialog libssl1.0.0 netplan.io

Сейчас можно выполнить конфигурацию netplan:

sudo nano /etc/netplan/ecss.yaml

Пример netplan для режима active-backup

# Netplan для хоста ecss1 программного коммутатора
# Обратите внимание на обязательное наличие минимум двух пробелов в каждой строке и секции (кроме строки секции network)

network:
  version: 2 # Версия netplan
  renderer: networkd # Исполнитель конфигураций netplan
  ethernets: # Раздел описания интерфейсов ethernet
    eth0: # Название интерфейса
      dhcp4: no # Отключаем на интерфейсах динамическое распределение IP-адреса
      addresses: [192.168.56.41/24] # Интерфейс управления ОАМ
    eth1:
      dhcp4: no
    eth2:
      dhcp4: no
    eth3:
      dhcp4: no
    eth4:
      dhcp4: no

  bonds: # Раздел описания связанных (bonding) интерфейсов
    bond1: # Название bonding-интерфейса 
      interfaces: # Секция определения связанного интерфейса
      - eth1
      - eth2
      - eth3
      - eth4
      parameters: # Раздел определения параметров связанного интерфейса
        primary-reselect-policy: failure # позволяет избежать лишний переключений
        gratuitous-arp: 5 # Способствует более быстрому переключению
        all-slaves-active: true # принимать входящие кадры на backup интерфейсах
        up-delay: 1000 # сделать задержку в одну секунду
        mode:  active-backup # Режим резервирования, один  активным, а остальные в резерве
        mii-monitor-interval: 100 # интервал мониторинга интерфейса(мс)
        primary: eth1 # Секция определения основного интерфейса
      optional: false # Определение, является ли интерфейс обязательным при старте
  
  vlans:
    net.10: # Интерфейс управления
        id: 10
        link: bond1
        addresses: [10.0.10.41/24]
    net.20: # Интерфейс для VoIP
      id: 20
      link: bond1
      addresses: [10.0.20.41/24]

# Netplan для хоста ecss2 программного коммутатора
# Обратите внимание на обязательное наличие минимум двух пробелов в каждой строке и секции (кроме строки секции network)

network:
  version: 2 # Версия netplan
  renderer: networkd # Исполнитель конфигураций netplan
  ethernets: # Раздел описания интерфейсов ethernet
    eth0: # Название интерфейса
      dhcp4: no # Отключаем на интерфейсах динамическое распределение IP-адреса
      addresses: [192.168.56.42/24] # Интерфейс управления ОАМ
    eth1:
      dhcp4: no
    eth2:
      dhcp4: no
    eth3:
      dhcp4: no
    eth4:
      dhcp4: no

  bonds: # Раздел описания связанных (bonding) интерфейсов
    bond1: # Название bonding-интерфейса 
      interfaces: # Секция определения связанного интерфейса
      - eth1
      - eth2
      - eth3
      - eth4
      parameters: # Раздел определения параметров связанного интерфейса
        primary-reselect-policy: failure # позволяет избежать лишний переключений
        gratuitous-arp: 5 # Способствует более быстрому переключению
        all-slaves-active: true # принимать входящие кадры на backup интерфейсах
        up-delay: 1000 # сделать задержку в одну секунду
        mode:  active-backup # Режим резервирования, один  активным, а остальные в резерве
        mii-monitor-interval: 100 # интервал мониторинга интерфейса(мс)
        primary: eth1 # Секция определения основного интерфейса
      optional: false # Определение, является ли интерфейс обязательным при старте
  
  vlans:
    net.10: # Интерфейс управления
        id: 10
        link: bond1
        addresses: [10.0.10.42/24]
    net.20: # Интерфейс для VoIP
      id: 20
      link: bond1
      addresses: [10.0.20.42/24]

В случае использования QinQ, для используемых интерфейсов, рекомендуется установить значение mtu=1600.

Следующие настройки bonds обязательны для сервера ECSS10, чтобы схема работала верно:

mode: active-backup - задаёт режим работы, когда один из линков выбирается активным, а остальные остаются в резерве;
primary-reselect-policy: failure - указывает, что выбирать новый активный линк следует только тогда, когда текущий активный линк переходит в состоянии аварии. Это позволяет избежать лишний переключений;
gratuitous-arp: 5 - при смене активного линка в сторону коммутатора отправляются пять запросов gratuitous ARP, чтобы обновить на нём таблицу коммутации. Способствует более быстрому переключению;
all-slaves-active: true - заставляет принимать входящие кадры на backup интерфейсах. Таким образом балансировка трафика на MESе не мешает работе. Данные в сторону сервера идут со всех линков, а сервер отправляет данные только с active линка;
mii-monitor-interval: 100 - активирует мониторинг линков через интерфейс MII и указывает интервал опроса в 100 мс;
up-delay: 1000 - указывает считать поднявшийся интерфейс доступным для работы не сразу, а сделать задержку в одну секунду после того, как интерфейс поднялся. Необходимо для того, чтобы избежать лишних переключений в случае, когда порт "прыгает" несколько раз из состояния "включено" в состояние "выключено" и обратно.

fail-over-mac-policy: active - требуется для корректной работы в виртуальных машинах mac на каждом интерфейсе индивидуальный (в данных примерах не установлен, но был протестирован при создании документации)

Пример netplan для режима 802.3ad

# Netplan для хоста ecss1 программного коммутатора
# Обратите внимание на обязательное наличие минимум двух пробелов в каждой строке и секции (кроме строки секции network)

network:
  version: 2 # Версия netplan
  renderer: networkd # Исполнитель конфигураций netplan
  ethernets: # Раздел описания интерфейсов ethernet
    eth0: # Название интерфейса
      dhcp4: no # Отключаем на интерфейсах динамическое распределение IP-адреса
      addresses: [192.168.56.41/24] # Интерфейс управления ОАМ
    eth1:
      dhcp4: no
    eth2:
      dhcp4: no
    eth3:
      dhcp4: no
    eth4:
      dhcp4: no

  bonds: # Раздел описания связанных (bonding) интерфейсов
    bond1: # Название bonding-интерфейса 
      interfaces: # Секция определения связанного интерфейса
      - eth1
      - eth2
      - eth3
      - eth4
      parameters: # Раздел определения параметров связанного интерфейса
        mode: 802.3ad # Режим LACP
        mii-monitor-interval: 100 # интервал мониторинга интерфейса(мс)
        primary: eth1 # Секция определения основного интерфейса
      optional: false # Определение, является ли интерфейс обязательным при старте
  
  vlans:
    net.10: # Интерфейс управления
        id: 10
        link: bond1
        addresses: [10.0.10.41/24]
    net.20: # Интерфейс для VoIP
      id: 20
      link: bond1
      addresses: [10.0.20.41/24]

# Netplan для хоста ecss2 программного коммутатора
# Обратите внимание на обязательное наличие минимум двух пробелов в каждой строке и секции (кроме строки секции network)

network:
  version: 2 # Версия netplan
  renderer: networkd # Исполнитель конфигураций netplan
  ethernets: # Раздел описания интерфейсов ethernet
    eth0: # Название интерфейса
      dhcp4: no # Отключаем на интерфейсах динамическое распределение IP-адреса
      addresses: [192.168.56.42/24] # Интерфейс управления ОАМ
    eth1:
      dhcp4: no
    eth2:
      dhcp4: no
    eth3:
      dhcp4: no
    eth4:
      dhcp4: no

  bonds: # Раздел описания связанных (bonding) интерфейсов
    bond1: # Название bonding-интерфейса 
      interfaces: # Секция определения связанного интерфейса
      - eth1
      - eth2
      - eth3
      - eth4
      parameters: # Раздел определения параметров связанного интерфейса
        mode: 802.3ad # Режим LACP
        mii-monitor-interval: 100 # интервал мониторинга интерфейса(мс)
        primary: eth1 # Секция определения основного интерфейса
      optional: false # Определение, является ли интерфейс обязательным при старте
  
  vlans:
    net.10: # Интерфейс управления
        id: 10
        link: bond1
        addresses: [10.0.10.42/24]
    net.20: # Интерфейс для VoIP
      id: 20
      link: bond1
      addresses: [10.0.20.42/24]

В случае использования QinQ ,для используемых интерфейсов, рекомендуется установить значение mtu=1600.

Так же  проверить отсутствие в каталоге /etc/netplan/ других файлов, если  другие файлы присутствуют , то их нужно переместить в другой каталог или удалить, в противном случае возможна некорректная настройка сетевых интерфейсов и некорректная работа SSW. 

на обоих хостах

ll /etc/netplan/ 

BASH

Применить, установленные параметры командой:

sudo netplan apply

Просмотреть получившиеся настройки можно при помощи команд ifconfig или ip a:

Для применения новых сетевых настроек необходимо выполнить команду netplan apply. Перезапуск сети или системы не требуется. Подробнее про настройки netplan см. в Приложении Е. Netplan.

Обновление ОС и инсталляция необходимого ПО

Обновление системы

Перед началом установки необходимо обновить ОС:

sudo apt update
sudo apt upgrade

Доступ между серверами без использования пароля

Далее следует разрешить доступ между серверами с через ssh по rsa-ключам  - без использования пароля.

На хосте ecss1 (затем на ecss2) сгенерировать rsa-ключ следующий командой (выполнить  без sudo, чтобы ключ был создан для текущего пользователя), на вопросы,  использовать значение по умолчанию, нажав три раза Enter:

ssh-keygen

Скопировать rsa-ключ на сервер партнера ecss2 командой  - ssh-copy-id ecss2.

ssh-copy-id ecss2

Скопировать rsa-ключ на сервер партнера ecss1 командой  - ssh-copy-id ecss1.

ssh-copy-id ecss1

Проверить подключение между серверами,  со стороны сервера ecss1 - ssh ecss2 соединение должно быть установлено без запроса пароля . По окончанию теста вернутся  обратно на сервер ecss1 , командой exit.

ssh ecss2

Аналогичным образом со стороны сервера ecss2 - ssh ecss1 соединение должно быть установлено без запроса пароля . По окончанию теста вернутся обратно на сервер ecss2 , командой exit.

ssh ecss1

Инсталляция необходимого ПО

Установка дополнительных пакетов программ

Для работы SSW,  потребуются дополнительные пакеты ПО не установленные в Astra Linux  по умолчанию, но доступные в "eltex_repo_latest" репозитории.

sudo apt install ntp tcpdump vlan dnsmasq aptitude atop ethtool htop iotop mc minicom mtr-tiny nmap pptpd  screen ssh tftpd sngrep tshark  gnuplot libgraph-easy-perl debconf-utils keepalived attr bridge-utils ethtool ncdu ifenslave-2.6

 Детально 4 группы пакетов ПО которое рекомендуется установить для работы

Список обязательного сервисного программного обеспечения:

sudo apt install ntp tcpdump vlan dnsmasq

BASH

ntp	NTP-сервер
tcpdump	сниффер пакетов
vlan	управление VLAN
dnsmasq	легковесный DNS/DHCP-сервер

Список рекомендуемого диагностического и вспомогательного программного обеспечения:

sudo apt install aptitude atop ethtool htop mc pv screen ssh tftpd sngrep tshark cpanminus gnuplot libgraph-easy-perl debconf-utils

BASH

aptitude	установка программ из репозиториев, рекомендуется использовать вместо программы apt/apt-get
atop	мониторинг загрузки хоста с функцией периодического сохранения информации в файлы
ethtool	просмотр статистики сетевых интерфейсов
htop	мониторинг процессов
mc	файловый менеджер
screen	мультиплексор терминалов
ssh	сервер и клиент SSH
tftpd	TFTP-сервер
sngrep	трассировка sip
tshark	консольный аналог wireshark
gnuplot	вывод графиков статистики
libgraph-easy-perl	Perl-модуль для преобразования или рендеринга графиков (в ASCII, HTML, SVG или через Graphviz)
debconf-utils	набор утилит для работы с базой debconf

Данное программное обеспечение не требуется для работы системы ECSS-10, однако может упростить сервисное обслуживание системы и её отдельных компонентов со стороны инженеров эксплуатации и техподдержки.

Список обязательных пакетов для схем с резервированием:

sudo apt install ifenslave-2.6 keepalived attr

BASH

ifenslave-2.6	управление BOND-интерфейсами
keepalived	сервис мониторинга серверов/служб в кластере
attr	сервис управления атрибутами файловых систем

Список дополнительных пакетов для схем с резервированием:

sudo apt install bridge-utils ethtool

BASH

bridge-utils	управление bridge-интерфейсами
ethtool	управление и мониторинг сетевых интерфейсов

Для просмотра установленных пакетов выполнить следующую команду (данный пункт является необязательным: его можно выполнить, если  не уверены, что какие-то пакеты установлены):

sudo dpkg --get-selections

Перед началом установки пакетов ecss , нужно убедится в соответствии полосы пропускания СПД необходимым требованиям.
Для этого выполнить команду  sudo ethtool  <имя интерфейса> для всех физических интерфейсов.
Проверить значение  следующих параметров:
Advertised auto-negotiation: Yes
Speed: 1000Mb/s  (не менее)
Duplex: Full
В случае отличия, скорректировать.

на обоих хостах

sudo ethtool net.20

CODE

Инсталляция пакетов ECSS

Предварительные требования

• Установленная и обновленная операционная система Astra Linux;
• Отсутствие в системе пользователя с именем ssw;
• Разбиение дискового пространства в соответствии с рекомендациями;
• Настроенная сеть;
• Установленный набор необходимых пакетов;
• Наличие локального файла репозитория Eltex.

установка пакетов deb

  ┌ версия ПО ECSS. Сейчас в заявке на сертификацию она заявлена как 3. 

  | Мы её менять не будем до следующей сертификации или
  │ выпуска принципиально новой версии системы.
  │
  │     ┌ версия System Release. Общая версия для всех компонент входящих в конкретный релиз. 

  |     | Меняем её централизовано, когда
  │     │ принимаем решение о выпуске нового релиза. Релизы между собой обычно не совместимы.
┌─┴┐ ┌──┴─┐
ECSS.SysRel.SubMaj.SubMin
            └──┬─┘ └──┬─┘
               │      └ версия Subsystem minor. Минорную версию подсистемы устанавливает разработчик подсистемы. 

               |        Минорную версию
               │        меняем при добавлении патча. Как правило, минорные версии в рамках одной мажорной версии 
               │        совместимы между собой и отличаются в рамках конкретных патчей.
               │
               └ версия Subsystem major. Мажорная версия устанавливается разработчиком подсистемы. 

                 Мажорную версию подсистемы необходимо менять при внесении в подсистему существенных изменений.

Утилита установки пакетов APT анализирует версию пакета слева направо, то есть мы имеем пакет 14.14.7.7 , 
в репозитории находятся пакеты
14.14.7.8
14.14.7.9
14.14.8.1
14.14.20 -14.14.28
то при выполнении команды sudo apt install имя пакета → будет автоматически проверен и установлен пакет 14.14.28 , так как он самый последний, анализ будет выполнен по 3-й позиции  (major), анализ по 4-й (minor) выполнен не будет (аналогичным образом будет выполнятся команда sudo apt upgrade).

В случае если для конкретной ситуации требуется перейти с версии 14.14.7.7 на версию 14.14.7.9 , стандартная команда → sudo apt upgrade , нам не поможет, так как будет выбран самый новый пакет, в данной ситуации нам необходимо в явном виде указать какую версию пакета мы хотим установить, в данном примере мы должны выбрать команду → sudo apt install имя пакета=14.14.7.9 . Обычно это необходимо для тестирования определенного патча, для стандартных обновлений достаточно выбора привычной команды установки/обновления пакета

В ходе установки пакетов ECSS нужно будет ответить на ряд вопросов для формирования необходимой конфигурации. Для автоматической загрузки требуемых настроек можно воспользоваться командами из пакета debconf-utils.

Описание и примеры использования при работе с debconf приведены в Приложении В. Debconf.

Для инсталляции системы ECSS-10 необходимо устанавливать пакеты в порядке, в котором они описаны ниже в документации.

Инсталляция обязательных пакетов

Установка ecss-mysql

Первым необходимо установить пакет ecss-mysql.

Перед установкой необходимо убедиться, что в системе не установлен mysql-сервер, и папка /var/lib/mysql/ пуста. При необходимости удалите все ее содержимое командой:

sudo rm -R /var/lib/mysql/

Если система разворачивается в кластере, то установку пакета и настройку репликации баз данных необходимо выполнить по инструкции из раздела "Схема развертывания MySQL master-master replication с использованием keepalive".

Для установки MySQL-сервера выполните команду:

sudo apt install ecss-mysql

Настройка пакета ecss-dns-env

Перед установкой пакета ecss-mysql вам будет предложено настроить переменные окружения для сервисов в dnsmasq. Настройщик предложит выбрать разделы для настройки по вопросам ниже. Нужно выбрать broker и mysql. (для примера 10.0.10.41 и 10.0.10.42 )

ВАЖНО

Для изменения ip-адресов рекомендуется использовать команду: 

sudo dpkg-reconfigure ecss-dns-env

BASH

Настройка пакета ecss-mysql

Базы данных MySQL, используемые системой ECSS-10, после установки будут храниться в /var/lib/ecss-mysql. При установке пакета ecss-mysql apt задаст вопрос о разрешении изменения конфигурационного файла /etc/apparmor.d/local/usr.sbin.mysqld, чтобы изменить путь до баз данных MySQL по умолчанию. Для успешной установки ecss-mysql требуется разрешить изменения (введите "Y"). Чтобы избежать ввода ответа на вопрос при установке пакета, допускается использовать дополнительные ключи при вводе команды установки:
sudo apt-get -o Dpkg::Options::="--force-confnew" install ecss-mysql

Во время установки настройщик задаст вопросы, ответы указаны в таблице ниже. Обратите внимание, что пароль является одинаковым для обоих хостов, на которых устанавливается mysql.

Базы данных mysql, используемых системой ECSS-10, после установки будут храниться по пути /var/lib/ecss-mysql. Проверяем наличие компонентов в указной папке:

ls -la /var/lib/ecss-mysql/
total 44
drwxr-xr-x 2 mysql mysql 4096 дек  1 13:34 ecss_address_book
drwxr-xr-x 2 mysql mysql 4096 дек  1 13:34 ecss_audit
drwxr-xr-x 2 mysql mysql 4096 дек  1 13:34 ecss_calls_db
drwxr-xr-x 2 mysql mysql 4096 дек  1 13:34 ecss_dialer_db
drwxr-xr-x 2 mysql mysql 4096 дек  1 13:34 ecss_meeting_db
drwxr-xr-x 2 mysql mysql 4096 дек  1 13:34 ecss_numbers_db
drwxr-xr-x 2 mysql mysql 4096 дек  1 13:34 ecss_statistics
drwxr-xr-x 2 mysql mysql 4096 дек  1 13:34 ecss_subscribers
drwxr-xr-x 2 mysql mysql 4096 дек  1 13:34 ecss_system
drwxr-xr-x 2 mysql mysql 4096 дек  1 13:34 history_db
drwxr-xr-x 2 mysql mysql 4096 дек  1 13:34 web_conf

Проверяем, что сервер запущен:

systemctl status mysql.service
● mysql.service - MySQL Community Server
   Loaded: loaded (/lib/systemd/system/mysql.service; enabled; vendor preset: enabled)
  Drop-In: /etc/systemd/system/mysql.service.d
           └─override.conf
   Active: active (running) since Wed 2024-10-09 09:18:07 +07; 4min 27s ago
 Main PID: 2246 (mysqld)
    Tasks: 30 (limit: 4637)
   Memory: 279.2M
      CPU: 1.210s
   CGroup: /system.slice/mysql.service
           └─2246 /usr/sbin/mysqld --daemonize --pid-file=/run/mysqld/mysqld.pid

Попробуйте войти в базу данных MySQL под логином (<LOGIN>), с паролем (<PASSWORD>), указанным при установке (root/root):

sudo mysql -u<LOGIN> -p<PASSWORD>
mysql>

В случае корректной установки откроется CLI MySQL-сервера. 

Можно сразу посмотреть список созданных БД:

mysql> SHOW DATABASES;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| ecss_address_book  |
| ecss_audit         |
| ecss_calls_db      |
| ecss_dialer_db     |
| ecss_meeting_db    |
| ecss_numbers_db    |
| ecss_statistics    |
| ecss_subscribers   |
| ecss_system        |
| history_db         |
| mysql              |
| performance_schema |
| sys                |
| web_conf           |
+--------------------+

Чтобы выйти из CLI MySQL, выполните команду "exit".

В целях безопасности логин root разрешено использовать только для входа с локального хоста.

Запустите скрипт репликации БД mysql :

sudo /usr/lib/ecss/ecss-scripts/mysql-replication/install_replication.sh

Перед выполнением скрипта необходимо определить некоторые параметры. Пример ответа на вопросы для разных хостов приведен ниже. Следует обратить внимание, что пароль root— это тот же пароль, который задавался выше. Виртуальный адрес mysql задаем вручную. Причина приведена в разделе "Настройка виртуального адреса для MySQL".

Выберите для подтверждения конфигурации - c - продолжить
далее вам потребуется несколько раз ввести пароль  вашего пользователя для подтверждение репликации базы данных на втором сервере ecss2

После работы скрипта можно проверить, что в MySQL создан пользователь replica@10.0.10.%  на обоих хостах:

mysql -h localhost -uroot -p -e 'SELECT user,host FROM mysql.user;' | grep replica
Enter password: 

Должны увидеть такую запись:

mysql -h localhost -uroot -p -e 'SELECT user,host FROM mysql.user;' | grep replica
Enter password: 
replica 10.0.10.%

Проверьте состояние реплики на обоих хостах (пароль - root ):

sudo mysql -uroot -proot -e 'show slave status \G;' | grep -E "Slave_IO_Running:|Slave_SQL_Running:"

Должны увидеть такую запись:

sudo mysql -uroot -proot -e 'show slave status \G;' | grep -E "Slave_IO_Running:|Slave_SQL_Running:"
mysql: [Warning] Using a password on the command line interface can be insecure.
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes

sudo nano /etc/keepalived/keepalived.conf 

global_defs {
    vrrp_version 3          # версия протокола VRRP (2 или 3)
    script_user nobody      # ограниченный в правах системный пользователь, от которого будут запускаться скрипты проверки доступности
    enable_script_security  # не запускать скрипты от root, если часть пути к ним доступна на запись для обычных пользователей
}

include /etc/keepalived/sip.conf
include /etc/keepalived/mysql.conf

sudo nano /etc/keepalived/mysql.conf 

# Конфигурация mysql первой ноды:

vrrp_script check_mysql {
    script "/usr/bin/mysql --defaults-file=/etc/mysql/debian.cnf -e 'SELECT 1;'"  

    user root
    interval 2
    fall 1
    timeout 2
}

vrrp_instance MySQL {
    state MASTER                     # Исходное состояние при старте
    interface net.10                 # Имя сетевого интерфейса, на котором будет работать протокол VRRP
    virtual_router_id 10             # Уникальный идентификатор роутера (0..255)
    priority 100                     # Приоритет (0..255) чем выше - тем больше
    advert_int 1                     # Интервал рассылки уведомлений (с)
    preempt_delay 60                 # Интервал ожидания мастера при старте демона (с) при исходном состоянии BACKUP

    unicast_src_ip  10.0.10.41       # Собственный реальный IP-адрес
    unicast_peer {
         10.0.10.42                  # Реальный IP-адрес соседа
    }

    virtual_ipaddress {
        # Виртуальный IP-адрес и маска
        # dev - сетевой интерфейс, на котором будет поднят виртуальный адрес
        # label - метка виртуального интерфейса (для удобства идентификации)
        10.0.10.10/24 dev net.10 label net.10:mysql
   }

    track_script {
        check_mysql
    }
}

# Конфигурация mysql второй ноды:

vrrp_script check_mysql {
    script "/usr/bin/mysql --defaults-file=/etc/mysql/debian.cnf -e 'SELECT 1;'"  

    user root
    interval 2
    fall 1
    timeout 2
}

vrrp_instance MySQL {
    state BACKUP                     # Исходное состояние при старте
    interface net.10                 # Имя сетевого интерфейса, на котором будет работать протокол VRRP
    virtual_router_id 10             # Уникальный идентификатор роутера (0..255)
    priority 50                      # Приоритет (0..255) чем выше - тем больше
    advert_int 1                     # Интервал рассылки уведомлений (с)
    preempt_delay 60                 # Интервал ожидания мастера при старте демона (с) при исходном состоянии BACKUP

    unicast_src_ip  10.0.10.42      # Собственный реальный IP-адрес
    unicast_peer {
         10.0.10.41                 # Реальный IP-адрес соседа
    }

    virtual_ipaddress {
        # Виртуальный IP-адрес и маска
        # dev - сетевой интерфейс, на котором будет поднят виртуальный адрес
        # label - метка виртуального интерфейса (для удобства идентификации)
        10.0.10.10/24 dev net.10 label net.10:mysql
   }

    track_script {
        check_mysql
    }
}

sudo systemctl restart keepalived.service

sudo ifconfig

. . . 
net.10:mysql: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.0.10.10 netmask 255.255.255.0 broadcast 0.0.0.0
ether 08:00:27:6d:4f:02 txqueuelen 1000 (Ethernet)

sudo systemctl stop keepalived.service

sudo ifconfig

. . . 
net.10:mysql: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.0.10.10 netmask 255.255.255.0 broadcast 0.0.0.0
ether 08:00:27:6d:4f:02 txqueuelen 1000 (Ethernet)

sudo systemctl start keepalived.service

Установка ecss-node

Установка обязательного пакета ecss-node включает в себя установку и первоначальную настройку основных подсистем.

В системе уже должен быть установлен пакет ecss-mysql

Для установки пакета ecss-node выполните команду (Установка выполняется последовательно, первоначально на сервере ecss1 , затем ecss2):

sudo apt install ecss-node

Во время установки пакета создается пользователь ssw, от имени которого запускаются все сервисы ecss*. Создаются необходимые каталоги, выполняется настройка DNS, идет настройка SSL-сертификатов.
На вопрос - Хотите ли вы выключить ежедневные обновления apt-пакетов - ответьте да.

Настройка сертификатов

При отсутствии особых требований к безопасности можно оставить значение  запрашиваемых параметров по умолчанию. На первом сервере нужно сгенерировать сертификат, а при установке ecss-node на втором сервере выбрать копирование с первого сервера

Скопировать с другого сервера ecss10 (ecss1) можно при условии: пользователь (с которым вы работаете) должен быть добавлен в группу ssw. Для этого, на первом ноде (с которого будете копировать сертификат (ecss1)) выполните команду sudo usermod -a -G ssw <Имя_пользователя> (для примера sudo usermod -a -G ssw support)

Актуален, только если был сгенерирован самоподписанный сертификат, тогда в систему установится  ecss10root.crt  (при копировании также пытается скачать  ecss10root.crt, либо если при ручной установке был помещён данный файл). Если уже имеются сертификаты, то никаких действий не будет произведено. В конце также проверяется валидность сертификата.

Чтобы сгенерировать новый сертификат, необходимо удалить ecss10.{pem,crt,key} и ecss10root.{crt,key}, после чего сделать dpkg-reconfigure ecss-user.

Если планируется установка системы в кластере, то, как правило, на первом сервере нужно сгенерировать сертификат, а при установке ecss-node на втором сервере выбрать копирование с первого сервера (подробнее см. в разделе "Настройка сертификатов ECSS-10").

При установке будут заданы вопросы по сертификатам.

Способы конфигурирования сертификатов:

Ручной (manual)

При выборе ручного способа конфигурации сертификатов откроется окно с информацией о том, что установка может быть продолжена после помещения файлов ecss10.{pem,crt,key} в /etc/ecss/ssl. Также данное окно может открыться по достижении конца установки. Поместите необходимые файлы в требуемую директорию и начните процесс установки заново (перезапустите установку). Если все действия были выполнены верно — установка завершится, и можно будет продолжить установку системы.

Сгенерировать самоподписанный сертификат (generate)

При выборе данного способа будут сгенерированы следующие вопросы:

Страна (RU)
Область (Novosibirsk)
Город (Novosibirsk)
Организация (ELTEX)
Структурный узел (IMS)
Имя сертификата (ecss10)
Почта (ssw-team@eltex.loc)
Количество дней жизни сертификата
Пароль для корневого приватного ключа
Алгоритм шифрования для ключа
Сложность ключа
Сложность для параметров Диффи-Хеллмана
Дополнительные имена, за которые отвечает сертификат (на примере офиса — это ssw1.eltex.loc, ssw2.eltex.loc, ssw.eltex.loc), перечисленные через пробел (для последнего уровня можно wildcard)

Чем выше сложность ключа, тем дольше будет установка (dhparam при сложности 8192 на машине средней производительности занимает около часа). При отсутствии особых требований к безопасности можно оставить значение по умолчанию. После чего отобразится уведомление, что необходимо убрать приватный корневой ключ в безопасное место.

Скопировать с другого сервера ecss10 (ecss1) (предварительное условие: пользователь должен быть добавлен в группу ssw.  выполните команду sudo usermod -a -G ssw <Имя_пользователя>  для примера sudo usermod -a -G ssw support)

Скопировать существующие сертификаты (copy) по ssh

При выборе данного способа будут сгенерированы следующие вопросы:

Логин (user)
Адрес удалённой машины (ecss1)
Порт (22)
Способ авторизации (password или identity_file)
Пароль (password)
Файл с ключом (/home/<user>/.ssh/id_rsa)
Путь до папки с сертификатом (/etc/ecss/ssl)

Для генерации сертификатов выбираем ручной (manual) способ. На все вопросы можно дать ответы, предложенные по умолчанию, нажимая кнопку "Enter" на каждый вопрос.

Во время установки будет предложено настроить некоторые параметры , с помощью вопросов , примеры ответов следует ниже,  необходимые для формирования конфигурационных файлов.

Подробнее о настройке NTP в разделе "Синхронизация времени на серверах".

DNS

В ходе установки пакета ecss-node выполняется конфигурирование внутренних DNS-адресов. При установке, в зависимости от текущей конфигурации системы, может отобразиться сообщение:

See "systemctl status dnsmasq.service" and "journalctl -xe" for details.
invoke-rc.d: initscript dnsmasq, action "start" failed.
● dnsmasq.service - dnsmasq - A lightweight DHCP and caching DNS server

Такой вывод в ходе установки является нормальным и не свидетельствует о проблемах. Главное, чтобы после окончания установки ecss-node dnsmasq.service был активен.

Пример:

sasha@ecss1:~$ systemctl status dnsmasq.service 
● dnsmasq.service - dnsmasq - A lightweight DHCP and caching DNS server
   Loaded: loaded (/lib/systemd/system/dnsmasq.service; enabled; vendor preset: enabled)
   Active: active (running) since Fri 2021-09-24 20:52:03 +07; 2 weeks 3 days ago
 Main PID: 10914 (dnsmasq)
    Tasks: 1 (limit: 4915)
   CGroup: /system.slice/dnsmasq.service
           └─10914 /usr/sbin/dnsmasq -x /run/dnsmasq/dnsmasq.pid -u dnsmasq -7 /etc/dnsmasq.d,.dpkg-dist,.dpkg-old,.dpkg-new --local-service --trust-anchor=.,19036,8,2,49aac11d7b6f6446702e54a1607371607a1a41

Sep 24 20:52:03 ecss1 systemd[1]: Starting dnsmasq - A lightweight DHCP and caching DNS server...
Sep 24 20:52:03 ecss1 dnsmasq[10890]: dnsmasq: syntax check OK.
Sep 24 20:52:03 ecss1 systemd[1]: Started dnsmasq - A lightweight DHCP and caching DNS server.

проверить статус сервисов следующей командой:

systemctl is-active ecss-core ecss-pa-sip ecss-ds ecss-mediator ecss-mycelium

в случае статуса "active" продолжаем дальше, в случае статуса "inactive" выполнить команду "sudo systemctl restart ecss-<имя пакета>"

systemctl is-active ecss-core ecss-pa-sip ecss-ds ecss-mediator ecss-mycelium
active
active
active
active
active

Установка паспорта и лицензий

Под паспортом системы ECSS-10 понимается связь определенной инсталляции (SSW_ID) с USB-ключом. Паспорт гарантирует, что заказчик не сможет запустить больше подсистем DS с заданным SSW_ID, чем количество USB-ключей. Система без паспорта не работает.

Лицензионный ключ содержит в себе информацию о лицензионных ограничениях. Информация привязана к определенному SSW_ID. Позволяет добавлять лицензионные ограничения к определенной инсталляции системы ECSS-10. Если не добавлено ни одной лицензии, то действуют ограничения по умолчанию. Например, по умолчанию разрешено не более двух одновременных вызовов. Добавляя лицензию, можно расширить это количество до произвольных значений.

<licence> — последовательность цифр, букв и других символов без кавычек, следующая за строкой Licence: в файле лицензии.
<passport> — последовательность цифр, букв и других символов без кавычек, следующая за строкой Passport: в файле лицензии.

Если данные лицензии и паспорта будут введены корректно, то система выдаст подтверждение: ОК.

ВАЖНО

Перед началом работы проверьте наличие Token в системе.

Для проверки работы токена можно использовать приложение pkcs11-tool. Возможно проверить следующее:

Вывести общую информацию для ключа:

• для eToken:

pkcs11-tool --module /usr/lib/libeToken.so -I

Cryptoki version 2.1
Manufacturer     SafeNet, Inc.
Library          eToken PKCS#11 (ver 8.1)
Using slot 0 with a present token (0x0)

• для Рутокен:

pkcs11-tool --module /usr/lib/ecss/ecss-ds/lib/lpm_storage-<VERSION>/priv/x64/librtpkcs11ecp.so -I

Cryptoki version 2.20
Manufacturer     Aktiv Co.
Library          Rutoken ECP PKCS #11 library (ver 1.5)
Using slot 0 with a present token (0x0)

Расположение модуля для Рутокен может отличаться в зависимости от версии подсистемы DS. В общем случае файл располагается в /usr/lib/ecss/ecss-ds/lib/lpm_storage-<ВЕРСИЯ ПОДСИСТЕМЫ>/priv/x64/librtpkcs11ecp.so

Для проверки можно использовать общую команду pkcs11-tool --module $(find /usr/lib/ecss/ecss-ds/lib/ -name librtpkcs11ecp.so | head -n1) -L

Запустите пакеты ecss-mycelium и ecss-ds на первом хосте и убедитесь, что они остановлены на втором. Если этого не сделать, то паспорт и лицензия могут быть не добавлены корректно.

ecss1:

sudo systemctl start ecss-mycelium

sudo systemctl start ecss-ds

ecss2:

sudo systemctl stop ecss-mycelium

sudo systemctl stop ecss-ds

Перейдите в CLI - CoCon:

ssh admin@localhost -p 8023
password: password

Проверьте состояние системы:

/system-status    
Checking...
┌─┬───────────────┬──────────────────────────┬───────────────┬─────────────┬──────┐
│ │     Node      │         Release          │ Erlang nodes  │Mnesia nodes │Uptime│
├─┼───────────────┼──────────────────────────┼───────────────┼─────────────┼──────┤
│ │ds1@ecss1      │ecss-ds-3.14.15.1185      │ds1@ecss1      │ds1@ecss1    │0h 9m │
│ │mycelium1@ecss1│ecss-mycelium-3.14.15.1185│mycelium1@ecss1│not running  │0h 9m │
└─┴───────────────┴──────────────────────────┴───────────────┴─────────────┴──────┘

Чтобы узлы системы смогли встать в работу, надо сконфигурировать систему указав имена хостов на которых развёрнуты ecss-сервисы.
Команда в коконе: system/clusters/set [<host1>, <host2>, ... <hostN>]. В случае кластера из 2-х хостов выполнить команду (в примере - имя хоста  ecss1 и ecss2):

/system/clusters/set [ecss1, ecss2]

Выйти из CoCon (выполнить команду "exit"), перезапустить ecss сервисы командой:

sudo systemctl restart ecss-*

Перейдите в CLI CoCon:

ssh admin@localhost -p 8023
password: password

Далее необходимо загрузить паспорт и лицензии в систему:

cluster/storage/ds1/licence/set-passport <ssw passport>
ok
cluster/storage/ds1/licence/add <ssw licence>
ok

Выйдите из CoCon и перезапустите сервисы ecss-ds и ecss-mycelium на первом и запустите остальные сервисы  втором хосте.

ecss1:

sudo systemctl restart ecss-mycelium

sudo systemctl restart ecss-ds

sudo systemctl start ecss-core ecss-pa-sip ecss-mediator 

ecss2:

sudo systemctl start ecss-mycelium ecss-ds ecss-core ecss-pa-sip ecss-mediator 

выполнить проверку лицензий, для этого зайти в CoCon :

ssh admin@localhost -p8023

проверить наличие лицензией:

/cluster/storage/ds1/licence/list-licence

Установка остальных пакетов ecss и их настройка

Для корректной работы кластерной конфигурации необходимо настроить работу RestFS на базе GlusterFS-сервера.

Установка имени кластера mycelium.config

Для работы системы нужно на обоих серверах указать одинаковое имя кластера. Для этого откройте файл mycelium1.config в текстовом редакторе:

sudo nano /etc/ecss/ecss-mycelium/mycelium1.config

Выполните настройку на обоих хостах, заменив дефолтное имя кластера "undefined" , на указанное в проекте , для примера "test_cluster".

Далее следует проверить в файле /etc/dnsmasq.d/ecss-broker, что адреса primary и secondary broker соответствуют указанным при инсталляции пакета ecss-node.

cat /etc/dnsmasq.d/ecss-broker

Пример содержания файла на ecss1 и ecss2 (содержимое файлов должно быть одинаковым на обоих серверах):

address=/primary.broker.ecss/10.0.10.41
address=/secondary.broker.ecss/10.0.10.42

glusterfs

Выполните настройку glusterfs для ecss-restfs на первом хосте (ecss1),
для этого установите пакеты glusterfs-server и attr на обоих хостах:

sudo apt install glusterfs-server attr

Запустите glasterd на обоих хостах кластера:

sudo systemctl start glusterd

После запуска выполните создание связи с удаленным виртуальным хостом, выполните команду на ecss1:

sudo gluster peer probe 10.0.10.42

Проверьте наличие созданной связи, выполните команду на ecss2:

sudo gluster peer status

Должна появиться информация о первом хосте — ecss1:

Number of Peers: 1

Hostname: ecss1
Uuid: d7319720-ea3a-43a4-a7d5-e97bf9d205b9
State: Peer in Cluster (Connected)

Выполните аналогичную проверку на другом хосте — ecss1. Вы также должны увидеть информацию о партнере ecss2 (или его IP-адрес).

Создайте кластер для репликации, запустите репликацию и посмотрите ее статус, выполните следующие команды на ecss1:

sudo gluster volume create ecss_volume replica 2 transport tcp 10.0.10.41:/var/lib/ecss/glusterfs 10.0.10.42:/var/lib/ecss/glusterfs force 

На ecss1:

sudo gluster volume start ecss_volume

На обоих хостах ecss1 и ecss2:

sudo gluster volume info

Таким образом, статус репликации будет выглядеть следующим образом, необходимо обратить внимание на поля "Status" и "Bricks" — они должны иметь следующий вид:

Volume Name: ecss_volume
Type: Replicate
Volume ID: 3bfc7587-0f85-48ed-9612-21f0d79c6e52
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: 10.0.10.11:/var/lib/ecss/glusterfs
Brick2: 10.0.10.12:/var/lib/ecss/glusterfs
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
performance.client-io-threads: off

Чтобы смонтировать glusterfs раздел, выполните на обоих хостах ecss1 и ecss2 следующие действия:

• Создайте новый systemd unit

sudo nano /etc/systemd/system/ecss-glusterfs-mount.service

• Добавьте в него следующую конфигурацию:

[Unit]
Description=mount glusterfs
After=network.target
Requires=network.target

[Service]
RemainAfterExit=no
Type=forking
RestartSec=10s
Restart=always
ExecStart=/sbin/mount.glusterfs localhost:/ecss_volume /var/lib/ecss/restfs -o fetch-attempts=10
ExecStop=/bin/umount /var/lib/ecss/restfs

[Install]
WantedBy=multi-user.target

• Добавить unit в автозагрузку на обоих хостах.

sudo systemctl enable  glusterd.service
sudo systemctl enable  ecss-glusterfs-mount.service

• Создайте директорию для корректной установки  RestFS на обоих хостах:

sudo mkdir /var/lib/ecss/restfs

• Перезагрузить хосты (не рекомендуется):

sudo reboot

Если хосты не могут быть перезагружены, то можно выполнить следующие команды на обоих хостах:

sudo systemctl daemon-reload
sudo systemctl restart ecss-glusterfs-mount.service

Проверьте, что раздел под монтировался, для этого на обоих хостах выполните команду - df -h: 

df -h

/dev/sda10                     19G  6,5G   11G  38% /var/lib/mysql
/dev/sda8                     4,5G  213M  4,1G   5% /var/log
/dev/sda5                      37G   48M   35G   1% /var/lib/ecss/ecss-media-server/records
/dev/sda6                      19G   44M   18G   1% /var/lib/ecss/cdr
/dev/sda7                      19G   44M   18G   1% /var/lib/ecss/statistics
/dev/sda9                      19G  7,6G  9,7G  44% /var/log/ecss
localhost:/ecss_volume   	   46G   59M   44G   1% /var/lib/ecss/restfs

При просмотре информации должен появиться подмонтированный раздел — 
localhost:/ecss_volume     46G  59M   44G   1%     /var/lib/ecss/restfs

Далее на обоих хостах выполните установку всех необходимых пакетов (подробнее по установке необходимых и дополнительных пакетов в разделе "Инсталляция пакетов ECSS"):

Установка пакета ecss-restfs и его настройка

sudo apt install  ecss-restfs

Установка ecss-restfs. В ходе установки нужно будет ответить на ряд вопросов для создания необходимых конфигурационных файлов. Также инсталлятор предложит установить и настроить пакет Text2speech от Yandex.

после установки пакета ecss-restfs проверьте наличие wav файлов авто-информатора в директории /var/lib/ecss/restfs/system/sounds/ командой:

ll /var/lib/ecss/restfs/system/sounds/

наличие  wav файлов в указной выше директории говорит о корректности установки пакета ecss-restfs.

Установка media и  web пакетов ecss и их настройка

sudo apt install ecss-media-server

Для медиасервера (ecss-media-server/MSR) возможно начальное конфигурирование с записью параметров в файл конфигурации,
для этого нужно провести конфигурацию transport-port, transport bind-addr,mcc bind-addres, mcc bind-port:

sudo apt install ecss-web-conf

Web-конфигуратор позволяет сделать управление системой более наглядным и комфортным. Установка web-конфигуратора не является обязательной, но рекомендуется.
Также при установке пакета ecss-web-conf автоматически устанавливается пакет ecss-subsriber-portal-ui. Приложение "Портал абонента" системы ECSS-10 позволяет абонентам системы самостоятельно управлять услугами, просматривать информацию по совершенным вызовам, активным конференциям, а также настраивать собственные IVR-скрипты для входящих вызовов. Описание работы веб-конфигуратора приведено в разделе "Портал абонента".

После формирования конфигураций по умолчанию переходим в директорию, в которой находятся файлы конфигурации и производим их проверку:

cd /etc/ecss/ecss-media-server/

cat config.xml

cat conf.d/default.xml

Внутри лежит конфигурация для msr: config.xml, в директории conf.d лежит конфигурация default.xml.
По своей сути default.xml — это дополнение config.xml, которое определяет секцию аккаунтов. Это сделано для того, чтобы после обновлений пакета данная конфигурация оставалась неизменной. Вид config.xml представлен здесь: файл конфигурации. (для примера на сервере ecss1)

<?xml version="1.0" encoding="utf-8"?>
<config date="02:30:33 07.12.2023">
  <general log-level="3" log-rotate="yes" max-calls="8192" max-in-group="512" load-sensor="media" load-delta="10" calls-delta="100" spool-dir-size="100M" log-name="msr.log" log-path="/var/log/ecss/media-server" use-srtp="disabled" enable-ice-transport="no" ice-update="no" aggressive-ice="yes" stun-server="" suspicious-mode="no"/>
  <transport bind-addr="10.0.20.41" port="5040" transport="udp+tcp"/>
  <!-- By default configured public TURN-server -->
  <turn-server use-turn="no" host="numb.viagenie.ca" user="webrtc@live.com" password="muazkh"/>
  <media mixer-clock-rate="8000" use-vad="no" cng-level="0" jb-size="60" rtcp-timeout="0" rtp-timeout="350" udp-src-check="no" cn-multiplier="3" port-start="12000" port-range="2048" tias-in-sdp="no" thread-cnt="2" vid-enc-threads="2" vid-dec-threads="2" video-conf-layout="evenly" keyframe-interval="1000" vid-decode-delay="100" silence-threshold="-30" dtmf-flash-disable="no" video-dscp="0" other-dscp="0" dummy-video-src="/usr/share/ecss-media-server/video/dummy_video.yuv" video-enc-width="640" video-enc-height="360" finalsilence="1000" rtcp-stat-dump="yes" silent-codec-switch="yes"/>
  <codec pcma="1" pcmu="2" ilbc="0" gsm="0" g722="3" g729="0" speex="0" l16="0" g7221="0" opus="0" h264="1" h263-1998="2" t38="1" tel-event-pt="0"/>
  <accounts>
    <!-- <dynamic msr_name="msr.name"
            realm="sip:127.0.0.1:5000"
            dtmf_mode="rfc+inband+info"
            auth_name="user"
            auth_password="password" /> -->
  </accounts>
  <pbyte>
    <mcc bind-addr="10.0.20.41" port="5700"/>
  </pbyte>
  <conf_dir path="/etc/ecss/ecss-media-server/conf.d"/>
  <rtp>
    <auto addr-v4=""/>
  </rtp>
</config>

По умолчанию после инсталляции ECSS-10 активизирует только кодеки — pcma, pcmu, g722, h264, h263-1998, t38. Остальные имеют статус =0 = выкл. Если хотите активизировать остальные кодеки, в редакторе nano измените приоритет с 0 на цифру приоритета (уровень приоритета не должен повторятся для сервиса audio/video/fax)
sudo nano /etc/ecss/ecss-media-server/config.xml

чтобы активизировать все кодеки 
строчку  - 
<codec pcma="1" pcmu="2" ilbc="0" gsm="0" g722="3" g729="0" speex="0" l16="0" g7221="0" opus="0" h264="1" h263-1998="2" t38="1" tel-event-pt="0"/>
привести к виду - 
<codec pcma="1" pcmu="2" ilbc="6" gsm="4" g722="3" g729="5" speex="7" l16="8" g7221="9" opus="10" h264="1" h263-1998="2" t38="1" tel-event-pt="0"/>

Рассмотрим секцию аккаунтов (файл default.xml):
после инсталляции пакетов в фале будет указан только свой локальный ip-add , необходимо добавить строчку с ip-add партнера и привести содержимое файла к виду указанному снизу:

sudo nano /etc/ecss/ecss-media-server/conf.d/default.xml

<?xml version="1.0"?>
<config>
      <accounts>
            <dynamic msr_name="msr.ecss1" realm="sip:10.0.20.41:5000" dtmf_mode="rfc+inband+info" auth_name="user" auth_password="password"/>
            <dynamic msr_name="msr.ecss1" realm="sip:10.0.20.42:5000" dtmf_mode="rfc+inband+info" auth_name="user" auth_password="password"/>
      </accounts>
</config>

<?xml version="1.0"?>
<config>
      <accounts>
            <dynamic msr_name="msr.ecss2" realm="sip:10.0.20.42:5000" dtmf_mode="rfc+inband+info" auth_name="user" auth_password="password"/>
            <dynamic msr_name="msr.ecss2" realm="sip:10.0.20.41:5000" dtmf_mode="rfc+inband+info" auth_name="user" auth_password="password"/>
      </accounts>
</config>

В ней указаны текущие настройки, согласно которым происходит регистрация msr на core.

Основными параметрами здесь являются: msr_name и realm:

• msr_name — параметр, определяющий название msr. (рекомендуется задавать msr. и к какому хосту он принадлежит, например msr.ecss1);
• realm — определяет адрес для регистрации на ядре. Точка входа по умолчанию — порт 5000.

Описание настройки остальных сервисов приведено в разделе "Инсталляция дополнительных необязательных пакетов".

Настройка VRRP для SIP-адаптера

Для Astra Linux

Если ECSS-10 установлен на Astra Linux, то необходимо изменить скрипт проверки доступности контрольного SIP-порта /usr/bin/ecss_pa_sip_port:

на обоих хостах

#!/bin/bash
netstat -plane | grep $1

BASH

Выполните настройку VRRP для SIP-адаптера, для этого на обоих хостах создайте файлы следующего содержания:

sudo nano /etc/keepalived/sip.conf 

vrrp_script check_sip {
    script "/usr/bin/ecss_pa_sip_port 65535"
    interval 2
    timeout 2
}

# Конфигурация адреса для первого виртуального адреса SIP-адаптера
vrrp_instance SIP1 {
    state MASTER                  # Исходное состояние при старте
    interface net.20              # Имя сетевого интерфейса, на котором будет работать протокол VRRP
    virtual_router_id 31          # Уникальный идентификатор роутера (0..255)
    priority 100                  # Приоритет (0..255) чем выше - тем больше
    advert_int 1                  # Интервал рассылки уведомлений (с)
    preempt_delay 60              # Интервал ожидания мастера при старте демона (с) при исходном состоянии BACKUP

    unicast_src_ip 10.0.20.41     # Собственный реальный IP-адрес
    unicast_peer {
        10.0.20.42                # Реальный IP-адрес соседа
    }

    virtual_ipaddress {
        # Виртуальный IP-адрес и маска
        # dev - сетевой интерфейс, на котором будет поднят виртуальный адрес
        # label - метка виртуального интерфейса (для удобства идентификации)
        10.0.20.31/24 dev net.20 label net.20:SIP1
    }

    track_script { 
        check_sip
    }
}

# Конфигурация адреса для второго виртуального адреса SIP-адаптера

vrrp_instance SIP2 {
    state BACKUP                      # Исходное состояние при старте
    interface net.20                  # Имя сетевого интерфейса, на котором будет работать протокол VRRP
    virtual_router_id 32              # Уникальный идентификатор роутера (0..255)
    priority 50                       # Приоритет (0..255) чем выше - тем больше
    advert_int 1                      # Интервал рассылки уведомлений (с)
    preempt_delay 60                  # Интервал ожидания мастера при старте демона (с) при исходном состоянии BACKUP

    unicast_src_ip  10.0.20.41        # Собственный реальный IP-адрес
    unicast_peer {
         10.0.20.42                   # Реальный IP-адрес соседа
    }

    virtual_ipaddress {
        # Виртуальный IP-адрес и маска
        # dev - сетевой интерфейс, на котором будет поднят виртуальный адрес
        # label - метка виртуального интерфейса (для удобства идентификации)
        10.0.20.32/24 dev net.20 label net.20:SIP2
    }

}

vrrp_script check_sip {
    script "/usr/bin/ecss_pa_sip_port 65535"
    interval 2
    timeout 2
}

# Конфигурация адреса для первого виртуального адреса SIP-адаптера
vrrp_instance SIP1 {
    state BACKUP                  # Исходное состояние при старте
    interface net.20              # Имя сетевого интерфейса, на котором будет работать протокол VRRP
    virtual_router_id 31          # Уникальный идентификатор роутера (0..255)
    priority 50                   # Приоритет (0..255) чем выше - тем больше
    advert_int 1                  # Интервал рассылки уведомлений (с)
    preempt_delay 60              # Интервал ожидания мастера при старте демона (с) при исходном состоянии BACKUP

    unicast_src_ip 10.0.20.42     # Собственный реальный IP-адрес
    unicast_peer {
        10.0.20.41                # Реальный IP-адрес соседа
    }

    virtual_ipaddress {
        # Виртуальный IP-адрес и маска
        # dev - сетевой интерфейс, на котором будет поднят виртуальный адрес
        # label - метка виртуального интерфейса (для удобства идентификации)
        10.0.20.31/24 dev net.20 label net.20:SIP1
    }

}

# Конфигурация адреса для второго виртуального адреса SIP-адаптера

vrrp_instance SIP2 {
    state MASTER                      # Исходное состояние при старте
    interface net.20                  # Имя сетевого интерфейса, на котором будет работать протокол VRRP
    virtual_router_id 32              # Уникальный идентификатор роутера (0..255)
    priority 100                      # Приоритет (0..255) чем выше - тем больше
    advert_int 1                      # Интервал рассылки уведомлений (с)
    preempt_delay 60                  # Интервал ожидания мастера при старте демона (с) при исходном состоянии BACKUP

    unicast_src_ip  10.0.20.42       # Собственный реальный IP-адрес
    unicast_peer {
         10.0.20.41                  # Реальный IP-адрес соседа
    }

    virtual_ipaddress {
        # Виртуальный IP-адрес и маска
        # dev - сетевой интерфейс, на котором будет поднят виртуальный адрес
        # label - метка виртуального интерфейса (для удобства идентификации)
        10.0.20.32/24 dev net.20 label net.20:SIP2
    }

    track_script {
        check_sip
    }
}

В данном случае была добавлена поддержка виртуальных интерфейсов со связью Master - Backup. Для ecss1 основным будет являться net.20:SIP1, а запасным — net.20:SIP2 соответственно. Важно учесть, что в конфигурации учтено использование адресных переменных. В секции interface требуется указать, на каком интерфейсе будут слушаться VRRP-сообщения, а в секции virtual_ipaddress требуется указать интерфейс, на котором будет восстановлен виртуальный адрес.

Выполните перезапуск keepalived:

sudo systemctl restart keepalived.service

для проверки правильности установки выполните команду ifconfig, в конце выходного сообщения вы должны видеть новый интерфейс - net.20:SIP1 с выбранным IP-адресом

abf@ecss1:~$ ifconfig 

. . .
net.20:SIP1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.0.20.31 netmask 255.255.255.0 broadcast 0.0.0.0
ether 08:00:27:6d:4f:02 txqueuelen 1000 (Ethernet)

Дальнейшая настройка

snpmd

Настройка SNMP описана в разделе "Управление и мониторинг по протоколу SNMP".

Настройка безопасности. SSH

Выполните настройку сервера SSH:

sudo nano /etc/ssh/sshd_config

Укажите в конфигурационном файле порт и адрес, по которому можно обратиться к серверу:

Перезапустите ssh:

sudo systemctl restart ssh.service

перезагрузить оба хоста:

sudo reboot

Добавление медиа-ресурсов в интерфейсе командной строки (CLI)

Зайдите в CLI -  CoCon:

ssh admin@localhost -p 8023
password: password

Медиаресурс — это описание параметров медиасервера, необходимых для работы с ним.

declare
Команда для объявления подключения медиасервера к ECSS-10.

Для работы в режиме предварительно настроенной системы можно заранее прописать медиаресурсы, информация о которых известна.

Для этого необходимо создать описание известных медиасерверов с указанием всех параметров, что позволить начать работу с медиасервером сразу после его регистрации.

Команда для создания конфигурации медиасервера:

Путь команды:

/system/media/resource/declare

Синтаксис:

declare <node> by_contact <contact> <zone> <site> <is active>

или

declare <node> by_iface <msr> <acc_id> <iface> <zone> <site> <is active>

Параметры:

<node> — имя ноды core;
<contact> — contact uri декларируемого медиаресурса;
<zone> — логическая зона обслуживания MSR;
<site> — идентификатор сети обслуживания MSR;
<is active> — состояние активности медиаресурса, значения true/false;
<msr> — имя MSR;
<acc_id> — номер идентификатор ресурса;
<iface> — название интерфейса.
Пример:

После устанавливается связь MSR- и Core-подсистем. Для этого пропишите команды:

/system/media/resource/declare core1@ecss1 contact net.20@msr.ecss1  default local true

/system/media/resource/declare core1@ecss2 contact net.20@msr.ecss2  default local true

/system/media/resource/declare core1@ecss1 contact net.20@msr.ecss2  default local true

/system/media/resource/declare core1@ecss2 contact net.20@msr.ecss1  default local true

пример:

/system/media/resource/declare core1@ecss1 contact net.20@msr.ecss1  default local true
/system/media/resource/declare core1@ecss2 contact net.20@msr.ecss2  default local true
/system/media/resource/declare core1@ecss1 contact net.20@msr.ecss2  default local true
/system/media/resource/declare core1@ecss2 contact net.20@msr.ecss1  default local true
  . . .
Declared media resources
┌─────────────┬──────────────────┬────────┬─────────┬───────┐
│    Node     │     Contact      │ Active │   Zone  │  Site │
├─────────────┼──────────────────┼────────┼─────────┼───────┤
│ core1@ecss2 │ net.20@msr.ecss1 │ true   │ default │ local │
└─────────────┴──────────────────┴────────┴─────────┴───────┘

info
Команда для просмотра информации о состоянии подключения конкретного медиаресурса.

Путь команды:

/system/media/resource/info

Синтаксис:

info <node>  <contact> 

Параметры:

<contact> — contact uri декларируемого медиаресурса;
<node> — имя ноды.
Пример:

/system/media/resource/info core1@ecss1 net.20@msr.ecss1

результат:

/system/media/resource/info core1@ecss1 net.20@msr.ecss1
  Media resource specific for node core1@ecss1:
┌─┬─────────────────┬─────────────────────┐
│F│    Parameter    │        Value        │
├─┼─────────────────┼─────────────────────┤
│r│ Contact         │ net.20@msr.ecss1    │
│r│ Status          │ registered          │
│r│ Cc-status       │ connected           │
│r│ Cc-status uptime│ 00:40:46            │
│r│ Cc-id           │ e6d07f              │
│r│ Address         │ 10.0.20.11:5700     │
│r│ Register time   │ 2024/10/09 14:54:05 │
│r│ Expired         │ 131                 │
│r│ Iface           │ net.20(10.0.20.41)  │
│ │ Active          │ true                │
│ │ Zone            │ default             │
│ │ Site            │ local               │
│r│ MSR version     │ 3.14.15.238         │
│r│ MSR load        │ 0                   │
│r│ MSR perf coef   │ 1.0                 │
└─┴─────────────────┴─────────────────────┘

Legend:
Column F - means Flag, values r - flag for readonly parameter

list
Команда для просмотра списка медиаресурсов в системе ECSS-10.

/system/media/resource/list all

Путь команды:

/system/media/resource/list

Синтаксис:

list [active | all | register]

Параметры:

active — отображать только активные медиаресурсы (по умолчанию);
register — отображать только зарегистрированные медиаресурсы;
short — отобразить минимальную информацию;
all — отображать все задекларированные медиаресурсы.
По умолчанию команда выдает список зарегистрированных медиасерверов.

Пример:

/system/media/resource/list all
  All media resource selected list specific:
┌─────────────┬───────────┬────────────┬───────────┬──────┬────────┬───────────┬───────────┬─────────────────┬──────────────┬───────────────┬────────┬─────────┬───────┬────────────────────────┬────────────┬─────────┐
│    Node     │    MSR    │    MSR     │    MSR    │ MSR  │ Cc-id  │ Cc-status │ Cc-uptime │   Cc-address    │    Iface     │     Iface     │ Active │  Zone   │ Site  │        Contact         │   Status   │ Expired │
│             │           │  version   │ perf coef │ load │        │           │           │                 │     name     │     addr      │        │         │       │                        │            │         │
├─────────────┼───────────┼────────────┼───────────┼──────┼────────┼───────────┼───────────┼─────────────────┼──────────────┼───────────────┼────────┼─────────┼───────┼────────────────────────┼────────────┼─────────┤
│ core1@ecss1 │ msr.ecss1 │ 3.14.15.238│       1.0 │    0 │ e6d07f │ connected │ 00:43:03  │ 10.0.20.11:5700 │ net.20       │ 10.0.20.41    │ true   │ default │ local │ net.20@msr.ecss1       │ registered │     114 │
│             │ msr.ecss2 │ 3.14.15.238│       1.0 │    0 │ 3a91cf │ connected │ 00:43:00  │ 10.0.20.12:5700 │ net.20       │ 10.0.20.42    │ true   │ default │ local │ net.20@msr.ecss2       │ registered │     116 │
│ core1@ecss2 │ msr.ecss1 │ 3.14.15.238│       1.0 │    0 │ e6d07f │ connected │ 00:42:58  │ 10.0.20.11:5700 │ net.20       │ 10.0.20.41    │ true   │ default │ local │ net.20@msr.ecss1       │ registered │     120 │
│             │ msr.ecss2 │ 3.14.15.238│       1.0 │    0 │ 3a91cf │ connected │ 00:42:57  │ 10.0.20.12:5700 │ net.20       │ 10.0.20.42    │ true   │ default │ local │ net.20@msr.ecss2       │ registered │     121 │
└─────────────┴───────────┴────────────┴───────────┴──────┴────────┴───────────┴───────────┴─────────────────┴──────────────┴───────────────┴────────┴─────────┴───────┴────────────────────────┴────────────┴─────────┘

Добавление управления регистратором для MSR медиа менеджера в интерфейсе командной строки (CLI)

/system/media/registrar/ - команды управления регистратором для MSR медиа менеджера

set

Команда для изменения общих и индивидуальных параметров.

Путь команды:

/system/media/registrar/set

Синтаксис настройки общих параметров:

set common <FIELD> <VALUE>

Параметры:

<FIELD> - имя настраиваемого параметра;

<VALUE> - значение настраиваемого параметра

Где

• common - тип выставляемого параметра;
• <common parameter> - общий параметр медиарегистратора для всех нод: registration-timeout;
• private - тип выставляемого параметра;
• <node name> - имя ноды на которой находится медиарегистратор;
• <private parameter> - параметр медиарегистратора, который выставляется на <node name>: is-active, listen-interface & listen-port.

Cписок параметров доступных для настройки:

• is-active - позволяет включить или выключить регистратор (false - деактивирует регистратор, регистратор перестает принимать SIP трафик);
• listen-interface - имя интерфейса, который использует регистратор;
• listen-port - порт, на котором регистратор принимает запросы на регистрацию (по умолчанию 5000);
• registration-timeout - таймер перерегистрации, диапазон значений от 60 до 86400.

В общих параметрах доступна настройка времени регистрации, по умолчанию установлено 60 секунд.

Пример:
Установить время регистрации 60 секунд:

/system/media/registrar/set common registration-timeout 60
Common parameter registration-timeout set to 60.

Синтаксис настройки индивидуальных параметров:

system/media/registrar/set private <CORE> <FIELD> <VALUE>

Параметры:

<CORE> - нода ядра, для которой настраивается Registrar-сервер;

<FIELD> - имя настраиваемого параметра;

<VALUE> - значение настраиваемого параметра.

Настраиваемые параметры:

• is-active - активен ли Registrar-сервер, принимает значения true | false;
• listen-ip - ip-адрес, на котором Registrar-сервер будет принимать соединения (по умолчанию 0.0.0.0);
• listen-port - сетевой порт, на котором Registrar-сервер будет принимать соединения (по умолчанию 5000).

Пример:

Установить ipадрес для приема соединений от медиасервера:

/system/media/registrar/set private core1@ecss1 listen-ip 10.0.20.41

/system/media/registrar/set private core1@ecss2 listen-ip 10.0.20.42

результат:

/system/media/registrar/set private core1@ecss1 listen-ip 10.0.20.41 
Private parameter listen-ip set to 10.0.20.41 at node core1@ecss1.

/system/media/registrar/set private core1@ecss2 listen-ip 10.0.20.42 
Private parameter listen-ip set to 10.0.20.42 at node core1@ecss2.

info

Команда просмотра текущих настроек Registrar-сервера.

/system/media/registrar/info

Путь команды:

/system/media/registrar/info

Пример:

/system/media/registrar/info
 Common parameters:
┌───────────────────────────┬───────┐
│         Parameter         │ Value │
├───────────────────────────┼───────┤
│ registration-timeout, sec │   180 │
└───────────────────────────┴───────┘
 Private parameters:
┌─────────────┬─────────┬───────────┬────────────┬─────────────┐
│    Node     │ Status  │ Is-active │ Listen-ip  │ Listen-port │
├─────────────┼─────────┼───────────┼────────────┼─────────────┤
│ core1@ecss1 │ active  │ true      │ 10.0.20.41 │        5000 │
│ core1@ecss2 │ active  │ true      │ 10.0.20.42 │        5000 │
└─────────────┴─────────┴───────────┴────────────┴─────────────┘

После того как все сервисы будут запущены, ноды какое-то время будут устанавливать связь. Как только все ноды загрузятся , при выполнении запроса system-status, последует вывод следующей информации:

/system-status                                                                          
Checking...
┌─┬───────────────┬──────────────────────────┬───────────────────────────────┬─────────────────────┬───────┐
│ │     Node      │         Release          │         Erlang nodes          │    Mnesia nodes     │Uptime │
├─┼───────────────┼──────────────────────────┼───────────────────────────────┼─────────────────────┼───────┤
│ │core1@ecss1    │ecss-core-3.14.15.1185    │core1@ecss1,core1@ecss2        │not running          │23m 19s│
│ │core1@ecss2    │ecss-core-3.14.15.1185    │core1@ecss1,core1@ecss2        │not running          │23m 14s│
│ │ds1@ecss1      │ecss-ds-3.14.15.1185      │ds1@ecss1,ds1@ecss2            │ds1@ecss1,ds1@ecss2  │23m 19s│
│ │ds1@ecss2      │ecss-ds-3.14.15.1185      │ds1@ecss1,ds1@ecss2            │ds1@ecss1,ds1@ecss2  │23m 14s│
│ │md1@ecss1      │ecss-mediator-3.14.15.1185│md1@ecss1,md1@ecss2            │md1@ecss1,md1@ecss2  │23m 19s│
│ │md1@ecss2      │ecss-mediator-3.14.15.1185│md1@ecss1,md1@ecss2            │md1@ecss1,md1@ecss2  │23m 14s│
│ │mycelium1@ecss1│ecss-mycelium-3.14.15.1185│mycelium1@ecss1,mycelium1@ecss2│not running          │23m 19s│
│ │mycelium1@ecss2│ecss-mycelium-3.14.15.1185│mycelium1@ecss1,mycelium1@ecss2│not running          │23m 15s│
│ │sip1@ecss1     │ecss-pa-sip-3.14.15.1185  │sip1@ecss1,sip1@ecss2          │sip1@ecss1,sip1@ecss2│23m 19s│
│ │sip1@ecss2     │ecss-pa-sip-3.14.15.1185  │sip1@ecss1,sip1@ecss2          │sip1@ecss1,sip1@ecss2│23m 15s│
└─┴───────────────┴──────────────────────────┴───────────────────────────────┴─────────────────────┴───────┘

All services are started.

  Active media resource selected list specific:
┌─────────────┬───────────┬────────────┬───────────┬───────────┐
│    Node     │    MSR    │    MSR     │ Cc-status │ Cc-uptime │
│             │           │  version   │           │           │
├─────────────┼───────────┼────────────┼───────────┼───────────┤
│ core1@ecss1 │ msr.ecss1 │ 3.14.15.238│ connected │ 00:20:41  │
│             │ msr.ecss2 │ 3.14.15.238│ connected │ 00:20:39  │
│ core1@ecss2 │ msr.ecss1 │ 3.14.15.238│ connected │ 00:20:36  │
│             │ msr.ecss2 │ 3.14.15.238│ connected │ 00:20:36  │
└─────────────┴───────────┴────────────┴───────────┴───────────┘

В примере выше видно, что ноды вошли в кластер и MSR зарегистрировались на ноде ecss-core.

Создание и настройка группы SIP-IP-адресов (IP-set)

Произведите настройку адаптера SIP согласно ТЗ (команды выполнить в CoCon):

/cluster/adapter/sip1/sip/network/set ip_set test_set node-ip node = sip1@ecss1 ip = 10.0.20.31

/cluster/adapter/sip1/sip/network/set ip_set test_set node-ip node = sip1@ecss2 ip = 10.0.20.32

/cluster/adapter/sip1/sip/network/set ip_set test_set listen-ports list = [5060]

результат:

/cluster/adapter/sip1/sip/network/set ip_set test_set node-ip node = sip1@ecss1 ip = 10.0.20.31
Property "ip_set" successfully changed from:     

to
test_set: no ports set
test_set: sip1@ecss1 10.0.20.31
test_set: dscp 0.

          
/cluster/adapter/sip1/sip/network/set ip_set test_set node-ip node = sip1@ecss2 ip = 10.0.20.32
Property "ip_set" successfully changed from:    
test_set: no ports set
test_set: sip1@ecss1 10.0.20.31
test_set: dscp 0
to
test_set: no ports set
test_set: sip1@ecss1 10.0.20.31
test_set: sip1@ecss2 10.0.20.32
test_set: dscp 0.

/cluster/adapter/sip1/sip/network/set ip_set test_set listen-ports list = [5060]
Property "ip_set" successfully changed from: 
test_set: no ports set
test_set: sip1@ecss1 10.0.20.31
test_set: sip1@ecss2 10.0.20.32
test_set: dscp 0
   to
test_set: 5060
test_set: sip1@ecss1 10.0.20.31
test_set: sip1@ecss2 10.0.20.32
test_set: dscp 0

Создание Домена и подключение IP-set

Создайте Домен (виртуальную АТС) и присвойте ему созданную выше группу (IP-set) настроек SIP-адаптера (команды выполняются в CoCon):

/domain/declare test_domain --add-domain-admin-privileges --add-domain-user-privileges

/domain/test_domain/sip/network/set ip_set [test_set]

результат:

/domain/declare test_domain --add-domain-admin-privileges --add-domain-user-privileges 
New domain test_domain is declared

/domain/test_domain/sip/network/set ip_set [test_set] 

Property "ip_set" successfully changed from:
          
[] 
    to 
["test_set"].

Добавление услуг

Установка всех услуг указных в лицензии:

/cluster/storage/ds1/ss/install ds1@ecss1 ss_*

результат:

/cluster/storage/ds1/ss/install ds1@ecss1 ss_*
Successfully installed: /var/lib/ecss/ss/ss_dnd.xml
Successfully installed: /var/lib/ecss/ss/ss_clir.xml
...
Successfully installed: /var/lib/ecss/ss/ss_chunt.xml

После установки в систему всех услуг, администратор системы должен открыть доступ на управление услугами оператору Домена (виртуальной АТС). Для этого используются команду:

Разрешить оператору Домена (виртуальной АТС) "test_domain" управлять  всеми услугами :

/cluster/storage/ds1/ss/access-list add test_domain *

результат:

/cluster/storage/ds1/ss/access-list add test_domain *
Supplementary services successfully added in the domain test_domain.

Для возможности применения пакета услуг у абонентов сразу после создания, необходимо настроить политику применения лицензионных пакетов услуг (детальную информацию вы можете посмотреть здесь )

Создать политику применения лицензии с именем -"new_sub"

/domain/test_domain/ss/licence/politics/declare new_sub "Задаются при создании абонента"

Задать имя пакета услуг дополнительных сервисов, для этого использовать следующие команды :

/cluster/storage/ds1/licence/show-licence 1

нас интересует следующая информация :

/cluster/storage/ds1/licence/show-licence 1
SSW ID                                                < Имя SSW ID >
Description                                           Лицензия для тестирования.

. . .  

Supplementary Services licence package(s)             
 name                                                 'ECSS-FULL+'
 limit                                                600000
 description                                          "Весь пакет услуг"
 SS list                                              [1,2,3,4,5]
                                                      
. . . 

имя пакета услуг в  примере "ECSS-FULL+".
Добавить в созданную политику пакет лицензионных услуг с именем "ECSS-FULL+", именно так он описан в лицензии:

/domain/test_domain/ss/licence/politics/package-add new_sub ECSS-FULL+ 

Пакет  добавлен, но в настоящий момент политика не активна (не может быть применена к абоненту).  Для активации политики new_sub выполнить следующую команду:

/domain/test_domain/ss/licence/politics/activate new_sub

Теперь при создании абонентов можем использовать дополнительные услуги.

После создания домена настройте:

• маршрутизацию;
• пользователей;
• абонентов;
• транки.

Пример первичной конфигурации системы с помощью web-конфигуратора

Исходные данные

• Установка системы завершена;
• Система готова к дальнейшей настройке;
• Интерфейсы запущены.

Рекомендуется использовать последние доступные версии браузеров. Рекомендуемые к использованию браузеры: Opera, Chrome.

Для начала конфигурации системы необходимо зайти в web-конфигуратор.

Для определения и регистрации в системе планируются:

• Абоненты с номерами 101, 102 , 103, 104 ,105, 106, 107, 108, 109, 110;
• Транк в сторону шлюза.

Подготовка к работе

Рисунок 3 — Вход в web-конфигуратор (окно авторизации)

В окне авторизации необходимо ввести значения, определенные при установке web-конфигуратора.

Стандартные значения для авторизации:

Логин: admin

Пароль: password

После входа в систему будет видна основная рабочая область с иконками приложений, а также строка состояния с доступными опциями, в частности:

• 1 — выход из системы;
• 2 — выбор домена;
• 3 — выбор языка.

Рисунок 4 — Вид рабочей области web-конфигуратора

Создание учетной записи оператора

После авторизации для повышения безопасности при эксплуатации программного коммутатора рекомендуется создание учетных записей для операторов, а также сменить пароль для пользователя admin.

Для создания новой учетной записи оператора используется приложение "Управление пользователями" ("User manager"):

Рисунок 5 — Вид приложения "Управление пользователями"

Нажмите кнопку "Добавить" . В открывшемся окне требуется определить новую учетную запись, для этого: 

1. В поле "Имя" введите логин учетной записи, например "test";
2. В поле "Пароль" и "Подтверждение" введите пароль для пользователя, например "testpassword";
3. Определите уровень прав доступа для пользователя через выбор текущих разрешений или с помощью ролей, например ecss-user. Описание можно посмотреть в разделе "Управление пользователями".

Рисунок 6 — Диалоговое окно создания учетной записи оператора

Рисунок 7 — Вид приложения с созданной учетной записью оператора

Для смены пароля рядом с названием пользователя нажмите на кнопку редактировать. В появившемся диалоговом окне введите:

1. Старый пароль (для пользователя "admin" по умолчанию паролем является "password");

2. Новый пароль;

3. Подтвердите новый пароль.

Рисунок 8 — Диалоговое окно редактирования учетной записи

Создание домена

Для создания домена необходимо войти в приложение "Домены" ("Domain"). В открывшемся окне требуется создать домен, для этого:

1. Нажмите кнопку "Добавить домен":

Рисунок 9 — Добавление домена в систему

2. В появившемся диалоговом окне доступны следующие настройки:

• Имя (Name) — индивидуальное имя виртуальной АТС;
• Профиль услуг (SS profile) — системный профиль дополнительных услуг. Этот профиль будет скопирован с тем же именем во вновь создаваемый домен и для всех услуг из этого профиля будет автоматически разрешён доступ через access-list;
• IVR профиль (IVR profile) — профиль IVR, заданный в приложении "Редактор IVR ограничений".

Введите название домена, например "test_domain";

3. Нажмите кнопку "Ок":

Рисунок 10 — Определение настроек нового домена

4. Нажмите кнопку "Обновить"   в приложении. 

Созданный домен будет отображаться в текущей конфигурации:

Рисунок 11 — Отображение созданного домена

Для редактирования текущего домена его необходимо выбрать в системе. Для перехода в домен воспользуйтесь опцией выбора домена (см. пункт 2 на рисунке "Вид рабочей области web-конфигуратора").

После выбора домена, согласно текущей конфигурации системы, станут доступны все приложения:

Рисунок 12 — Отображение приложений в текущей конфигурации системы

Создание IP-set (sip-транспорта) и присвоение его к домену

Для настройки интерфейса необходимо открыть приложение "Кластеры ("Clusters").

Рисунок 13 — Вид приложения "Кластеры"

IP-set — совокупность одного или нескольких IP-адресов из одной подсети и списка слушающих UDP/TCP-портов, которые будут открыты SIP-адаптером на данных адресах.

Для создания новой группы IP-адресов (IP-set) выделите кластер SIP-адаптера "sip1" и нажмите на кнопку "Свойства кластера" (или нажмите на иконку кластера двойным щелчком левой кнопки мыши).

В появившемся диалоговом окне перейдите на вкладку "Транспорт". Далее нажмите кнопку "Добавить". Появится новая группа, для редактирования полей двойным щелчком кнопки мыши нажмите на нужное:

1. Переименуйте группу адресов (IP-set), например "test_set";

2. Задайте порт, по которому будет происходить обращение к домену, например 5062;

3. Разверните вновь созданную группу нажатием на треугольник слева от названия группы;

4. Определите адрес для ноды SIP-адаптера, согласно примеру конфигурации. Для системы без резервирования укажите 10.0.20.10:

Рисунок 14 — Вид приложения "Кластеры/Транспорт"

Для системы с резервированием укажите 10.0.20.31 и 10.0.20.32:

Рисунок 15 — Вид приложения "Кластеры/Транспорт" для кластера

Нажмите кнопку "Сохранить" для применения настроек.

Для того чтобы привязать группу адресов к домену, необходимо вернуться в приложение "Домены" ("Domain"), выделить домен и перейти в настройки нажатием на кнопку "Свойства домена" или двойным нажатием левой кнопки мыши на домен.

В настройках списка откройте ветку "SIP", в ней "SIP транспорт", далее выберите в поле IP set созданную группу адресов. Нажмите кнопку "Сохранить" для применения настроек.

Рисунок 16 — Окно настройки для SIP транспорта

Создание абонентов

Для создания и редактирования параметров абонентов в системе используется приложение "Карточка абонента" ("Subscriber card").

Рисунок 17 — Вид приложения "Карточка абонента"

В конфигурации возможно создание SIP-абонентов и виртуальных абонентов.

Для пользователей, имеющих физическое окончание, используется функционал SIP-абонента, в то время как  виртуальный абонент используется тогда, когда нужна функциональность без физических окончаний. Например, номер для обращения к ivr-скрипту.

Для создания новых абонентов нужно нажать на кнопку "Добавить".

В появившемся диалоговом окне укажите следующие параметры:

• Контекст — контекст маршрутизации, выбираем тот, который создали, например "test_name";

• Имя интерфейса — номер или группа номеров, который присваивается абоненту, например {100-110};

• Алиас как пользователь — настройка, которая связывает номер сущности, алиас и пользователя одним и тем же названием, в примере настройка активирована;
• Авторизация — порядок проверки подлинности прав пользователя на доступ к данным, в примере используется always;
• Логин — использую настройку номер как логин для простоты;
• Пароль — можно задать или использовать сгенерированный системой.

Рисунок 18 — Пример определения абонентов в домене

Создание и применение контекстов маршрутизации для домена

Маршрутизация отвечает за поиск номера и последующую адресацию вызова. Для корректной работы системы должен быть настроен как минимум один контекст маршрутизации.

Настройка маршрутизации осуществляется в приложении "Менеджер маршрутизации" ("Routing manager") .

Рисунок 19 — Вид приложения "Менеджер маршрутизации"

В качестве примера создадим контекст, а затем несколько правил в нём, для этого:

1. В левой части окна в разделе "Контекст" нажмите на кнопку "Создать контекст"  ;

2. В открывшемся диалоговом окне обозначьте имя контекста, а также тип контекста — пустой контекст:

3. Нажмите "Сохранить контекст"  ;

Создадим 4 правила в данном контексте:

• rule1 — правило для выхода на транк TAU-72;
• rule2 — правило локальной маршрутизации для номеров 101-105;
• rule3 — правило для выхода в ivr;
• rule4 — правило-исключение.

Для создания нового правила нужно выделить созданный контекст и нажать кнопку "Создать правило". В появившемся окне нужно ввести название правила. Затем сохранить вновь созданные правила.

Рисунок 20 — Создание правила контекста маршрутизации

Рисунок 21 — Определение правил

На данный момент не определен транк, чтобы можно было сослаться на него в правиле, однако можно задать номера, по которым будет производится выборка.

Нажав на правило rule1, перейдем в нижнюю часть экрана, в которой располагаются области для редактирования контекста маршрутизации. Условно определим, что выборка для выхода на транк будет проводиться по признакам номера вызываемого абонента (CDPN), а номера в транке должны начинаться с цифры 4.

Функционально контекст маршрутизации делится на три части:

• Условия ("Condition") — раздел, определяющий выражения для выборки по предложенным признакам;
• Действия ("Action") — раздел, выполняющий преобразование признаков номеров к конкретному значению;
• Результат ("Result") — раздел, завершающий маршрутизацию и определяющий её результат.

rule1: Для выхода на транк нужно правильно отредактировать каждую часть:

• В разделе условий перейти на вкладку CDPN. Ввести номера телефонов, которые находятся за транком в поле "Номер". Например, чтобы определить номера с 106 по 107, нужно ввести условие: 10(6-7);
• В разделе действий перейти на вкладку CDPN. Ввести маску для изменения номера в поле "Номер". Например, чтобы добавить число 4 перед номером, нужно заполнить поле следующим выражением: 4{1,2,3};
• Нажать кнопки "Сохранить правило" и "Сохранить контекст" для применения изменений.

Чтобы настроить поле результата, нужно определить транк в системе, поэтому к настройке данного правила вернемся чуть позже.

Таким же образом нужно настроить оставшиеся правила.

Для rule2:

• В разделе условий, во вкладке CDPN ввести номера телефонов, которые находятся за транком в поле "Номер". Например, чтобы определить номера со 101 по 105, ввести условие 10(1-5);
• В разделе результата определить результат как локальный (т.е. локальная маршрутизация);
• Нажать кнопки "Сохранить правило" и "Сохранить контекст" для применения изменений.

Для rule 3 допустим, что абоненты с номерами 108, 109 и 110 попадают в ivr-скрипт–информатор, прежде чем звонить далее.

• В разделе условий, во вкладке CGPN ввести номера телефонов, по которым будет выборка в поле "Номер", например 1(10,08-09).
• Нажать кнопки "Сохранить правило" и "Сохранить контекст" для применения изменений.

Чтобы настроить поле результата, нужно определить в системе ivr-скрипт, поэтому к настройке данного правила вернемся чуть позже.

Для rule 4 мы определяем правило-исключение — это правило, которое работает в случае, если любые другие правила не срабатывают.

• По умолчанию данное правило создается в системе в контексте default_routing. В условиях на вызываемый номер прописывается символ %, а результатом является локальная маршрутизация, однако, если мы назначаем абоненту контекст, отличный от default_routing, в конце рекомендуется создавать это правило.

Рисунок 22 — Пример настроек контекста маршрутизации

Создание транка

Для создания и редактирования параметров транка в системе используется приложение "Менеджер транков" ("Trunk manager") .

Рисунок 23 — Вид приложения "Менеджер транков"

Для определения транка в системе нужно нажать на кнопку "Создать транк"  , в появившемся диалоговом окне определить параметры:

• Имя — назначить название транка, по которому его можно идентифицировать в системе;
• Контекст — применить ранее созданный контекст маршрутизации test_name;
• Группа — выбрать группу интерфейсов, созданную при определении абонентов "test.group";
• Группа IP-адресов (IP-set) — созданная на домене группа адресов "test_set";
• Регистрация — если используется транковая, то нужно включить данный параметр, в примере она не используется;
• Хост [:порт] — IP-адрес назначения транка — 10.0.3.100;
• Порт для приёма — транспортный порт, на котором будет слушаться трафик с транка, соответствует порту, назначенному на группу IP-адресов.

Рисунок 24 — Создание транка

Создание IVR-скрипта

Для создания IVR используется приложение "IVR-редактор" ("IVR editor").

Рисунок 25 — Вид приложения "IVR-редактор"

Для создания скрипта нужно нажать на кнопку "Добавить" , выбрать тип скрипта (в данном случае будет скрипт на входящие вызовы), в диалоговом окне указать название скрипта, например "test_ivr".

После создания скрипта в основном окне редактора появится блок-схема.

В качестве примера составим скрипт, который при срабатывании проигрывает вызывающему абоненту заранее записанную фразу, а затем продолжает вызов.

Пример скрипта приведен на рисунках ниже. Здесь используются блоки Info и Dial. 

• Блок Info — блок, который проигрывает сообщения до момента ответа пользователя. В качестве записанной фразы используется генератор тонов:

Рисунок 26 — Вид рабочей области IVR с настройками блока "Info"

• Блок dial — блок, который совершает вызов на заданный номер. Чтобы продолжить вызов, нужно применить предопределенную переменную CDPN:

Рисунок 27 — Вид рабочей области IVR

Завершение настройки маршрутизации

Для завершения настройки маршрутизации нужно войти в приложение "Менеджер маршрутизации" ("Routing manager") и в правилах rule1 и rule3 настроить соответствующие результаты маршрутизации, для этого:

• rule1: в разделе "Результат" выберите подпункт "внешний". В таблице "Направления" в поле "Значение" добавьте созданный ранее транк, после чего сохраните правило .
• rule3: В разделе "Результат" выберите подпункт "ivr" и в поле скрипт добавьте созданный ранее ivr-скрипт, после чего сохраните правило и контекст .

Рисунок 28 — Вид контекста маршрутизации

Настройка услуг

Для настройки услуг необходимо выполнить несколько действий:

• Установить услуги через СoСon;
• Добавить услуги для домена в список доступа (access-list) через СoСon;
• Далее любая услуга в списке доступа становится применимой на абоненте или транке.

Для входа в CLI "CoСon" можно воспользоваться терминалом или приложением "Командная консоль CoCon" ("CoCon").

После авторизации в Cocon пропишите следующие команды:

• Для установки услуг в систему:

cluster/storage/ds1/ss/install ds1@ecss1 *

• После успешной установки услуг пропишите следующую строку для добавления доступа к ним:

cluster/storage/ds1/ss/access-list add test_domain *

Символ "*" означает, что команда будет применена ко всем доступным элементам в системе. Если требуется установить конкретную услугу, вместо "*" вводится её название.

Для подключения услуг абоненту необходимо открыть карточку абонента, выбрать абонента из списка и перейти на вкладку "Дополнительные услуги".

Рисунок 29 — Пример настройки услуг

Для активации услуги абоненту необходимо подключить ее, нажав кнопку , затем активировать и настроить (прочитать подробнее можно в разделе приложения "Карточка абонента" ("Subscriber card")).

Добавление медиа-ресурсов.

Для того чтобы начать работу с медиа-сервером сразу после его регистрации, необходимо создать описание известных медиа-серверов с указанием всех параметров. Приложение web-конфигуратора "Сетевые окончания MSR" ("MSR registrars") служит для настройки медиа-ресурсов.