В данной главе описывается инсталляция системы Softswitch ECSS-10.

Инсталляция операционной системы

Используется ОС Ubuntu Server 18.04.x LTS 64bit. Все настройки ОС при инсталляции устанавливаются по умолчанию, кроме перечисленных ниже

1. На серверах системы необходимо настроить параметр "hostname":

   • если в системе используется один сервер: ecss1;
   • если система с резервированием: "hostname" первого сервера — ecss1; "hostname" второго сервера — ecss2.

2. На всех серверах системы желательно указать одинаковое имя пользователя (любое, кроме ssw).

   

   Лицензия ECSS-10 привязывается к ключу eToken/ruToken и к имени компьютера (hostname), поэтому необходимо использовать стандартные значения. Системный пользователь ssw создается при инсталляции пакетов ecss-*

3. При разметке жёсткого диска рекомендуется следующий вариант размещения информации в файловой системе на физических носителях, таблица 1.

   Таблица 1 — Вариант размещения информации в файловой системе на физических носителях для серверов

   №	Назначение	Название	Физическое размещение	Раздел	Точка монтирования	Тип файловой системы	Размер	Тип
   1	Корневой раздел операционной системы	root	raid 1:hdd1,hdd2	root	/	ext4	30Gb	Логический
   2	Информация локальных баз данных	mnesia	raid 1:hdd1, hdd2	mnesia	/var/lib/ecss	ext4	10Gb	Логический
   3	Распределенная БД для хранения медиаресурсов	glusterfs	raid 1:hdd1, hdd2 или hdd3	glusterfs	/var/lib/ecss/glusterfs	ext4	Max Gb	Логический
   4	Журналы функционирования подсистем ОС	log	raid 1:hdd1,hdd2 или hdd3	log	/var/log	ext4	5Gb	Логический
   5	Журналы функционирования подсистем ECSS	ecss_log	raid 1:hdd1,hdd2 или hdd3	log	/var/log/ecss	ext4	20Gb	Логический
   6	Базы данных	ecss_db	raid 1:hdd1,hdd2 или hdd3	ecss_db	/var/lib/ecss-mysql	ext4	100-400Gb*	Логический
   7	Файлы пользователя	file	raid 1:hdd1,hdd2 или hdd3	file	/home	ext4	10Gb	Логический

   *Рекомендуемое значение для серий Light, Light+, Midi - 100Gb. Рекомендуемое значение для серии Heavy - 200Gb,  Super Heavy - 400Gb.

   

   Для работы системы необходимо как минимум 130Gb свободного пространства.

4.  В конце инсталляции ОС будет предложено установить дополнительное программное обеспечение для возможности удаленного подключения — необходимо установить OpenSSH server.

В Ubuntu 18.04 swap-файл располагается в корневом каталоге — /swap. img.

По завершении инсталляции операционной системы необходимо отключить SWAP,  SWAP на серверах с ECSS-10 использовать нельзя!

Для отключения:

sudo swapoff /swap.img

sudo rm /swap.img

Настройка сетевых интерфейсов, bonding, VRRP

Получение адресов на сетевых интерфейсах по DHCP недопустимо!

Сетевые настройки необходимо выполнять с помощью netplan.
Затем netplan преобразует написанную нами конфигурацию, в вид понятный для systemd-network.

По умолчанию в Ubuntu 18.X для управления сетевыми настройками используется сервис networking.
Его нужно отключить:

sudo systemctl disable networking.service

Конфигурационный файл /etc/network/interfaces необходимо удалить:

sudo rm /etc/network/interfaces

Настройка bonding-интерфейса

Предположим, что система имеет следующие сетевые интерфейсы, которые требуется объединить в модуль bonding:

sasha@ecss1:~$ lshw -c network
WARNING: you should run this program as super-user.
  *-network                 
       description: Ethernet interface
       product: 82566DM-2 Gigabit Network Connection
       vendor: Intel Corporation
       physical id: 19
       bus info: pci@0000:00:19.0
       logical name: enp0s25
       version: 02
       serial: e6:ba:27:44:78:35
       size: 1Gbit/s
       capacity: 1Gbit/s
       width: 32 bits
       clock: 33MHz
       capabilities: bus_master cap_list ethernet physical tp 10bt 10bt-fd 100bt 100bt-fd 1000bt-fd autonegotiation
       configuration: autonegotiation=on broadcast=yes driver=e1000e driverversion=3.2.6-k duplex=full firmware=1.3-0 latency=0 link=yes multicast=yes port=twisted pair slave=yes speed=1Gbit/s
       resources: irq:24 memory:fe940000-fe95ffff memory:fe979000-fe979fff ioport:bc00(size=32)
  *-network
       description: Ethernet interface
       product: DGE-530T Gigabit Ethernet Adapter (rev 11)
       vendor: D-Link System Inc
       physical id: 0
       bus info: pci@0000:03:00.0
       logical name: enp3s0
       version: 11
       serial: e6:ba:27:44:78:35
       capacity: 1Gbit/s
       width: 32 bits
       clock: 66MHz
       capabilities: bus_master cap_list rom ethernet physical tp 10bt 10bt-fd 100bt 100bt-fd 1000bt 1000bt-fd autonegotiation
       configuration: autonegotiation=on broadcast=yes driver=skge driverversion=1.14 latency=64 link=no maxlatency=31 mingnt=23 multicast=yes port=twisted pair slave=yes
       resources: irq:16 memory:febfc000-febfffff ioport:e800(size=256) memory:febc0000-febdffff

Настройка bonding-интерфейса состоит из следующих этапов:

Создание bond-интерфейса

Для того чтобы определить bond-интерфейс в системе, необходимо создать следующий конфигурационный файл:

/etc/netplan/ecss.netplan 

Внести в него свои параметры сети:

# netplan for ecss1 biysk-work
network:
    version: 2
    renderer: networkd
    ethernets:
        enp0s25:    # Intel 82566DM-2 Gigabit Network Connection (MB)
            dhcp4: no
        enp3s0:     # D-Link DGE-530T Gigabit Ethernet Adapter (rev 11) PCI
            dhcp4: no
    bonds:
        bond1:
            interfaces:
                - enp0s25
                - enp3s0
            parameters:
                mode: active-backup
                mii-monitor-interval: 100
                primary: enp0s25
            optional: false
    vlans:
        bond1.2:    # Voip internal vlan 2
            id: 2
            link: bond1
            addresses: [192.168.2.21/24]
        bond1.3:    # mgm internal vlan 3
            id: 3
            link: bond1
            addresses: [192.168.1.21/24]
            gateway4: 192.168.1.203
            nameservers:
                addresses: [192.168.1.203]
        bond1.476:
            id: 476 # mgm techology net vlan 476
            link: bond1
            addresses: [10.16.33.5/24]
            routes:
                - to: 10.16.0.0/16
                  via: 10.16.33.254
                  on-link: true
                - to: 10.136.16.0/24
                  via: 10.16.33.254
                  on-link: true

В качестве имени интерфейса нельзя использовать bond0.

Настройка /etc/hosts

Доменное имя хоста ecss1 должно резолвиться в адрес 127.0.1.1. Также нужно прописать адрес хоста ecss2. Для этого в файле /etc/hosts необходимо прописать:

127.0.0.1 localhost
127.0.1.1 ecss1
192.168.1.22 ecss2

Для ecss2 тоже:

127.0.0.1 localhost
127.0.1.1 ecss2
192.168.1.21 ecss1

Настройки сети при помощи netplan

Введение

Netplan обеспечивает хранение параметров в формате YAML и предоставляет бэкенды, абстрагирующие доступ к конфигурации для NetworkManager и systemd-networkd.

Конфигурация может происходить в /{etc|run|lib}/netplan/*.yaml.
Netplan подгружает все данные файлы и применяет их.

Команды для управления netplan:

• netplan apply — применить новые настройки
• netplan try — попытаться применить настройки
• netplan ip leases interface — просмотреть настройки interface (например, enp3s0 )
• netplan ifupdown-migrate — осуществляет преобразование старых настроек /etc/network/interfaces в формат netplan.
• netplan generate — создаёт из конфигураций с расширением .yaml специфичную конфигурацию для бэкенда (network-manager или systemd-network)

Базовые настройки

Для конфигурации netplan применяется yaml — формат сериализации данных. Ниже приведен пример автоматической настройки сетевых интерфейсов.

Очень важно соблюдать табуляцию и не смешивать табуляцию и пробелы

Пример конфигурации:

    # /etc/netplan/01-network-manager-all.yaml
    # Let NetworkManager manage all devices on this system
    network:
        version: 2
        renderer: NetworkManager
        ethernets:
            enp3s0:
                addresses: []
                dhcp4: true
                optional: true

В начале идёт секция network, с которой начинается конфигурация. Далее следует указать version, который объявляет версию yaml, на котором представлена конфигурация.
renderer — указывает netplan в какой backend транслировать, доступные: networkd (systemd-network) и NetworkdManager (Network Manager)

После определения какой backend использовать, идёт поле ethernets, которое декларирует физические проводные интерфейсы, в нём определяются сетевые интерфейсы, которые реально подключены, например, enp3s0. Для данного интерфейса указывается список статических адресов addresses, включается dhcp4 для dhcp клиента IPv4, а также optional, что означает следующее: Данный интерфейс не обязателен для загрузки системы. Поле optional: по умолчанию false, поддерживается только networkd.

Настройка интерфейсов

Общие настройки для физических интерфейсов

• match (mapping) — выбирает интерфейсы по критерию
• macaddress (scalar) — макадрес устройства
• set-name (scalar) — установка имени интерфейса
• driver (scalar) — указание имени драйвера ядра
• wakeonlan (bool) — включение машины по сети

Общие настройки для всех типов

• renderer (scalar) — выбор бэкенда
• dhcp4 (bool) — получения настроек сети по dhcp IPv4
• dhcp6 (bool) — получения настроек сети по dhcp IPv6
• addresses (sequence of scalar) — список сетевый адресов вида a.b.c.d/mask для IPv4 или "2001:1::/64" для IPv6
• gateway4 (scalar) — шлюз для IPv4
• gateway6 (scalar) — шлюз для IPv6
• nameservers (mapping) — настройка dns
• optional (bool) — является ли обязательным при старте
• routes (mapping) — настройка маршрутизации

Маршрутизация

• vlans: — объявляем блок настройки vlan.
• vlan10: — произвольное имя vlan интерфейса.
• id: — тег нашего vlan.
• link: — интерфейс через который vlan будет доступен.
• routes: — объявляем блок описания маршрутов.
• to: — задаем адрес/подсеть до которой необходим маршрут.
• via: — указываем шлюз через которой будет доступна наша подсеть.
• on-link: — указываем что прописывать маршруты всегда при поднятии линка.

Пример

network:
        version: 2
        ethernets:
            id0:
                match:
                    macaddress: 00:11:22:33:44:55
                wakeonlan: true
                dhcp4: true
                addresses:
                    - 192.168.14.2/24
                    - 2001:1::1/64
                gateway4: 192.168.14.1
                gateway6: 2001:1::2
                nameservers:
                    search: [foo.local, bar.local]
                    addresses: [8.8.8.8]
            lom:
                match:
                    driver: ixgbe
                set-name: lom1
                dhcp6: true
            switchports:
                match:
                    name: enp2*
                mtu: 1280
        wifis:
            all-wlans:
                match: {}
                access-points:
                    "Joe's home":
                    password: "s3kr1t" 
            wlp1s0:
                access-points:
                    "guest":
                        mode: ap
                        channel: 11
        bridges:
            br0:
                interfaces: [wlp1s0, switchports]
                dhcp4: true
                routes:
                    - to: 0.0.0.0/0
                    via: 11.0.0.1
                    metric: 3

		vlans: 
    		vlan10:
				id: 10
      			link: bond0
      			dhcp4: no
      			addresses: [10.10.10.2/24]
      			gateway: 10.10.10.1
      			routes:
        			- to: 10.10.10.2/24
          			via: 10.10.10.1
          			on-link: true

Bond (Агрегация)

Настройка бондов, агрегирование физических каналов, в логический происходит следующим образом:

Блок параметров

• parameters (mapping)
  • mode (scalar) — Режим бонда: balance-rr(default), active-backup, balance-xor, broadcast, 802.3ad(default for ssw), balance-tlb, and balance-alb
  • mii-monitor-interval (scalar) — интервал мониторинга интерфейса(живой или нет). По умолчанию 0 (по умолчанию в милисек)
  • down-delay (scalar) — задержка перед отключением. По умолчанию 0 (по умолчанию в милисек).
  • up-delay (scalar) — задержка перед включением. По умолчанию 0 (по умолчанию в милисек).
  • lacp-rate (fast|slow) — Только в 802.3ad. Скорость передачи LACPDU.
  • transmit-hash-policy (salar) — Политика передачи хэша для выбора ведомых. Полезно в balance-xor, 802.3ad и balance-tlb. Возможные значения: layer2, layer3+4, layer2+3, encap2+3, and encap3+4.

    bonds:
        bond0:
            interfaces: [enp1s0f0, en01s0f1]
            addresses: [10.110.1.253/24]
            gateway4: 10.1.1.1
            parameters:
                    mode: 802.3ad
            nameservers:
                addresses: [10.110.10.22]

Основные параметры это:

• interfaces (sequence of scalar) — список физических интерфейсов, которые необходимо объединить в один
• parameters (mapping) — настройки агрегации

   network:
        version: 2
        renderer: networkd
        ethernets:
            enp0s3
                dhcp4: no
            enp0s8:
                dhcp4: no
        bonds:
            bond-ssw:
                dhcp4: yes
                interfaces:
                    - enp0s3
                    - enp0s8
                parameters:
                    mode: 802.3ad
                optional: true

• bonds: — блок поясняющий что мы будем настраивать bonding.
• bond0: — произвольное имя интерфейса.
• interfaces: — набор интерфейсов собираемых в bond-динг, ''как оговаривалось ранее если параметров несколько описываем их в квадратных скобках".
• parameters: — описываем блок настройки параметров
• mode: — указываем мод по которому будет работать bonding.
• mii-monitor-interval: — задаем интервал мониторинга 1 сек.

 bonds:
    bond0:
      dhcp4: no
      interfaces: [enp3s0f0, enp3s0f1]
      parameters: 
        mode: 802.3ad
        mii-monitor-interval: 1

Vlan

Настройка виртуальных интерфейсов мало чем отличается от настройки физического

    vlans:
        vdev:
            id: 101
            link: net1
            addresses:
                - 10.0.1.10/24
        vprod:
            id: 102
            link: net2
            addresses:
                - 10.0.2.10/24
        vtest:
            id: 103
            link: net3
            addresses:
                - 10.0.3.10/24
        vmgmt:
            id: 104
            link: net4
            addresses:
                - 10.0.4.10/24

Для определения vlan служит секция `vlans`, в ней определяются имена новых vlan'ов. У vlan есть 2 обязательных аргумента: `id` и `link`.

• id (scalar) — номер vlan
• link (scalar) — родительский интерфейс

Пример

        
          # Пример конфигурации для настройки ECSS-10
# В варианте когда каждый хост подключен к коммутаторам выделенным линком
# Коммутаторы организованны в erps-кольцо
network:
    version: 
            2
           # Версия
    renderer: 
            networkd
           # systemd
    ethernets: # настройка сетевых интерфейсов
        enp1s0f0: # Наименование интерфейса. Может быть иным
            dhcp4: 
            no
           # Отключаем настройку по dhcp
            dhcp6: 
            no
           # Отключаем настройку по dhcp v6
        enp1s0f1:
            dhcp4: 
            no
          
            dhcp6: 
            no
          
        enp2s1:
            dhcp4: 
            no
          
            dhcp6: 
            no
          

    bonds: # Связываем физические интерфейсы в бонды для отказоустойчивости
        bond1: # Наименование бонда
            interfaces: # перечисляем интерфейсы, которые входят в данный бонд
                - 
            enp1s0f0
          
                - 
            enp1s0f1
          
            parameters: # Параметры агрегации
                mode: 
            active-backup
           # Рекомендуемый режим для линков подключенных к коммутаторам в ERPS-кольце
                primary: 
            enp1s0f0
           # Основной интерфейс
                mii-monitor-interval: 
            100ms
          
                up-delay: 
            100ms
          
                down-delay: 
            200ms
          
                lacp-rate: 
            fast
          
            optional: 
            false
          

    vlans: # Настраиваем vlan
        vlan.80: # Название vlan
            id: 
            80
           # тэг vlan
            link: 
            bond1
           # на каком интерфейсе будет добавляться тэг
            addresses:
                - 
            10.80.0.10/26
           # адрес
            nameservers: # На другой внутренней машине настроен dns
                addresses:
                    - 
            172.16.0.250
          
                    - 
            172.16.0.100
          

      

Настройка VRRP доступна в разделе Настройка VRRP.

Обновление ОС и инсталляция необходимого ПО

Необходимо настроить адрес репозитория для обновления ОС и инсталляции ПО.

Стандартным адресом репозитория Ubuntu Linux в России является адрес ru.archive.ubuntu.com (213.180.204.183).
Если сервер имеет выход в интернет и в вашей технологической сети нет собственного репозитория, менять адрес репозиториев не нужно.

Наличие собственного репозитория Ubuntu Linux и его адрес уточните у системных администраторов вашей компании.

Чтобы сменить адрес репозитория откройте файл sources.list при помощи текстового редактора и измените в нем адрес репозитория.
Для этого необходимо выполнить команду:

ssw@ecss1:~$ sudo nano /etc/apt/sources.list

Также для установки системы ECSS-10 необходимо добавить репозиторий ЭЛТЕКС:

sudo sh -c "echo 'deb [arch=amd64] http://archive.eltex.org/ssw/bionic/3.14 stable main extras external' > /etc/apt/sources.list.d/eltex-ecss10-stable.list"

Обратите внимание, что требуется указать верную версию операционной системы при добавлении репозитория Eltex. Если установка происходит на Ubuntu 18.04, то необходимо указать  bionic как приведено в примере. Однако, если ECSS-10 устанавливается на Astra Linux необходимо указать соответствующие репозитории smolensk :

sudo sh -c "echo 'deb [arch=amd64] http://archive.eltex.org/ssw/smolensk/3.14 stable main extras external' > /etc/apt/sources.list.d/eltex-ecss10-stable.list"
sudo sh -c "echo 'http://archive.eltex.org astra smolensk smolensk-extras' > /etc/apt/sources.list.d/eltex-ecss10-stable.list"

CODE

Далее необходимо выполнить импорт ключа командой:

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 33CB2B750F8BB6A5

Для обновления ОС необходимо выполнить команды:

ssw@ecss1:~$ sudo aptitude update
ssw@ecss1:~$ sudo aptitude upgrade

Список обязательного сервисного программного обеспечения:

Список рекомендуемого диагностического и вспомогательного программного обеспечения:

Список обязательных пакетов для схем с резервированием:

Список дополнительных пакетов для схем с резервированием:

Для установки необходимых пакетов:

sudo aptitude install ntp tcpdump vlan dnsmasq

Для установки всех пакетов:

sudo aptitude install ntp tcpdump ssh vlan atop ethtool htop iotop mc minicom mtr-tiny nmap pptpd pv screen tftpd vim tshark cpanminus gnuplot libgraph-easy-perl

Если система с резервированием выполните дополнительно:

sudo aptitude install ifenslave-2.6 keepalived bridge-utils attr

Для просмотра установленных пакетов выполните следующую команду (данный пункт является необязательным, можно выполнить, если вы не уверены, что какое-то приложение установлено):

ssw@ecss1:~$ sudo dpkg --get-selections

Обратите внимание, что для корректного применения изменений в конфигурации пакетов ecss-dns-env необходимо использовать dpkg-reconfigure, иначе изменения будут стерты при обновлении.

Инсталляция MySQL-сервера

Перед установкой необходимо убедиться, что папка /var/lib/mysql/ пуста. При необходимости, удалите все ее содержимое командой sudo rm -R /var/lib/mysql/

Если система разворачивается в кластере, то необходимо выполнить следующий пункт: Схема развертывания MySQL master-master replication с использованием keepalive, а данный пропустить.

Для установки MySQL-сервера выполните команду:

sudo aptitude install ecss-mysql

При инсталляции пакеты будут запрошены следующие данные:

• Ip маска для прав MySQL таблиц ("IP pattern for MySQL permission") — эта маска указывает из под какого пула IP адресов будет доступен вход в базу данных. Если ecss-mysql устанавливается на том же хосте, что и остальная система (ecss-node), используйте адрес 127.0.0.%. Если ecss-mysql сервер будет установлен на другом хосту, то укажите пул адресов, в который будет входить адрес сервера, где будет установлен ecss-node. К примеру, если ecss-node будет установлен на сервер с ip 192.168.1.1/24, а ecss-mysql устанавливается на сервер с ip 192.168.1.2/24, то в ответе на этот вопрос нужно указать маску 192.168.1.%. 
• Логин для администратора mysql ("Login for MySQL root") - этот логин будет установлен для сервера mysql. Логин нужно запомнить, так как он потребуется в ходе установки других нод. Так же он используется в процессе создания backup системы.  
• Пароль для администратора mysql ("Password for MySQL root") - этот пароль будет установлен для пользователя, указанного в ответе на предыдущий вопрос. Пароль нужно запомнить, так как он потребуется в ходе установки других нод. Так же он используется в процессе создания backup системы. 

Базы данных mysql, используемых системой ECSS-10, после установки, будут храниться по пути /var/lib/ecss-mysql. При установке пакета ecss-mysql, aptitude задаст вопрос о разрешении изменения конфигурационного файла "Configuration file '/etc/apparmor.d/local/usr.sbin.mysqld'", чтобы изменить путь до баз mysql по умолчанию. Для успешной установки ecss-mysql требуется согласиться (введите "Y"). Чтобы избежать ввода ответа на вопрос при установке пакета, допускается использовать дополнительные ключи при вводе команды установки: sudo apt-get -o Dpkg::Options::="--force-confnew" install ecss-mysql 

Чтобы убедиться в корректности установки, после ее завершения, проверьте запущен ли mysql сервер:

sudo systemctl status mysql
● mysql.service - MySQL Community Server
   Loaded: loaded (/lib/systemd/system/mysql.service; enabled; vendor preset: enabled)
  Drop-In: /etc/systemd/system/mysql.service.d
           └─override.conf
   Active: active (running) since Fri 2019-09-13 14:21:57 +07; 44s ago
 Main PID: 4224 (mysqld)
    Tasks: 30 (limit: 4915)
   CGroup: /system.slice/mysql.service
           └─4224 /usr/sbin/mysqld --daemonize --pid-file=/run/mysqld/mysqld.pid

Попробуйте войти в базу данных mysql под логином (<LOGIN>) и паролем (<PASSWORD>) указанным при установке:

sudo mysql -u<LOGIN> -p<PASSWORD>
mysql>

Если ecss-mysql был установлен на дополнительном сервере, то попробуйте войти в mysql с хоста, где будет установлен пакет ecss-node:

sudo mysql -u<LOGIN> -p<PASSWORD> -h<IP-mysql-server>
mysql>

В случаи корректной установки перед вами появится CLI mysql сервера.  Чтобы выйти из CLI mysql, используйте команду "exit;".

Установка пакетов ECSS

В системе уже должен быть установлен пакет ecss-mysql. Установку производить НЕ из под пользователя ssw.

Для установки системы ECSS-10 необходимо выполнить следующие действия:

1. Установка пакета ecss-user, подготавливающего хост к установке пакетов ecss-*:

   sudo aptitude install ecss-user

   CODE

   Во время установки пакета ecss-user создается пользователь ssw, из под которого запускаются все сервисы ecss*. Создаются необходимые папки, выполняется настройка DNS, идет настройка SSL сертификатов.

   Также имеется вопрос про установку сертификатов в систему. Актуален только если был сгенерирован само-подписанный сертификат, то в систему установится  ecss10root.crt  (при копировании также пытается скачать  ecss10root.crt, либо если при ручной установки был помещён данный файл). Если уже имеются сертификаты, то никаких действий не будет произведено. В конце также проверяется валидность сертификата.

   Чтобы сгенерировать новый сертификат, необходимо удалить  ecss10.{pem,crt,key}  и  ecss10root.{crt,key}, после чего сделать  dpkg-reconfigure ecss-user.

2. Если планируется установка системы в кластере, то, как правило, на первом сервере нужно сгенерировать сертификат, а при установке ecss-user на втором сервере выбрать копирование с первого сервера (Подробнее можно посмотреть в разделе "Настройка сертификатов ECSS-10").

   При установке ecss-user будут следующие вопрос:

   1. Способ конфигурирования сертификатов
      1. Ручной (manual)
         

         После того, как вы выбрали ручной способ конфигурации сертификатов, на экране появится окно, где будет сказано, что необходимо поместить файлы  ecss10.{pem,crt,key}  в /etc/ecss/sll, после чего можно продолжить установку. Либо, дойти до конца установки, где вам напомнят, что необходимо сделать. После чего поместите необходимые файлы в требуемую директорию и начните процесс установки заново (перезапустите установку). Если все действия были выполнены верно — установка завершится и можно будет продолжить установку системы.

      2. Сгенерировать само-подписанный сертификат (generate)
         

         Когда выбран пункт генерации, будут следующие вопросы

         1. Страна (RU)
         2. Область (Novosibirsk)
         3. Город (Novosibirsk)
         4. Организация (Eltex)
         5. Структурный узел (IMS)
         6. Имя сертификата (ecss10)
         7. Почта (ssw-team@eltex.loc)
         8. Количество дней жизни сертификата
         9. Пароль для корневого приватного ключа
         10. Алгоритм шифрования для ключа
         11. Сложность ключа
         12. Сложность для параметров диффи-хелмана
         13. Дополнительные имена, за которые отвечает сертификат (на примере офиса — это ssw1.eltex.loc, ssw2.eltex.loc, ssw.eltex.loc), перечисленные через пробел (можно wildcard только для одного последнего уровня)

         Чем больше сложность ключа — тем дольше установка (dhparam при сложности 8192 на своей машине заняло около часа)
         После чего вас уведомлять, что необходимо убрать в безопасное место приватный корневой ключ

      3. Скопировать существующие (copy)
         1. скопировать по ssh
            Вопросы:
            1. Логин (user)
            2. Адрес удалённой машины (10.10.10.10)
            3. Порт (22)
            4. Способ авторизации (password или identity_file)
               1. Пароль (password)
               2. Файл с ключом (/home/user/.ssh/id_rsa)
            5. Путь до папки с сертификатом (/etc/ecss/ssl)
         2. скопировать по http
            Вопросы:
            1. url (https://system.restfs.ecss:9993/certs)
            2. Логин (если используется авторизация basic)
            3. Пароль
         3. скопировать с другого сервера ecss10
            Используется API http_terminal
            1. url до http_terminal (https://ssw.eltex.loc:9999)
            2. логин (admin)
            3. пароль (password)
            4. нода с сертификатами (core1@ecss1)

3. Установить пакет ecss-node, содержащий основные подсистемы:

   sudo aptitude install ecss-node

   CODE
   

   Внимание! epmd сервис требует наличие ipv6 адреса на lo интерфейсе. Для отключения (если в этом возникнет реальная потребность) ipv6 на отличных от lo интерфейсов используйте следующие настройки в sysctl:

   net.ipv6.conf.default.disable_ipv6 = 1
   net.ipv6.conf.lo.disable_ipv6 = 0

   CODE

   
   

   lo        Link encap:Local Loopback  
             inet addr:127.0.0.1  Mask:255.0.0.0
             inet6 addr: ::1/128 Scope:Host
             UP LOOPBACK RUNNING  MTU:65536  Metric:1
             RX packets:128107 errors:0 dropped:0 overruns:0 frame:0
             TX packets:128107 errors:0 dropped:0 overruns:0 carrier:0
             collisions:0 txqueuelen:1 
             RX bytes:20598936 (20.5 MB)  TX bytes:20598936 (20.5 MB)

   CODE

   
   

   

   В ходе установи пакета ecss-node выполняется конфигурирование внутренних DNS адресов. При установке, в зависимости от текущей конфигурации системы, может появляться сообщение:

   See "systemctl status dnsmasq.service" and "journalctl -xe" for details.
   invoke-rc.d: initscript dnsmasq, action "start" failed.
   ● dnsmasq.service - dnsmasq - A lightweight DHCP and caching DNS server

   CODE

   Такой вывод в ходе установки является нормальным и не свидетельствует о проблемах.

4. Для установки отдельных подсистем используйте нужные пакеты:

   • ecss-restfs
   • ecss-media-server
   • ecss-web-conf
   • ecss-cc-ui
   • ecss-security

   • ecss-media-resources

   • ecss-autoprovision
   • ecss-teleconference-ui
   • ecss-asr
5. Если требуется отключить 80 порт, это можно сделать отредактировав файл /etc/nginx/sites-available/ecss-web-conf убрав соответствующую секцию.

6. Инсталятор предлагает установить и настроить пакет Text2speech от Yandex. Подробнее можно прочитать в разделе  Настройка RestFS или во вкладке ниже.

    Нажмите здесь для раскрытия...

   
   

   Настройка сервиса tts для работы с Yandex-Speechkit (Text-to-Speech)/Настройка в Yandex Облако

   Для корректной работы tts Text-to-Speech через Yandex сервис требуются сделать следующие шаги:

   • Создать новый или авторизовать в существующий аккаунте Яндекс.Облако.
   • Выполнить действия согласно документации Yandex-Speechkit, для получения OAuth-токена.
   • Получить значения FOLDER_ID из url директории на Яндекс.Облако
     

   • Если пакет ecss-restrs уже установлен, то указать параметры FOLDER_ID и OAuth-токена при dpkg-reconfigure пакета. 

     sudo dpkg-reconfigure ecss-restfs

   • Если пакет ecss-restrs не установлен, то указать параметры FOLDER_ID и OAuth-токена при установке пакета.

     sudo aptitude install ecss-restfs

   • Проверить состояние ключей через http терминал:

     tester@ecss1:~$ curl localhost:9990/tts_info
     
     {
         "folderId":"UKqJakGZnKKkoc7agA",
         "service":"yandex",
         "keys":
         {
             "AQAAA5duo0v_-XFP_jAATuwa7G8DtRMEeLvUDSkXngKvEb1SNZ1S4ARy5r7":"CggaATEVAgAAABKABCqjm-
             lI92RDbvfhFHK9CFzE8B3RnFR4LslDZ4Fw_p98oX0kOtbxMQcsCrq166Yc9sO2lfyCn7ffvcHE9ZSiTvx6h5Imhix3FMzI_abqirtai33ASNZ1S4ARy5Ydou3fnwOMzBtf8-
             MquvWGAgAnwGqQuVGZ4ZA1GQxBGjZMjugNjDfwSlpEb-vqyw9NMqpgayxXV7D7GAgAnwGqQuVGriDmt5duo0v_-XFP_jH_g9qU-DsEco0rZS0HQFupzshjJqSE8Gm5-
             FwFJCqak5dwNHsNSKOYspkRj87GAgAnwGqQuVGCOkD7vHOlod3bJu5WzwQprAKOORb73PDMNg22dXhYLwa2kg_OdRz0euq9sIr_1zQkTsIr_1zQkTIXuk8_FyfDWJA3WNAb2lRGj-
             AODAl0vf9iR7i5Pgm0-mu80v_xBbYsSexk6luvUSGXTLL1PX6PSROwUXClb1bFTyn7ojNZNyLnKTQTDyngTf5ySutpOPf
         },
         "OAuth":"GAgAnwGqQuVGZ4ZA1GQxBGjZMjugNjDfwSlpEb" 
     }

     XML
     • folderId — идентификатор директории на Яндекс.Облако
     • service — сервис используемый для генерации голоса
     • keys — IAM-токен который RestFS автоматически запрашивает каждые 12 часов
     • OAuth — OAuth токен указанный при установки сервиса
     • localhost — ip-адрес RestFS

В ходе установки необходимо будет ответить на ряд вопросов для формирования конфигурационных файлов.

Список вопросов в разрезе пакетов ecss можно посмотреть в разделе Вопросы, задаваемые при инсталляции пакетов ECSS.

Использование debconf

Если требуется установка в "тихом режиме"(например, инсталляция нескольких однотипных систем), тогда можно использовать штатное средство debian-based дистрибутивов — https://wiki.debian.org/DebianInstaller/Preseed и заранее подготовить файл ответов.

Формат данных

Данные представляют собой набор строк. Строки, начинающиеся с символа # считаются комментариями. Пустые строки игнорируются. Все остальные строки являются ответом на один вопрос, и должны содержать четыре значения, каждое отделяется от другого одним пробельным символом. Первое значение --- это имя пакета, которому принадлежит вопрос. Второе --- это имя вопроса, третье --- это тип вопроса, а четвёртое значение (до конца строки) --- это значение используемое для ответа на вопрос.

Также третье значение может быть равно "seen"; такая строка помечает вопрос в базе данных debconf как заданный. Заметим, что автозаполнение ответов на вопросы по умолчанию помечает эти вопросы как заданные, поэтому для изменения ответа по умолчанию без пометки вопроса как заданного, вам нужны две строки.

Строки продлеваются на следующую строку, если оканчиваются символом "\".  

Далее внести изменения в debconf командой:

sudo debconf-set-selections <имя файла ответов>

И после этого уже ставить пакет. Вопросов задаваться не будет.

Примеры использования команд при работе с debconf приведены в Приложении В.

Вопросы, задаваемые при инсталляции пакетов ECSS

Синхронизация времени на серверах

Перед настройкой NTP рекомендуется установить текущую системную дату на значение, максимально приближенное к реальному времени. Для этого можно воспользоваться утилитой для ручной синхронизации времени — ntpdate.

Пример для установки времени с сервера 10.136.16.100:

sudo ntpdate 10.136.16.100

Команда date без параметров выводит текущее системное время.

Установка и настройка NTP

Ниже приведены примеры первичной настройки NTP для кластера из 2-х серверов ecss, которые синхронизируются от внешнего сервера 10.136.16.100 а также локально между собой(tos orphan).

1. Установка NTP происходит при первичной установке пакета ecss-node, в ходе которого будет задано несколько вопросов, пример для ecss1:
   
   • Спрашивается, хотите ли включить tos orphan режим? — режим для кластера, сам регулирует кто с кем синхронизируется (да/нет).
     
   • Точность времени кластера по Strаtum. По умолчанию — 7.
     
   • Спрашиваются внешние сервера — по умолчанию ntp.ubuntu.com. Они указываются для нод, которые должны регулировать время и синхронизировать с внешним источником (указываются адреса через пробел).
     
   • Предлагается использовать настройки синхронизации с локальных серверов.
     
   • Спрашиваются локальные хосты, с которыми должна происходить синхронизация (указываются адреса через пробел).
     
   • Указываются сети, которые могут иметь доступ до ноды, чтобы другие ноды, а также прочие устройства комплекса ECSS-10 могли синхронизироваться (указываются сети вида адрес_сети|маска_сети через пробел).
     
   • Спрашивается какой точность по Stratum выставить серверу ntp на данной машине. По умолчанию — 5.
     
2. Ручная настройка сервиса. Для примера возьмем серверы в кластере с адресами 192.168.1.21  (ecss1) и 192.168.1.22  (ecss2). Внешний сервер NTP - 10.136.16.100. Подсети, с которых разрешен доступ — 192.168.1.0/24 и 10.16.0.0/16. В случае если требуется переконфигурировать текущие настройки NTP, то следует отредактировать файл /etc/ecss/ecss-ntp.conf. Для этого необходимо привести файл /etc/ecss/ecss-ntp.conf к следующему виду:

3. Пример 1. В примере используется схема с резервированием. Система ECSS-10 развернута на двух серверах, которые синхронизируются между собой и NTP-сервером.

   Сервер ecss1:

   # /etc/ntp.conf
   
   # http://www.k-max.name/linux/ntp-server-na-linux/
   # В preinst делаем бэкап старого и устанавливаем текущий
   # В postrm достаём из бэкапа
   
   # Смещение системных часов
   driftfile       /var/lib/ntp/ntp.drift
   # Логи
   logfile /var/log/ntp
   # Статистика синхронизации времени
   statsdir /var/log/ntpstats/
   
   # Разрешает записыват статистику:
   # loopstats - статистика для петли (loopback)
   # peerstats - статистика пиров
   # clockstats - статистика драйвера времени
   statistics loopstats peerstats clockstats
   filegen loopstats file loopstats type day enable
   filegen peerstats file peerstats type day enable
   filegen clockstats file clockstats type day enable
   
   # Активируем Orphan mode - режим синхронизации времени для кластеров, устанавливаем для него стратум
   # tos orphan <stratum>
   # TOS
   tos orphan 7 ### INSTALLED AUTOMAT BY ECSS10
   
   # Сервера локальной сети
   # peer <ip|domain>
   # LOCAL_SERVERS
   peer 127.0.0.1 ### INSTALLED AUTOMAT BY ECSS10
   peer ecss2 ### INSTALLED AUTOMAT BY ECSS10
   
   # интернет-сервера
   # server xx.xx.xx.xx iburst
   # restrict xx.xx.xx.xx
   # INTERNET_SERVERS
   server 10.136.16.100 iburst ### INSTALLED AUTOMAT BY ECSS10
   restrict 10.136.16.100 ### INSTALLED AUTOMAT BY ECSS10
   
   # ограничение доступа к нашему серверу:
   # по умолчанию игнорируем все
   restrict -4 default kod notrap nomodify nopeer noquery limited
   restrict -6 default kod notrap nomodify nopeer noquery limited
   restrict source notrap nomodify noquery
   
   # локалхост без параметров - значит разрешено все. Параметры идут только на запреты.
   restrict 127.0.0.1
   restrict ::1
   
   # Локальный доступ
   # restrict x.x.x.x mask x.x.x.x nomodify notrap
   # NETWORK
   restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap ### INSTALLED AUTOMAT BY ECSS10
   restrict 10.16.0.0 mask 255.255.0.0 nomodify notrap ### INSTALLED AUTOMAT BY ECSS10
   
   # Локальный сервер позволяет поддерживать собственное время
   server  127.127.1.1
   # fudge   <ip|domain> stratum <stratum>
   # LOCAL_STARTUM
   fudge 127.127.1.1 stratum 5 ### INSTALLED AUTOMAT BY ECSS10
   

   Сервер ecss2:

   # /etc/ntp.conf
   
   # http://www.k-max.name/linux/ntp-server-na-linux/
   # В preinst делаем бэкап старого и устанавливаем текущий
   # В postrm достаём из бэкапа
   
   # Смещение системных часов
   driftfile       /var/lib/ntp/ntp.drift
   # Логи
   logfile /var/log/ntp
   # Статистика синхронизации времени
   statsdir /var/log/ntpstats/
   
   # Разрешает записывать статистику:
   # loopstats - статистика для петли (loopback)
   # peerstats - статистика пиров
   # clockstats - статистика драйвера времени
   statistics loopstats peerstats clockstats
   filegen loopstats file loopstats type day enable
   filegen peerstats file peerstats type day enable
   filegen clockstats file clockstats type day enable
   
   # Активируем Orphan mode - режим синхронизации времени для кластеров, устанавливаем для него стратум
   # tos orphan <stratum>
   # TOS
   tos orphan 7 ### INSTALLED AUTOMAT BY ECSS10
   
   # Сервера локальной сети
   # peer <ip|domain>
   # LOCAL_SERVERS
   peer 127.0.0.1 ### INSTALLED AUTOMAT BY ECSS10
   peer ecss1 ### INSTALLED AUTOMAT BY ECSS10
   
   # интернет-сервера
   # server xx.xx.xx.xx iburst
   # restrict xx.xx.xx.xx
   # INTERNET_SERVERS
   server 10.136.16.100 iburst ### INSTALLED AUTOMAT BY ECSS10
   restrict 10.136.16.100 ### INSTALLED AUTOMAT BY ECSS10
   
   # ограничение доступа к нашему серверу:
   # по умолчанию игнорируем все
   restrict -4 default kod notrap nomodify nopeer noquery limited
   restrict -6 default kod notrap nomodify nopeer noquery limited
   restrict source notrap nomodify noquery
   
   # локалхост без параметров - значит разрешено все. Параметры идут только на запреты.
   restrict 127.0.0.1
   restrict ::1
   
   # Локальный доступ
   # restrict x.x.x.x mask x.x.x.x nomodify notrap
   # NETWORK
   restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap ### INSTALLED AUTOMAT BY ECSS10
   restrict 10.16.0.0 mask 255.255.0.0 nomodify notrap ### INSTALLED AUTOMAT BY ECSS10
   
   # Локальный сервер позволяет поддерживать собственное время
   server  127.127.1.1
   # fudge   <ip|domain> stratum <stratum>
   # LOCAL_STARTUM
   fudge 127.127.1.1 stratum 5 ### INSTALLED AUTOMAT BY ECSS10
   

   Возможные ситуации:

   В режиме Orphan сервера в кластере синхронизируются друг от друга, сами договариваются кто из них мастер и следят, чтобы в рамках кластера часы шли синхронно.
   Если появляется мастер сервер NTP со стратумом меньше заданного для кластера, то кластер автоматически перенастраивается на синхронизацию от него.

   Таким образом, выполняется постоянное наличие единственной точки синхронизации времени.

   Все зависимые устройства должны синхронизироваться от серверов кластера.

   Пример 2.

   В примере используется схема без резервирования. Orphan mode не используется. Внешний сервер — 10.136.16.100. Доступ к серверу разрешаем также из подсетей 192.168.1.0/24 и 10.16.0.0/16.

   # /etc/ntp.conf
   
   # http://www.k-max.name/linux/ntp-server-na-linux/
   # В preinst делаем бэкап старого и устанавливаем текущий
   # В postrm достаём из бэкапа
   
   # Смещение системных часов
   driftfile       /var/lib/ntp/ntp.drift
   # Логи
   logfile /var/log/ntp
   # Статистика синхронизации времени
   statsdir /var/log/ntpstats/
   
   # Разрешает записыват статистику:
   # loopstats - статистика для петли (loopback)
   # peerstats - статистика пиров
   # clockstats - статистика драйвера времени
   statistics loopstats peerstats clockstats
   filegen loopstats file loopstats type day enable
   filegen peerstats file peerstats type day enable
   filegen clockstats file clockstats type day enable
   
   # интернет-сервера
   # server xx.xx.xx.xx iburst
   # restrict xx.xx.xx.xx
   # INTERNET_SERVERS
   server 10.136.16.100 iburst ### INSTALLED AUTOMAT BY ECSS10
   restrict 10.136.16.100 ### INSTALLED AUTOMAT BY ECSS10
   
   # ограничение доступа к нашему серверу:
   # по умолчанию игнорируем все
   restrict -4 default kod notrap nomodify nopeer noquery limited
   restrict -6 default kod notrap nomodify nopeer noquery limited
   restrict source notrap nomodify noquery
   
   # локалхост без параметров - значит разрешено все. Параметры идут только на запреты.
   restrict 127.0.0.1
   restrict ::1
   
   # Локальный доступ
   # restrict x.x.x.x mask x.x.x.x nomodify notrap
   # NETWORK
   restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap ### INSTALLED AUTOMAT BY ECSS10
   restrict 10.16.0.0 mask 255.255.0.0 nomodify notrap ### INSTALLED AUTOMAT BY ECSS10
   
   # Локальный сервер позволяет поддерживать собственное время
   server  127.127.1.1
   # fudge   <ip|domain> stratum <stratum>
   # LOCAL_STARTUM
   fudge 127.127.1.1 stratum 5 ### INSTALLED AUTOMAT BY ECSS10

4. Для применения обновленной конфигурации нужно перезапустить сервис NTP:

   sudo systemctl restart ntp.service

5. Для просмотра информации о состоянии синхронизации используется команда  ntpq –p . Если использовать дополнительный ключ –n, вместо имени сервера будет указан IP-адрес:

   Пример 1. Схема с резервированием, запуск команды на обоих серверах.

   sasha@ecss1:~$ ntpq -pn; ssh sasha@ecss2 'ntpq -pn'
        remote           refid      st t when poll reach   delay   offset  jitter
   ==============================================================================
    127.0.0.1       .INIT.          16 s    - 1024    0    0.000    0.000   0.000
   *10.136.16.100   192.36.143.151   2 u  726 1024  377    7.564   -2.189   3.791
    127.127.1.1     .LOCL.           5 l   8h   64    0    0.000    0.000   0.000
   +192.168.1.22    10.136.16.100    3 s    1 1024  377    0.211   -0.188   1.063
        remote           refid      st t when poll reach   delay   offset  jitter
   ==============================================================================
    127.0.0.1       .INIT.          16 s    - 1024    0    0.000    0.000   0.000
   *10.136.16.100   192.36.143.151   2 u   30 1024  377    7.116   -2.188   2.832
    127.127.1.1     .LOCL.           5 l   8h   64    0    0.000    0.000   0.000
   +192.168.1.21    10.136.16.100    3 s 1004 1024  376    0.087    0.251   1.14

   Пример 2. Схема без резервирования.

   sasha@ecss1:~$ ntpq -pn
        remote           refid      st t when poll reach   delay   offset  jitter
   ==============================================================================
   *10.136.16.100   194.58.203.148   2 u   46  128  377    6.928   -0.181   0.261
    127.127.1.1     .LOCL.           5 l 1943   64    0    0.000    0.000   0.00

   Описание параметров:

   • remote — имя удаленного NTP-сервера;
   • refid — IP-адрес сервера, с которым производит синхронизацию удаленный сервер NTP;
   • st — stratum (уровень), число от 1 до 16, указывающее точность сервера;
   • t — тип удаленного сервера:
     • u — unicast,
     • l — local,
     • m — multicast,
     • s –  symmetric (peer),
     • b — broadcst;
   • when — интервал времени (в секундах), прошедший с момента получения последнего пакета от данного сервера;
   • poll — интервал между опросами (в секундах), значение варьируется;
   • reach — состояние доступности сервера, восьмеричное представление массива из 8 бит, отражающего результаты последних восьми попыток соединения с сервером. Если последние 8 попыток синхронизации с удаленным сервером были успешны, то параметр принимает значение 377;
   • delay — вычисленная задержка ответов от сервера (RTT) в миллисекундах;
   • offset — разница между временем локального и удаленного серверов;
   • jitter — джиттер, мера статистических отклонений от значения смещения (поле offset) по нескольким успешным параметрам запрос-ответ.

   Символ (*) возле IP-адреса сервера указывает на то, что сервер является активным и система синхронизирована с данным сервером. Полное описание параметров можно посмотреть по команде man ntpq .

   
   

   После старта сервиса может потребоваться около 10 минут для установления синхронизации времени с базовым NTP-сервером.

Проверка работы Token

Token (токен) — это USB-ключ лицензионной защиты. Его наличие необходимо для корректной работы системы лицензирования и SSW в целом.

Установка ПО и подключение Token

Все необходимые для работы Rutoken библиотеки устанавливаются из репозитория ЭЛТЕКС вместе с пакетом ecss-node-3.14.

Для нормальной работы Etoken необходимо самостоятельно установить пакет: 

safenetauthenticationclient-core 

Вставьте Token в USB-разъем на сервере.
Для проверки подключения USB-ключа к серверу выполните команду:

lsusb

Если ключ определился, то должна быть выведена строка:

• для eToken:

  Bus 003 Device 002: ID 0529:0620 Aladdin Knowledge Systems

• для Rutoken:

  Bus 005 Device 002: ID 0a89:0030

  
  

  

  Если ключ не определяется, то выполните следующие команды в указанной последовательности:

  sudo service SACSrv stop
  sudo service pcscd stop
  sudo service pcscd start
  sudo service SACSrv start
  sudo ldconfig

Если ранее ключ уже был подключен к серверу и его переподключили, то рекомендуется перезагрузить сервер.

Проверка работы токена

Для проверки работы токена можно использовать приложение pkcs11-tool.

Вывести общую информацию для ключа:

• для eToken

  pkcs11-tool --module /usr/lib/libeToken.so -I
  
  Cryptoki version 2.1
  Manufacturer     SafeNet, Inc.
  Library          eToken PKCS#11 (ver 8.1)
  Using slot 0 with a present token (0x0)

• для Rutoken:

  pkcs11-tool --module /usr/lib/ecss/ecss-ds/lib/lpm_storage-3.14.0.63518.156032/priv/x64/librtpkcs11ecp.so -I
  
  Cryptoki version 2.20
  Manufacturer     Aktiv Co.
  Library          Rutoken ECP PKCS #11 library (ver 1.5)
  Using slot 0 with a present token (0x0)

Отобразить доступные слоты с ключами:

• для eToken

  pkcs11-tool --module /usr/lib/libeToken.so -L
  
  Available slots:
  Slot 0 (0x0): Aladdin eToken PRO USB 72K Java [Main Interface] 00 00
    token label:   ECSS 000001
    token manuf:   SafeNet Inc.
    token model:   eToken
    token flags:   rng, login required, PIN initialized, token initialized, other flags=0x200
    serial num  :  123456789
  Slot 1 (0x1): 
    (empty)
  Slot 2 (0x2): 
    (empty)
  Slot 3 (0x3): 
    (empty)
  Slot 4 (0x4): 
    (empty)
  Slot 5 (0x5): 
    (empty)

• для Rutoken:

  pkcs11-tool --module /usr/lib/ecss/ecss-ds/lib/lpm_storage-3.14.0.63518.156032/priv/x64/librtpkcs11ecp.so -L
  Available slots:
  Slot 0 (0x0): Aktiv Rutoken ECP 00 00
    token label        : ECSS 000001
    token manufacturer : Aktiv Co.
    token model        : Rutoken ECP
    token flags        : rng, login required, PIN initialized, token initialized
    hardware version   : 54.1
    firmware version   : 18.0
    serial num         : 123456789
  Slot 1 (0x1): 
    (empty)
  Slot 2 (0x2): 
    (empty)
  Slot 3 (0x3): 
    (empty)
  Slot 4 (0x4): 
    (empty)
  Slot 5 (0x5): 
    (empty)
  Slot 6 (0x6): 
    (empty)
  Slot 7 (0x7): 
    (empty)
  Slot 8 (0x8): 
    (empty)
  Slot 9 (0x9): 
    (empty)
  Slot 10 (0xa): 
    (empty)
  Slot 11 (0xb): 
    (empty)
  Slot 12 (0xc): 
    (empty)
  Slot 13 (0xd): 
    (empty)
  Slot 14 (0xe): 
    (empty)

Расположение модуля для Rutoken может отличаться в зависимости от версии подсистемы DS. В общем случае пусть к файлу будет — /usr/lib/ecss/ecss-ds/lib/lpm_storage-<ВЕРСИЯ ПОДСИСТЕМЫ>/priv/x64/librtpkcs11ecp.so

Если проблемы с определением ключа остаются, то необходимо обратиться в службу технической поддержки.

Перезагрузка token по SSH в случае его зависания

Для перезагрузки USB-токена необходимо выполнить следующие набор действий:

1. Устанавливаем утилиту usb-reset
   

   sudo snap install usb-reset
   sudo snap connect usb-reset:hardware-observe core:hardware-observe
   sudo snap connect usb-reset:raw-usb core:raw-usb
   Slot 0 (0x0): Aktiv Rutoke

2. Проверяем, что USB-токен действительно завис

   pkcs11-tool --module /usr/lib/ecss/ecss-ds/lib/lpm_storage-3.14.0.70203.423017/priv/x64/librtpkcs11ecp.so -L

   Вывод должен либо вообще ничего не показать, либо показать все слоты пустыми
   
   

3. Узнать idVendor, idProduct USB-токена. Для РуТокена команда следующая:

   sudo lsusb -v  | grep -C 10 "Rutoken ECP" 

   В указанном выводе ищем параметры idVendor, idProduct

   lsusb -v  | grep -C 10 "Rutoken ECP" 
   FIXME: alloc bigger buffer for device capability descriptors
     bDescriptorType         1
     bcdUSB               2.00
     bDeviceClass            0 (Defined at Interface level)
     bDeviceSubClass         0 
     bDeviceProtocol         0 
     bMaxPacketSize0        16
     idVendor           0x0a89 
     idProduct          0x0030 
     bcdDevice            1.00
     iManufacturer           1 Aktiv
     iProduct                2 Rutoken ECP
     iSerial                 0 
     bNumConfigurations      1
     Configuration Descriptor:
       bLength                 9
       bDescriptorType         2
       wTotalLength           93
       bNumInterfaces          1
       bConfigurationValue     1
       iConfiguration          0 
       bmAttributes         0x80

4. Перезапустить USB-устройство

   sudo usb-reset <idVendor>:<idProduct>
   Пример:
   sudo usb-reset 0a89:0030

5. Смотрим что слот(ы) появились

   pkcs11-tool --module /usr/lib/ecss/ecss-ds/lib/lpm_storage-3.14.0.70203.423017/priv/x64/librtpkcs11ecp.so -L
   
   Available slots:
   Slot 0 (0x0): Aktiv Rutoken ECP 00 00
   ...

Проблема с работой токенов на серверах DEPO

Если периодически фиксируется отключение токенов от серверов DEPO, то следует в syslog проверить наличие ошибок драйвера EHCI. Если ошибки присутствуют, то необходимо зайти в BIOS сервера и включить режим XHCI (путь в BIOS: Advanced/USB Configuration: XHCI Pre-Boot Driver — Enabled, XHCI — enabled).

Настройка listen-интерфейса для сервиса epmd

Пример настройки listen-интерфейс для сервиса epmd в соответствии с конфигурацией сети, приведённой в разделе Подготовка сервера для инсталляции ECSS-10.

Для сервера ecss1 выполняем следующую последовательность действий:

Выполните команду:

systemctl edit epmd.service

Откроется окно текстового редактора. Добавьте туда следующую секцию:

[Service]
Environment="ERL_EPMD_ADDRESS=127.0.1.1,192.168.1.1"

После сохранения файла нужно обязательно перечитать конфигурацию:

systemctl daemon-reload

Далее требуется перезапустить сервисы:

systemctl restart epmd.service

Для есss2 выполняется такая же последовательность действий, только вместо 192.168.1.1 указывается 192.168.1.2.

В качестве ERL_EPMD_ADDRESS нельзя использовать адреса, которые были сконфигурированы в keepalived.conf.

Запуск и активация системы

Для активации системы необходимо выполнить следующие действия:

1. Запустить ноды ds и mycelium:

   sudo systemctl start ecss-mycelium.service 
   sudo systemctl start ecss-ds.service

2. Подключиться к распределенной консоли управления CoCoN:

   ssh admin@localhost -p 8023

   
   

   

   Пароль для подключения к консоли управления CoCoN — password.

3. Установить лицензию и паспорт.

   Процесс установки лицензионных ограничений включает в себя занесение в базу данных ECSS-10 кодовой последовательности лицензии и паспорта ключа eToken.

   Введите данные паспорта и лицензии:

   /cluster/storage/<CLUSTER>/licence/set-passport <PASSPORT>

   /cluster/storage/<CLUSTER>/licence/add [--force|--no-diff] <LICENCE>

   где

   <CLUSTER> — имя кластера хранения долговременных данных (DS).

   

   По умолчанию в системе присутствует кластер хранения долговременных данных с именем ds1.

   <PASSPORT> — последовательность цифр, букв и других символов в файле паспорта (ECSS xxxxxx.pas);
   <LICENCE> — последовательность цифр, букв и других символов в файле лицензии (ECSS xxxxxx yyyy-mm-dd.lic);

   [--force] — пропустить утверждение команды;
   [--no-diff] — не выводить таблицу сравнения текущих и предлагаемых условий лицензии.

4. Если данные лицензии и паспорта будут введены корректно, то система выдаст подтверждение: ОК.

   

   Паспорт eToken устанавливается до того, как будет установлена лицензия.

   Далее необходимо отключиться от консоли CoCon, выполнив команду:

   exit

5. Запустить остальные ноды:

   sudo systemctl start ecss-mycelium.service
   sudo systemctl start ecss-ds.service
   sudo systemctl start ecss-core.service
   sudo systemctl start ecss-pa-sip.service
   sudo systemctl start ecss-mediator.service
   sudo systemctl start ecss-restfs.service
   sudo systemctl start ecss-web-conf.service
   sudo systemctl start ecss-media-server.service
   sudo systemctl start ecss-subscriber-portal.service
   sudo systemctl start ecss-cc-ui.service

   CODE

   Данные ноды необходимо запустить в случае, если они используются:

sudo systemctl start ecss-pa-megaco.service

На данном этапе система считается полностью установленной и готовой к настройке.

Особенности установки системы в кластере

Установка ECSS-10 в кластере

При установке системы ECSS-10 в кластере необходимо выполнить следующие действия.

1. Запустить и активировать систему. Для этого выполните установку необходимых пакетов.

   

   Установка пакетов ECSS сначала выполняется полностью на одном из серверов кластера.

2. Выполнить установку необходимых пакетов для всех серверов в кластере.

   

   Пакет ecss-web-conf достаточно установить на один из серверов.

3. Установить имя кластера. Для этого откройте файл mycelium1.config текстовым редактором:

   sudo nano /etc/ecss/ecss-mycelium/mycelium1.config

   Если у вас в поле "cluster_name" указано "undefined", то необходимо задать произвольное имя для данного параметра, например:

   {cluster_name, my_cluster}

   
   

   

   Данная операция производится на обоих хостах при установке ECSS-10 с резервированием. Если установка производится без резерва, то данную операцию выполнять не обязательно.

4. Настроить доступ к серверам системы. Для этого необходимо отредактировать файл /etc/dnsmasq.d/ecss-broker.

   Пример настройки доступа в соответствии с конфигурацией сети, приведён в разделе Руководство по настройке.
   Файл /etc/dnsmasq.d/ecss-broker на ecss1:

   address=/primary.broker.ecss/192.168.1.1
   address=/secondary.broker.ecss/192.168.1.2

   Файл /etc/dnsmasq.d/ecss-broker на ecss2:

   address=/primary.broker.ecss/192.168.1.1
   address=/secondary.broker.ecss/192.168.1.2

   
   

   

   В качестве primary.broker.ecss и secondary.broker.ecss нельзя использовать адреса, которые были сконфигурированы в keepalived.conf.

5. Настроить RestFS (подробнее см. раздел Настройка RestFS).

Для проверки полноты установки и настройки можно использовать Чек-лист по установке ECSS-10.

Настройка VRRP

Для настройки механизма резервирования сервера посредством протокола VRRP используется функционал, который предоставляет приложение keepalived.

1. На первом сервере нужно создать файл конфигурации /etc/keepalived/keepalived.conf со следующим содержимым (адреса и имена интерфейсов прописать свои):

   Пример:

   vrrp_script chk_sip {
       script "/usr/bin/ecss_pa_sip_port 65535"
       interval 2
       timeout 2
   }
   
   #For domain_bsk_ecss1 SIP
   vrrp_instance VI_SIP_61 {
       state MASTER
       interface bond1.2
       virtual_router_id 61
       priority 100
       advert_int 1
       preempt_delay 60
       unicast_src_ip 192.168.2.21
       unicast_peer {
           192.168.2.22
       }
   
       authentication {
           auth_type PASS
           auth_pass kassw2
           }
       virtual_ipaddress {
           192.168.2.61/24 dev bond1.2 label bond1.2:SIP61
           }
       track_script {
           chk_sip
           }
       }
   
   #For domain_bsk_ecss2 SIP
   vrrp_instance VI_SIP_62 {
       state BACKUP
       interface bond1.2
       virtual_router_id 62
       priority 50
       advert_int 1
       smtp_alert
       preempt_delay 60
       unicast_src_ip 192.168.2.21
       unicast_peer {
           192.168.2.22
       }
       authentication {
           auth_type PASS
           auth_pass kassw2
           }
       virtual_ipaddress {
           192.168.2.62/24 dev bond1.2 label bond1.2:SIP62
           }
       }
   
   include ecss-mysql-replication.conf
   

   CODE

2. На первом сервере создается файл с конфигурацией MySQL /etc/keepalived/ecss-mysql-replication.conf
   

   vrrp_script check_mysqld {
       script "nc -z localhost 3306"    # cheaper than pidof
       interval 2                     # check every 2 seconds
       fall 1
       rise 2
   }
   
   #For MySQL
   vrrp_instance MySQL71 {
       state BACKUP
       interface bond1.3
       virtual_router_id 71
       priority 100
       advert_int 1
        preempt_delay 10
        unicast_src_ip 192.168.1.21
        unicast_peer {
            192.168.1.22
       }
       authentication {
           auth_type PASS
           auth_pass pmysql
           }
       virtual_ipaddress {
           192.168.1.71/24 dev bond1.3 label bond1.3:MYSQL
           }
       track_script {
           check_mysqld
           }
   }

   CODE

3. На втором сервере нужно создать аналогичный файл /etc/keepalived/keepalived.conf со следующим содержимым:

   vrrp_script chk_sip {
       script "/usr/bin/ecss_pa_sip_port 65535"
       interval 2
       timeout 2
   }
   
   #For domain_bsk_ecss1 SIP
   vrrp_instance VI_SIP_62 {
       state MASTER
       interface bond1.2
       virtual_router_id 62
       priority 100
       advert_int 1
       preempt_delay 60
       unicast_src_ip 192.168.2.22
       unicast_peer {
           192.168.2.21
       }
       authentication {
           auth_type PASS
           auth_pass kassw2
           }
       virtual_ipaddress {
           192.168.2.62/24 dev bond1.2 label bond1.2:SIP62
           }
       track_script {
           chk_sip
           }
       }
   
   #For domain_bsk_ecss2 SIP
   vrrp_instance VI_SIP_61 {
       state BACKUP
       interface bond1.2
       virtual_router_id 61
       priority 50
       advert_int 1
       smtp_alert
       preempt_delay 60
       unicast_src_ip 192.168.2.22
       unicast_peer {
           192.168.2.21
       }
       authentication {
           auth_type PASS
           auth_pass kassw2
           }
       virtual_ipaddress {
           192.168.2.61/24 dev bond1.2 label bond1.2:SIP61
           }
       }
   
   include ecss-mysql-replication.conf

   CODE

4. На втором сервере создается файл с конфигурацией MySQL /etc/keepalived/ecss-mysql-replication.conf
   

   vrrp_script check_mysqld {
       script "nc -z localhost 3306"    # cheaper than pidof
       interval 2                     # check every 2 seconds
       fall 1
       rise 2
   }
   
   #For MySQL
   vrrp_instance MySQL71 {
       state BACKUP
       interface bond1.3
       virtual_router_id 71
       priority 80
       advert_int 1
        preempt_delay 20
        unicast_src_ip 192.168.1.22
        unicast_peer {
            192.168.1.21
       }
       authentication {
           auth_type PASS
           auth_pass pmysql
           }
       virtual_ipaddress {
           192.168.1.71/24 dev bond1.3 label bond1.3:MYSQL
           }
       track_script {
           check_mysqld
           }
       notify_master /usr/lib/ecss/ecss-scripts/mysql-replication/ecss_reset_mysql_events_to_master.sh.
       notify_backup /usr/lib/ecss/ecss-scripts/mysql-replication/ecss_reset_mysql_events_to_backup.sh
   }

   CODE

Далее нужно произвести корректировку IP-адресов и имен интерфейсов, согласно конфигурации системы.

Более подробная информация о приложении keepalived и его настройке приведена в документации по адресу: http://www.keepalived.org/pdf/UserGuide.pdf.

Изменён скрипт проверки доступности контрольного сип порта. Теперь скрипт из keepalive нужно вызывать следующим образом:
/usr/bin/ecss_pa_sip_port 65535, где 65535 дефолтное значение порта, который адаптер открывает в случае, когда он готов принимать нагрузку. Для того, чтобы изменить
порт необходимо в конфиге sip адаптера (/etc/ecss/ecss_pa_sip/sip1.config) в секции ip_ssw_intercom изменить в параметрe keepalive значение порта, после чего перезапустить адаптер.

Настройка RestFS для кластера

sudo systemctl start ecss-restfs.service

sudo gluster volume ecss_volume start force

sudo gluster volume set ecss_volume cluster.favorite-child-policy size

sudo systemctl edit glusterfs-server.service

[Service] 
KillMode=control-group 
RemainAfterExit=no

sudo systemctl daemon-reload

Вывод из обслуживания одного сервера

Если по каким-то причинам требуется вывести из обслуживания первый сервер кластера ecss1, то на втором сервере ecss2 необходимо выполнить следующее:

Открыть файл /etc/hosts:

sudo nano /etc/hosts

Назначить адрес для хоста ecss1 адрес, соответствующий хосту ecss2:

127.0.0.1    localhost
127.0.1.1    ecss2
192.168.1.2    ecss1

# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

Также данное действие можно произвести при помощи утилиты ecss-control.

Настройка RestFS описана в разделе Настройка RestFS.

Для проверки полноты установки и настройки можно использовать Чек-лист по установке ECSS-10.

Инсталляция и настройка snmpd

Установите Net-SNMP агент:

sudo aptitude install snmpd

Стандартный порт, который использует snmpd — udp/161. Встроенный агент ECSS использует по умолчанию порт udp/1610, поэтому конфликтовать с snmpd они не будут.

Убедитесь, что сервис snmpd успешно запустился на порту 161, а ECSS — на порту 1610:

sudo netstat -tulpan | grep 161
udp        0      0 127.0.0.1:161           0.0.0.0:*                            7723/snmpd      
udp        0      0 0.0.0.0:1610             0.0.0.0:*                           8245/ecss-mediator

Если вам нужно изменить стандартный порт snmpd, отредактируйте файл конфигурации /etc/snmp/snmpd.conf. Например:

agentAddress udp:127.0.0.1:3161

Сохраните внесенные изменения.

Далее необходимо перезапустить сервис snmpd:

sudo systemctl restart snmpd.service

Убедитесь, что сервис snmpd успешно запустился на новом порту:

sudo netstat -tulpan | grep snmpd
udp        0      0 127.0.0.1:3161          0.0.0.0:*                           7723/snmpd