Миграция с 1.3.1 до 1.4.1

Общая информация

Данный документ описывает процесс миграции системы с версии 1.3.1 на версию 1.4.0.
Миграция включает обновление схемы баз данных PostgreSQL и ClickHouse, а также перенос данных.

Требования к системе

Рекомендуемые ресурсы для успешной миграции (на примере системы с 3000 сотрудников, 2200 пропусков и 300 камер):

• Свободное место на диске: не менее 25 ГБ;
• Свободная оперативная память: не менее 16 ГБ;
• Сервисы: PostgreSQL и ClickHouse должны быть запущены на одном хосте;
• Интернет-соединение: стабильное (для загрузки архива миграции);
• Установленное ПО: clickhouse-client.

Сценарии миграции

Установка и настройка сервисов EVI после миграции 

После успешного завершения миграции баз данных необходимо установить сервисы EVI версии 1.4.0.

Установка EVI 1.4.0

Установите и настройте сервисы EVI, как описано в разделе Ручная установка.

Сверка конфигурационных файлов

В версии 1.4.0 внесены изменения в структуру и параметры конфигурационных файлов, включая новые порты по умолчанию и обновлённые секции.

Общие изменения

• Изменены используемые порты сервисов (см. раздел Конфигурирование платформы);
• Добавлены новые параметры конфигурации;
• Устаревшие параметры удалены или заменены.

Особое внимание: evi-live.conf — параметр extern_host

В конфигурационном файле evi-live.conf в секции [global] изменился параметр:

[global]
extern_host=127.0.0.1

Рекомендации

Сравните конфигурационные файлы: старый (1.3.0) и новый (1.4.0)  evi-core.conf, evi-scud.conf, evi-live.conf, evi-archive.conf, evi-analyzer.conf.

Перенесите важные настройки (сертификаты, пути видеоархива), соблюдая новую структуру.

Проверка результата миграции

После завершения миграции выполните следующие действия:

1. Убедитесь, что все сервисы запускаются без ошибок;
2. Проверьте доступность данных (пользователи, пропуска, события);
3. Проверьте лог-файлы сервисов на наличие ошибок подключения к БД.

Миграция на новом сервере 

Подготовка к установке

Выполните необходимые предварительные действия, как описано в разделе Подготовка к установке.

Установка баз данных

Установите и настройте PostgreSQL и ClickHouse, как описано в разделе Установка баз данных.

Создание папки backup c резервной копией данных

Создайте резервную копию всех данных, как описано в разделе Подготовительные действия.

Перенос подготовленных файлов

Скопируйте папку backup вместе со всем содержимым с исходного сервера на новый.

Для передачи данных рекомендуется использовать утилиту scp, которая обеспечивает безопасное копирование по SSH.

scp -r ~/backup user@remote-server:~

• user — имя пользователя нового сервера;
• remote-server — адрес нового сервера.

После переноса перейдите на новом сервере в папку backup в домашней директории:

cd ~/backup

Создание пользователя в PostgreSQL

sudo -u postgres psql -c "CREATE USER core; ALTER USER core WITH PASSWORD 'core'; ALTER USER core WITH SUPERUSER;"

Восстановление базы данных из дампа

Загрузить базу данных с версией 1.3.0.

sudo -u postgres createdb core
sudo -u postgres psql -d core -f evi-backup.dump

Загрузка и распаковка архива миграции

wget https://archive.eltex-co.ru/evi-raw/evi-1.4.0/db_migration-1.3.0-1.4.0.zip
unzip db_migration-1.3.0-1.4.0.zip
cd db_migration-1.3.0-1.4.0

Запуск скрипта миграции

sudo bash migrate.sh <host> <user> <password> <psql_db_name_from> <psql_db_name_to> <psql_port> <ch_def_user_password> <ch_db_name>

• host — IP-адрес хоста с PostgreSQL и ClickHouse;
• user — имя пользователя для базы данных (будет создано при необходимости);
• password — пароль пользователя;
• psql_db_name_from — имя PostgreSQL БД, из которой идет миграция;
• psql_db_name_to — имя PostgreSQL БД, в которую будет совершена миграция;
• psql_port — порт PostgreSQL;
• ch_def_user_password — пароль для пользователя ClickHouse;
• ch_db_name — имя базы данных ClickHouse, в которую будет совершена миграция.

sudo bash migrate.sh localhost core core core core 5432 core core

После успешного выполнения скрипта миграции в консоли вы увидите сообщение: Restoring DB done <3.

Далее переходите к разделу Установка и настройка сервисов EVI после миграции.

Миграция на текущем сервере 

Загрузка и распаковка архива миграции

Находясь в папке ~/backup, выполните команды:

wget https://archive.eltex-co.ru/evi-raw/evi-1.4.0/db_migration-1.3.0-1.4.0.zip
unzip db_migration-1.3.0-1.4.0.zip
cd db_migration-1.3.0-1.4.0

Удаление платформы EVI 1.3.1

sudo apt purge evi-core-web evi-core evi-scud evi-live evi-archive evi-analyzer nginx

Подготовка к установке

Выполните необходимые предварительные действия, как описано в разделе Подготовка к установке.

Установка базы данных ClickHouse

Поскольку у вас уже установлена база данных PostgreSQL, следующим шагом является установка ClickHouse: раздел Установка баз данных, пункт База данных ClickHouse.

Запуск скрипта миграции

sudo bash migrate.sh <host> <user> <password> <psql_db_name_from> <psql_db_name_to> <psql_port> <ch_def_user_password> <ch_db_name>

• host — IP-адрес хоста с PostgreSQL и ClickHouse;
• user — имя пользователя для базы данных (будет создано при необходимости);
• password — пароль пользователя;
• psql_db_name_from — имя PostgreSQL БД, из которой идет миграция;
• psql_db_name_to — имя PostgreSQL БД, в которую будет совершена миграция;
• psql_port — порт PostgreSQL;
• ch_def_user_password — пароль для пользователя ClickHouse;
• ch_db_name — имя базы данных ClickHouse, в которую будет совершена миграция.

sudo bash migrate.sh localhost core core core core 5432 core core

После успешного выполнения скрипта миграции в консоли вы увидите сообщение: Restoring DB done <3.

Далее переходите к разделу Установка и настройка сервисов EVI после миграции.

Подготовительные действия 

Создание временной директории

Создайте временную папку для резервной копии и файлов миграции в домашней директории пользователя:

mkdir ~/backup
cd ~/backup

Резервное копирование конфигурационных файлов

sudo cp /opt/evi-*/*.conf .
sudo cp /etc/nginx/sites-available/evi-core-web .

Резервное копирование базы данных

Перед проведением дампа базы данных необходимо остановить сервисы.

sudo systemctl stop nginx evi-core evi-scud evi-live evi-archive evi-analyzer

echo "SELECT pg_terminate_backend(pid) FROM pg_stat_activity where usename='core'" | sudo -u postgres psql -A -t

Выполните дамп текущей базы PostgreSQL (версия 1.3.1):

sudo -u postgres pg_dump core > evi-backup.dump

Для проверки наличия файла evi-backup.dump в домашней директории пользователя в подпапке backup выполните следующие действия:

ls -lh | grep evi-backup.dump

-rw-rw-r-- 1 user user 7.4G Jul 29 14:49 evi-backup.dump

Далее переходите к шагу Миграция на текущем сервере или Миграция на новом сервере в зависимости от ваших требований.

Ручная установка

Ручная установка подразумевает самостоятельное выполнение всех этапов инсталляции программного обеспечения вручную без использования автоматических скриптов.

Этот способ позволяет гибко настраивать каждый компонент и устанавливать компоненты на различные серверы независимо друг от друга.

Ручная установка включает ряд шагов, таких как подготовка среды, загрузка необходимых файлов, конфигурирование приложений и проверку работоспособности установленных компонентов.

Этот метод рекомендуется опытным администраторам, поскольку требует знания особенностей каждого компонента и понимания зависимостей между ними.

Подготовка к установке 

Установка часового пояса

При установке Ubuntu-22.04.5 не предлагается указать часовой пояс (по умолчанию устанавливается время UTC). Его нужно установить вручную (для корректной работы видеоархива, календарей доступа и т.д.), например:

sudo timedatectl set-timezone Asia/Novosibirsk

Обновление ОС

Перед началом установки необходимо обновить ОС:

sudo apt update && sudo apt upgrade -y

Скачивание установочных файлов

wget --no-check-certificate https://archive.eltex-co.ru/evi-raw/evi-1.4.1/evi-1.4.1_ubuntu-22.04.tar

tar -xvf evi-1.4.1_ubuntu-22.04.tar

Установка баз данных

postgresql-17

clickhouse-server

clickhouse-client

libpq5

База данных Postgresql

Для установки postgresql 17 необходимо выполнить следующие команды в терминале сервера:

sudo apt-get install -y apt-transport-https ca-certificates curl gnupg

sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list'

wget -qO - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo gpg --yes --dearmor -o /etc/apt/trusted.gpg.d/postgresql.gpg

sudo apt update

sudo apt install -y postgresql-17

Создание базы данных core c пользователем core в postgresql.

Для создания базы данных необходимо выполнить следующие команды:

sudo -u postgres createuser --interactive

Enter name of role to add: core

Shall the new role be a superuser? (y/n) y

sudo -u postgres psql

CREATE DATABASE core;

ALTER USER core WITH PASSWORD 'core';

ALTER USER core WITH SUPERUSER;

\quit

База данных ClickHouse

Для  установки ClickHouse необходимо выполнить следующие команды в терминале сервера:

sudo apt-get install -y apt-transport-https ca-certificates curl gnupg

curl -fsSL 'https://packages.clickhouse.com/rpm/lts/repodata/repomd.xml.key' | sudo gpg --dearmor -o /usr/share/keyrings/clickhouse-keyring.gpg

ARCH=$(dpkg --print-architecture)

echo "deb [signed-by=/usr/share/keyrings/clickhouse-keyring.gpg arch=${ARCH}] https://packages.clickhouse.com/deb stable main" | sudo tee /etc/apt/sources.list.d/clickhouse.list

sudo apt update

При установке clickhouse-server у вас запросят пароль для пользователя по умолчанию (Set up the password for the default user).

В документации EVI используется пароль по умолчанию core.

sudo apt-get install -y clickhouse-server clickhouse-client

sudo service clickhouse-server start

Создание пользователя core c паролем core в БД clickhouse:

clickhouse-client --user=default --password=core --query="CREATE USER core IDENTIFIED WITH sha256_password BY 'core'" --query="GRANT CURRENT GRANTS on *.* TO core WITH GRANT OPTION"

Установка обязательных зависимостей

sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list'

wget -qO - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo gpg --yes --dearmor -o /etc/apt/trusted.gpg.d/postgresql.gpg

sudo apt update

sudo apt install libpq5

Установка модуля Ядра

Evi-core — ядро платформы предназначенное для конфигурирования модулей

Общие требования для модулей

Требования для ядра платформы

Минимальная конфигурация необходимая для запуска ядра платформы evi-core и модуля СКУД на одном сервере:

Установка модуля Ядра

Для установки ядра системы выполните следующую команду:

sudo dpkg -i evi-core_1.4.*.deb

sudo apt-get install -f

Установка модуля web-интерфейса

EVI Core Web — графический web-интерфейс для управления системой.

Требования для модуля web-интерфейса

Для работы модуля web-интерфейса требуется установить web-сервер Angie.

Для установки web-сервера выполните следующие команды:

sudo apt install ca-certificates curl

sudo curl -o /etc/apt/trusted.gpg.d/angie-signing.gpg \
            https://angie.software/keys/angie-signing.gpg

echo "deb https://download.angie.software/angie/$(. /etc/os-release && echo "$ID/$VERSION_ID $VERSION_CODENAME") main" \
    | sudo tee /etc/apt/sources.list.d/angie.list > /dev/null

sudo apt update

sudo apt-get install -y angie

Установка модуля web-интерфейса

Для установки модуля web-интерфейса выполните следующую команду:

sudo dpkg -i evi-core-web_1.4.*.deb

sudo apt install -f

Установка модуля СКУД

EVI Scud — модуль системы контроля и управления доступом, предназначен для организации пропускного режима в организации.

Требования для модуля СКУД

Для работы модуля требуется контроллер СКУД IPA-ER-020.

Версия прошивки контроллера должна быть не ниже 2.3.0 build 52.

Установка модуля СКУД

Для установки модуля СКУД выполните следующую команду:

sudo dpkg -i evi-scud_1.4.*.deb

sudo apt install -f

Установка модуля Видеонаблюдения

EVI Perimeter — объединение модулей (evi-live, evi-archive, evi-analyzer) видеонаблюдения, предназначенный для получения видеопотоков с камер и сохранения в архив.

evi-live

evi-archive

evi-analyzer

Требования для модуля Видеонаблюдение

Для работы модуля требуются камеры с поддержкой подключения по ссылке RTSP.

Подготовительные действия

В конфигурационном файле сервиса evi-live, который находится по пути /opt/evi-live/evi-live.conf, в параметре extern_host должен быть указан IP-адрес или доменное имя, доступное для пользователей в вашей локальной сети. 

Иначе просмотр видео с камер будет невозможен.

Чтобы автоматически выставить адрес в конфигурационном файле после установки выполните следующие действия в консоли сервера:

export EVI_LIVE_EXTERN_HOST=$(ip -br -4 a show $(ip ro get fibmatch 0.0.0.1 | grep -o "dev [^ ]\+") | grep -o "[^ \.]\+\.[^/]\+")

echo $EVI_LIVE_EXTERN_HOST

В консоли вы увидите IP-адрес сетевого интерфейса сервера, например 192.168.50.15.

Чтобы убедиться, что IP-адрес верный, выполните команду:

ip -br a

Адрес должен соответствовать сетевому интерфейсу.

lo               UNKNOWN        127.0.0.1/8 ::1/128 
eno1             UP             192.168.50.15/24 metric 100 fe80::3eec:efff:fea0:9396/64

Можете приступать к установке видеонаблюдения. Переменная extern_host автоматически установится в конфигурационном файле.

Установка модуля Видеонаблюдения

Для установки модуля Видеонаблюдения выполните следующую команду:

sudo -E dpkg -i evi-live_1.4.*.deb evi-archive_1.4.*.deb evi-analyzer_1.4.*.deb

sudo apt install -f

Проверка переменной после установки:

cat /opt/evi-live/evi-live.conf | grep "extern_host"

В консоли вы увидите:

extern_host=192.168.50.15                # External or proxy address (ENV: EVILIVE_GLOBAL_EXTERN_HOST)

Установка модуля Видеоаналитики

EVI Analytics — модуль видеоаналитики, предназначен для обнаружения, распознавания, подсчета, трекинга объектов согласно моделям.

Требования для модуля Видеоаналитика

Для работы модуля требуется дискретная видеокарта. Ниже приведена минимальная конфигурация для запуска:

Пример установленных версий ядра и драйвера

Возможны проблемы установки драйвера из-за ядра Linux, ниже приведены примеры рабочих вариантов:

Ручная установка docker и драйвера

Для работы с видеокартой необходимо установить драйвер:

sudo apt install -yfqq nvidia-driver-575

Далее необходимо установить docker для работы с контейнером аналитики и nvidia-docker2 для работы с видеокартой:

sudo apt-get update
sudo apt install apt-transport-https ca-certificates curl software-properties-common

curl https://get.docker.com | sh \
  && sudo systemctl --now enable docker
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
   && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
   && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update
sudo apt-get install docker-ce docker-compose nvidia-docker2

sudo systemctl restart docker

Добавить пользователя в группу docker:

sudo usermod -aG docker $(whoami)

sudo reboot

Необходимо проверить наличие  запущенного драйвера в системе после его установки:

nvidia-smi

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.144.03             Driver Version: 575.144.03     CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 3080        Off |   00000000:01:00.0 Off |                  N/A |
|  0%   41C    P2            113W /  370W |    3902MiB /  10240MiB |      5%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A   2144100      C   tritonserver                                 1296MiB |
|    0   N/A  N/A   2144155      C   tritonserver                                 1296MiB |
|    0   N/A  N/A   2144163      C   tritonserver                                 1296MiB |
+-----------------------------------------------------------------------------------------+

Настройка доступа к базе данных для подключения контейнера

Перед началом настройки необходимо остановить сервисы EVI.

sudo systemctl stop evi-core.service evi-scud.service evi-live.service evi-archive.service evi-analyzer.service

Необходимо открыть доступ для подключения контейнера аналитики к базе данных.

/etc/postgresql/17/main/pg_hba.conf

В раздел IPv4 local connections добавьте строку по примеру ниже и сохраните файл.

Так как контейнеры по умолчанию получают IP-адреса из подсети 172.16.0.0/12, необходимо указать его.

# IPv4 local connections:
host    all             all             127.0.0.1/32          scram-sha-256
host    all             all             172.16.0.0/12         md5

Откройте файл конфигурации базы данных. Уберите символ решётки (#), чтобы активировать параметр listen_addresses, и укажите в нем IP-адрес сервера. После этого сохраните изменения в файле.

/etc/postgresql/17/main/postgresql.conf

#------------------------------------------------------------------------------
# CONNECTIONS AND AUTHENTICATION
#------------------------------------------------------------------------------
                                        
# - Connection Settings -

#listen_addresses = 'localhost'         # what IP address(es) to listen on;

#------------------------------------------------------------------------------
# CONNECTIONS AND AUTHENTICATION
#------------------------------------------------------------------------------
                                        
# - Connection Settings -

listen_addresses = 'localhost, 192.168.1.10'         # what IP address(es) to listen on;

Для применения изменений перезапустите сервис базы данных postgresql:

sudo systemctl restart postgresql

sudo systemctl start evi-core.service evi-scud.service evi-live.service evi-archive.service evi-analyzer.service

Загрузка образа и запуск контейнера evi-analytics

После настройки доступа к базе данных необходимо загрузить на сервер аналитики скрипт evi-analytics_1.4.0.sh:

wget --no-check-certificate https://archive.eltex-co.ru/evi-raw/evi-1.4.0/evi-analytics_1.4.0.sh

bash evi-analytics_1.4.0.sh EFNRS_DB_HOST="IP-АДРЕС ВАШЕЙ БАЗЫ ДАННЫХ"

bash evi-analytics_1.4.0.sh EFNRS_DB_HOST="192.168.1.10"

Проверка работоспособности

docker ps --format "table {{.ID}}\t{{.Names}}\t{{.Status}}"

Чек-лист установки

Проверка работоспособности

sudo systemctl is-active evi-core.service evi-scud.service evi-live.service evi-archive.service evi-analyzer.service

В выводе все компоненты должны быть активны:

active
active
active
active
active