Миграция с 1.4.0 до 1.5.0

Общая информация

Данный документ описывает процесс миграции системы с версии 1.4.0 на версию 1.5.0.
Миграция включает обновление схемы баз данных PostgreSQL и ClickHouse, а также перенос данных.

Требования к системе

Рекомендуемые ресурсы для успешной миграции (на примере системы с 3000 сотрудников, 2200 пропусков и 300 камер):

• Свободное место на диске: не менее 25 ГБ;
• Свободная оперативная память: не менее 16 ГБ;
• Сервисы: PostgreSQL и ClickHouse должны быть запущены на одном хосте;
• Интернет-соединение: стабильное (для загрузки архива миграции);
• Установленное ПО: clickhouse-client.

Сценарии миграции

...

Создание временной директории

Создайте временную папку для резервной копии и файлов миграции в домашней директории пользователя:

mkdir ~/backup
cd ~/backup

Резервное копирование конфигурационных файлов

sudo cp /opt/evi-*/*.conf .
sudo cp /etc/nginx/sites-available/evi-core-web .

Резервное копирование базы данных

Перед проведением дампа базы данных необходимо остановить сервисы.

sudo systemctl stop nginx evi-core evi-scud evi-live evi-archive evi-analyzer

echo "SELECT pg_terminate_backend(pid) FROM pg_stat_activity where usename='core'" | sudo -u postgres psql -A -t

Выполните дамп текущей базы PostgreSQL (версия 1.4.1):

sudo -u postgres pg_dump core > evi-backup.dump

Для проверки наличия файла evi-backup.dump в домашней директории пользователя в подпапке backup выполните следующие действия:

ls -lh | grep evi-backup.dump

-rw-rw-r-- 1 user user 7.4G Jul 29 14:49 evi-backup.dump

Далее переходите к шагу Миграция на текущем сервере или Миграция на новом сервере в зависимости от ваших требований.

...

Загрузка и распаковка архива миграции

Находясь в папке ~/backup, выполните команды:

wget https://archive.eltex-co.ru/evi-raw/evi-1.5.0/db_migration-1.4.0-1.5.0.zip
unzip db_migration-1.4.0-1.5.0.zip
cd db_migration-1.4.0-1.5.0

Удаление платформы EVI 1.4.1

sudo apt purge evi-core-web evi-core evi-scud evi-live evi-archive evi-analyzer nginx

Подготовка к установке

Выполните необходимые предварительные действия, как описано в разделе Подготовка к установке.

Установка базы данных ClickHouse

Поскольку у вас уже установлена база данных PostgreSQL, следующим шагом является установка ClickHouse: раздел Установка баз данных, пункт База данных ClickHouse.

Запуск скрипта миграции

sudo bash migrate.sh <host> <user> <password> <psql_db_name_from> <psql_db_name_to> <psql_port> <ch_def_user_password> <ch_db_name>

• host — IP-адрес хоста с PostgreSQL и ClickHouse;
• user — имя пользователя для базы данных (будет создано при необходимости);
• password — пароль пользователя;
• psql_db_name_from — имя PostgreSQL БД, из которой идет миграция;
• psql_db_name_to — имя PostgreSQL БД, в которую будет совершена миграция;
• psql_port — порт PostgreSQL;
• ch_def_user_password — пароль для пользователя ClickHouse;
• ch_db_name — имя базы данных ClickHouse, в которую будет совершена миграция.

sudo bash migrate.sh localhost core core core core 5432 core core

После успешного выполнения скрипта миграции в консоли вы увидите сообщение: Restoring DB done <3.

Далее переходите к разделу Установка и настройка сервисов EVI после миграции.

...

Подготовка к установке

Выполните необходимые предварительные действия, как описано в разделе Подготовка к установке.

Установка баз данных

Установите и настройте PostgreSQL и ClickHouse, как описано в разделе Установка баз данных.

Создание папки backup c резервной копией данных

Создайте резервную копию всех данных, как описано в разделе Подготовительные действия.

Перенос подготовленных файлов

Скопируйте папку backup вместе со всем содержимым с исходного сервера на новый.

Для передачи данных рекомендуется использовать утилиту scp, которая обеспечивает безопасное копирование по SSH.

scp -r ~/backup user@remote-server:~

• user — имя пользователя нового сервера;
• remote-server — адрес нового сервера.

После переноса перейдите на новом сервере в папку backup в домашней директории:

cd ~/backup

Создание пользователя в PostgreSQL

sudo -u postgres psql -c "CREATE USER core; ALTER USER core WITH PASSWORD 'core'; ALTER USER core WITH SUPERUSER;"

Восстановление базы данных из дампа

Загрузить базу данных с версией 1.4.0.

sudo -u postgres createdb core
sudo -u postgres psql -d core -f evi-backup.dump

Загрузка и распаковка архива миграции

wget https://archive.eltex-co.ru/evi-raw/evi-1.5.0/db_migration-1.4.0-1.5.0.zip
unzip db_migration-1.4.0-1.5.0.zip
cd db_migration-1.4.0-1.5.0

Запуск скрипта миграции

sudo bash migrate.sh <host> <user> <password> <psql_db_name_from> <psql_db_name_to> <psql_port> <ch_def_user_password> <ch_db_name>

• host — IP-адрес хоста с PostgreSQL и ClickHouse;
• user — имя пользователя для базы данных (будет создано при необходимости);
• password — пароль пользователя;
• psql_db_name_from — имя PostgreSQL БД, из которой идет миграция;
• psql_db_name_to — имя PostgreSQL БД, в которую будет совершена миграция;
• psql_port — порт PostgreSQL;
• ch_def_user_password — пароль для пользователя ClickHouse;
• ch_db_name — имя базы данных ClickHouse, в которую будет совершена миграция.

sudo bash migrate.sh localhost core core core core 5432 core core

После успешного выполнения скрипта миграции в консоли вы увидите сообщение: Restoring DB done <3.

Далее переходите к разделу Установка и настройка сервисов EVI после миграции.

...

После успешного завершения миграции баз данных необходимо установить сервисы EVI версии 1.5.0.

Установка EVI 1.5.0

Установите и настройте сервисы EVI, как описано в разделе Ручная установка.

Сверка конфигурационных файлов

В версии 1.5.0 внесены изменения в структуру и параметры конфигурационных файлов, включая новые порты по умолчанию и обновлённые секции.

Общие изменения

• Изменены используемые порты сервисов (см. раздел Конфигурирование платформы);
• Добавлены новые параметры конфигурации;
• Устаревшие параметры удалены или заменены.

Особое внимание: evi-live.conf — параметр extern_host

В конфигурационном файле evi-live.conf в секции [global] изменился параметр:

[global]
extern_host=127.0.0.1

Рекомендации

Сравните конфигурационные файлы: старый (1.4.0) и новый (1.5.0)  evi-core.conf, evi-scud.conf, evi-live.conf, evi-archive.conf, evi-analyzer.conf.

Перенесите важные настройки (сертификаты, пути видеоархива), соблюдая новую структуру.

Проверка результата миграции

После завершения миграции выполните следующие действия:

1. Убедитесь, что все сервисы запускаются без ошибок;
2. Проверьте доступность данных (пользователи, пропуска, события);
3. Проверьте лог-файлы сервисов на наличие ошибок подключения к БД.

Ручная установка 

Якорь
manual_installation manual_installation

...

Установка баз данных

Якорь
database_install database_install

postgresql-17

clickhouse-server

clickhouse-client

libpq5

База данных Postgresql

...

Минимальная конфигурация необходимая для запуска ядра платформы evi-core и модуля СКУД на одном сервере:

Установка модуля Ядра

Для установки ядра системы выполните следующую команду:

...

EVI Perimeter — объединение модулей (evi-live, evi-archive, evi-analyzer) видеонаблюдения, предназначенный для получения видеопотоков с камер и сохранения в архив.

evi-live

evi-archive

evi-analyzer

Требования для модуля Видеонаблюдение

...

sudo -E dpkg -i evi-live_1.5.*.deb evi-archive_1.45.*.deb evi-analyzer_1.45.*.deb

sudo apt install -f

...

Для работы модуля требуется дискретная видеокарта. Ниже приведена минимальная конфигурация для запуска:

Пример установленных версий ядра и драйвера

Возможны проблемы установки драйвера из-за ядра Linux, ниже приведены примеры рабочих вариантов:

Ручная установка docker и драйвера

...