Миграция с 1.4.0 до 1.5.0

Общая информация

Данный документ описывает процесс миграции системы с версии 1.4.0 на версию 1.5.0.
Миграция включает обновление схемы баз данных PostgreSQL и ClickHouse, а также перенос данных.

Требования к системе

Рекомендуемые ресурсы для успешной миграции (на примере системы с 3000 сотрудников, 2200 пропусков и 300 камер):

• Свободное место на диске: не менее 25 ГБ;
• Свободная оперативная память: не менее 16 ГБ;
• Сервисы: PostgreSQL и ClickHouse должны быть запущены на одном хосте;
• Интернет-соединение: стабильное (для загрузки архива миграции);
• Установленное ПО: clickhouse-client.

Сценарии миграции

Подготовительные действия 

Создание временной директории

Создайте временную папку для резервной копии и файлов миграции в домашней директории пользователя:

mkdir ~/backup
cd ~/backup

Резервное копирование конфигурационных файлов

sudo cp /opt/evi-*/*.conf .
sudo cp /etc/nginx/sites-available/evi-core-web .

Резервное копирование базы данных

Перед проведением дампа базы данных необходимо остановить сервисы.

sudo systemctl stop nginx evi-core evi-scud evi-live evi-archive evi-analyzer

echo "SELECT pg_terminate_backend(pid) FROM pg_stat_activity where usename='core'" | sudo -u postgres psql -A -t

Выполните дамп текущей базы PostgreSQL (версия 1.4.1):

sudo -u postgres pg_dump core > evi-backup.dump

Далее переходите к шагу Миграция на текущем сервере или Миграция на новом сервере в зависимости от ваших требований.

Миграция на текущем сервере

Загрузка и распаковка архива миграции

Находясь в папке ~/backup, выполните команды:

wget https://archive.eltex-co.ru/evi-raw/evi-1.5.0/db_migration-1.4.0-1.5.0.zip
unzip db_migration-1.4.0-1.5.0.zip
cd db_migration-1.4.0-1.5.0

Удаление платформы EVI 1.4.1

sudo apt purge evi-core-web evi-core evi-scud evi-live evi-archive evi-analyzer nginx

Подготовка к установке

Выполните необходимые предварительные действия, как описано в разделе Подготовка к установке.

Установка базы данных ClickHouse

Поскольку у вас уже установлена база данных PostgreSQL, следующим шагом является установка ClickHouse: раздел Установка баз данных, пункт База данных ClickHouse.

Запуск скрипта миграции

sudo bash migrate.sh <host> <user> <password> <psql_db_name_from> <psql_db_name_to> <psql_port> <ch_def_user_password> <ch_db_name>

• host — IP-адрес хоста с PostgreSQL и ClickHouse;
• user — имя пользователя для базы данных (будет создано при необходимости);
• password — пароль пользователя;
• psql_db_name_from — имя PostgreSQL БД, из которой идет миграция;
• psql_db_name_to — имя PostgreSQL БД, в которую будет совершена миграция;
• psql_port — порт PostgreSQL;
• ch_def_user_password — пароль для пользователя ClickHouse;
• ch_db_name — имя базы данных ClickHouse, в которую будет совершена миграция.

sudo bash migrate.sh localhost core core core core 5432 core core

После успешного выполнения скрипта миграции в консоли вы увидите сообщение: Restoring DB done <3.

Далее переходите к разделу Установка и настройка сервисов EVI после миграции.

Миграция на новом сервере 

Подготовка к установке

Выполните необходимые предварительные действия, как описано в разделе Подготовка к установке.

Установка баз данных

Установите и настройте PostgreSQL и ClickHouse, как описано в разделе Установка баз данных.

Создание папки backup c резервной копией данных

Создайте резервную копию всех данных, как описано в разделе Подготовительные действия.

Перенос подготовленных файлов

Скопируйте папку backup вместе со всем содержимым с исходного сервера на новый.

Для передачи данных рекомендуется использовать утилиту scp, которая обеспечивает безопасное копирование по SSH.

scp -r ~/backup user@remote-server:~

• user — имя пользователя нового сервера;
• remote-server — адрес нового сервера.

После копирования перейти на новом сервере в каталог backup:

cd ~/backup

Создание пользователя в PostgreSQL

sudo -u postgres psql -c "CREATE USER core; ALTER USER core WITH PASSWORD 'core'; ALTER USER core WITH SUPERUSER;"

Восстановление базы данных из дампа

Загрузить базу данных с версией 1.4.0.

sudo -u postgres createdb core
sudo -u postgres psql -d core -f evi-backup.dump

Загрузка и распаковка архива миграции

wget https://archive.eltex-co.ru/evi-raw/evi-1.5.0/db_migration-1.4.0-1.5.0.zip
unzip db_migration-1.4.0-1.5.0.zip
cd db_migration-1.4.0-1.5.0

Запуск скрипта миграции

sudo bash migrate.sh <host> <user> <password> <psql_db_name_from> <psql_db_name_to> <psql_port> <ch_def_user_password> <ch_db_name>

• host — IP-адрес хоста с PostgreSQL и ClickHouse;
• user — имя пользователя для базы данных (будет создано при необходимости);
• password — пароль пользователя;
• psql_db_name_from — имя PostgreSQL БД, из которой идет миграция;
• psql_db_name_to — имя PostgreSQL БД, в которую будет совершена миграция;
• psql_port — порт PostgreSQL;
• ch_def_user_password — пароль для пользователя ClickHouse;
• ch_db_name — имя базы данных ClickHouse, в которую будет совершена миграция.

sudo bash migrate.sh localhost core core core core 5432 core core

После успешного выполнения скрипта миграции в консоли вы увидите сообщение: Restoring DB done <3.

Далее переходите к разделу Установка и настройка сервисов EVI после миграции.

Установка и настройка сервисов EVI после миграции 

После успешного завершения миграции баз данных необходимо установить сервисы EVI версии 1.5.0.

Установка EVI 1.5.0

Установите и настройте сервисы EVI, как описано в разделе Ручная установка.

Сверка конфигурационных файлов

В версии 1.5.0 внесены изменения в структуру и параметры конфигурационных файлов, включая новые порты по умолчанию и обновлённые секции.

Общие изменения

• Изменены используемые порты сервисов (см. раздел Конфигурирование платформы);
• Добавлены новые параметры конфигурации;
• Устаревшие параметры удалены или заменены.

Особое внимание: evi-live.conf — параметр extern_host

В конфигурационном файле evi-live.conf в секции [global] изменился параметр:

[global]
extern_host=127.0.0.1

Рекомендации

Сравните конфигурационные файлы: старый (1.4.0) и новый (1.5.0)  evi-core.conf, evi-scud.conf, evi-live.conf, evi-archive.conf, evi-analyzer.conf.

Перенесите важные настройки (сертификаты, пути видеоархива), соблюдая новую структуру.

Проверка результата миграции

После завершения миграции выполните следующие действия:

1. Убедитесь, что все сервисы запускаются без ошибок;
2. Проверьте доступность данных (пользователи, пропуска, события);
3. Проверьте лог-файлы сервисов на наличие ошибок подключения к БД.