Описание скриптов

1. Скрипт выгрузки статистики финального редиректа на портале (main.py). Позволяет получить статистику уникальных пользователей по домену со ссылкой финального редиректа. 
2. Скрипт изменения URL финального редиректа (replace_urls.py). Изменяет ссылку финального редиректа во всех порталах, найденных в результирующем файле первого скрипта (main.py).

Алгоритм работы скрипта 

1. Создание подключений к базам данных;
2. Проверка корректности доменов, введенных в файл application.conf;
3. Получение всех необходимых данных из баз данных;
4. Объединение всех полученных данных и подсчет уникальных пользователей;
5. Сохранение полученного результата в файл (вывод названия файла в терминал);

Подготовка к запуску

У пользователя MySQL должны быть права чтения на БД wireless для таблиц SSID и SSID_PARAMS, которых нет по-умолчанию.
Так же для проверки нужны будут права чтения на таблицу DOMAINS базы данных eltex_ems.
Посмотреть текущие права:

show grants for <имя пользователя>;

Команда для выдачи прав:

GRANT SELECT ON wireless.SSID TO '<имя пользователя>'@'<ip хоста запуска скрипта или %>'; 
GRANT SELECT ON wireless.SSID_PARAMS TO '<имя пользователя>'@'<ip хоста запуска скрипта или %>'; 
GRANT SELECT ON eltex_ems.DOMAINS TO '<имя пользователя>'@'<ip хоста запуска скрипта или %>';

• Для запуска скрипта должен быть установлен python3.10

• Для запуска скрипта необходимо установить зависимости. Это можно сделать при помощи команды:

sudo pip3.10 install -r requirements.txt

Порядок запуска скриптов

• Сконфигурировать скрипт в файле application.conf
• Запустить скрипт main.py для получения результирующего файла статистики
• Настроить скрипт замены ссылок финальных редиректов (settings.replace_urls в application.conf)
• Запустить скрипт replace_urls.py

Конфигурационный файл application.conf

• settings
  • domains список доменов, по которым необходимо фильтровать пользователей
  • nested флаг вложенности доменов. True - со вложенными, False- без вложенных
  • date_filter фильтр по дате. Будут найдены пользователи, созданные после указанной даты
    (не рекомендуется указывать дату старше полугода от текущей)
  • replace_urls настройка скрипта замены ссылок (настраивается после запуска main.py для replace_urls.py)
    • old_url ссылка финального редиректа, которую необходимо заменить
    • new_url ссылка финального редиректа, на которую будет заменена старая
    • result_file название результирующего файла, полученного скриптом сбора статистики (в этом файле хранятся данные, необходимые для запуска скрипта replace_urls.py)
• logging
  • level уровень логирования (возможные варианты: "DEBUG", "INFO", "WARNING", "ERROR", "CRITICAL")
  • filename название файла, в который будут записываться логи
• clickhouse
  • host хост, на котором установлен clickhouse
  • port порт clickhouse
  • user имя пользователя clickhouse
  • password пароль пользователя clickhouse
• mysql
  • host хост, на котором установлен mysql
  • port порт mysql
  • username имя пользователя
  • password пароль пользователя
  • charset_ems кодировка базы данных eltex_ems
  • charset_radius кодировка базы данных radius
  • charset_wireless кодировка базы данных wireless
  • charset_ELTEX_PORTAL кодировка базы данных ELTEX_PORTAL

Запуск скрипта сбора статистики

python3.10 main.py

Запуск скрипта изменения ссылок финальных редиректов

python3.10 replace_urls.py

Пример работы скрипта main.py:

Start 
В таблице radstat найдено 404 записей, удовлетворяющих условию 
В таблице radacct найдено 609 записей, удовлетворяющих условию 
Результат выполнения скрипта выгружен в файл: result_2023-06-05_17-58-35.csv 
Finish 
Время выполнения скрипта: 0.04 с.

Пример работы скрипта replace_urls.py:

Start 
Заменена(ы) 3 ссылка(и) финального редиректа
Finish 
Время выполнения скрипта: 2.21 с.

Скрипт с описанием доступен в архиве analyze_and_replace_redirection_URL.zip