Дерево страниц
Перейти к концу метаданных
Переход к началу метаданных

Данные документ содержит набор инструкций по проверке общего здоровья системы SoftWLC/EMS.

Легенда:

  • Утверждение - что проверяется
  • Проверка - как проверяется
  • Комментарии - что могло пойти не так

Памятка:

  • все rest запросы ведут на ресурсы в сети Элтекс (для удобства составления и проверки настоящей инструкции)
УтверждениеПроверкаКомментарии
eltex-airtune




eltex-apb



Сервер APB запущен

Точки доступа 'пришли' на APB

http://softwlc.eltex.loc:8090/apb/ap.jsp

Ответ в формате HTML
===============Access Point List==================

Total: 93
Outgoing queues: max 0, avg 0
Total disconnects caused by overload: 0

IP 	MAC 	Status 	Actions 	SSIDs 	Location
192.168.44.171 	e0:d9:e3:8f:8f:21 	Session duration: 20 hours 6 minutes 32 seconds
Last activity: 22-07-10 13:12:46
Queue size: 0
Sent messages: 1 	
Eltex-Guest @ ap.hotspot.service.root
	[ssid: Eltex-Guest, mobility-domain: floor-4.building-1.root, radius-domain: ap.hotspot.service.root]

192.168.44.79 	CC:9D:A2:C2:56:10 	Session duration: 9 days 11 hours 16 minutes 36 seconds
Last activity: 22-07-10 13:12:18
Queue size: 0
Sent messages: 1106 	
Eltex-Guest @ ap.hotspot.service.root
	[ssid: Eltex-Guest, mobility-domain: floor-1.building-1.root, radius-domain: ap.hotspot.service.root]

Если не отвечает, возможно:

  • закрыт порт
  • настроен на другом порту
  • сервер APB не запущен
Пользователи Wi-Fi 'пришли' на APB

http://softwlc.eltex.loc:8090/apb/users.jsp

Ответ
===============Print users info==================
Summary count: 56
Key 	Key info 	Value 	Remove

Или только число пользователей по запросу

http://softwlc.eltex.loc:8090/apb/users.jsp?short

Ответ
===============Print users info==================
Summary count: 56
===============END==================

eltex-bob



Сервис запущен, версия По совпадает с ожидаемой

http://softwlc.eltex.loc:9190/GetVersion/

{"version":"1.25-816"}

Сервис получает список устройств из БД, предоставляет список в формате JSON

http://softwlc.eltex.loc:9190/GetAPList/

Ответ
{
  "data": [
    {
      "grRegion": "Новосибирская",
      "vspNumber": "0001-00004",
      "apID": "e0-d9-e3-72-58-60",
      "apRtcGroup": "toor.1-gnidliub.4-roolf",
      "grTB": "Старый корпус",
      "apGroup": "Старый корпус/Новосибирская/Этаж 4",
      "vspAddress": "630020, Новосибирск, Окуржная, 29В",
      "apName": "wep-2ac_4floor_58:60",
      "grCity": "Новосибирск"
    },
    {
      "grRegion": "Новосибирская",
      "vspNumber": "0001-00005",
      "apID": "e0-d9-e3-73-57-c0",
      "apRtcGroup": "toor.1-gnidliub.5-roolf",
      "grTB": "Старый корпус",
      "apGroup": "Старый корпус/Новосибирская/Этаж 5",
      "vspAddress": "630020, Новосибирск, Окружная, 29В",
      "apName": "wep-2ac-smart_502_57:c0",
      "grCity": "Новосибирск"
    }
  ]
}

Сервис отдаёт Детализацию информации по ТД

http://softwlc.eltex.loc:9190/GetAPDetail/e0-d9-e3-72-58-60/

Ответ
{
  "firmware-version": "1.22.3.10",
  "full-address": "630020, Новосибирск, Окуржная, 29В",
  "vsp": "0001-00004",
  "city": "Новосибирск",
  "serial-number": "WP12009408",
  "ip": "192.168.44.95",
  "grTB": "Старый корпус",
  "office": "Этаж 4"
}

Сервис отдаёт информацию о Доступности ТД

http://softwlc.eltex.loc:9190/GetAPAvailable/e0-d9-e3-72-58-60/

Ответ
{
  "available": 0,
  "uptime": 6034323
}

Сервис отдаёт Метрики ТД

http://softwlc.eltex.loc:9190/GetAPPerformance/e0-d9-e3-72-58-60/

Ответ
{
  "wifi-users": 6,
  "mac": "e0-d9-e3-72-58-60"
}

eltex-bonnie




eltex-bruce




eltex-disconnect-service




eltex-doors




eltex-eap-tls




eltex-ems



Сервер EMS запустился и может взаимодействовать с ems-northbound, который работает в Tomcat

http://softwlc.eltex.loc:8080/northbound/getVersion

Ответ
<getVersion>
<code>0</code>
<msg>OK</msg>
<NbiVersion>3.27-8349 (31.05.22 15:07:11)</NbiVersion>
<ServerVersion>3.27-8349 (31.05.22 15:07:11)</ServerVersion>
</getVersion>

Если не отвечает, возможно:

  • закрыт порт
  • настроен на другом порту
  • не поднялся Tomcat

Сервер EMS запустился, со встроенного web сервера отдает метрики.

Ненулевые метрики говорят о выполнении основных функций EMS.

http://softwlc.eltex.loc:9091/api/metrics/

Ответ
# HELP ems_monitor_process_counter Counter of Monitor.processes finish status
# TYPE ems_monitor_process_counter gauge
ems_monitor_process_counter{monitor="SsidLinkCheck",status="SUCCESS",} 3.0
ems_monitor_process_counter{monitor="WifiAlienMonitor",status="SUCCESS",} 71.0
ems_monitor_process_counter{monitor="EmsServerDiagnostics",status="SUCCESS",} 73.0
ems_monitor_process_counter{monitor="HandlersPool",status="SUCCESS",} 72.0
ems_monitor_process_counter{monitor="SystemBackupDiagnostics",status="SUCCESS",} 857.0

На сервере EMS есть активные пользователи.

Пользователь northbound - служебный, присутствует в списке всегда. Остальные пользователи - GUI users.

http://softwlc.eltex.loc:8080/northbound/getActiveUsers

Ответ
<getActiveUsers>
<code>0</code>
<msg>OK</msg>
<user>
<username>vladimir.karandashev</username>
<role>SuperUser</role>
<host>10.24.80.31</host>
<sessiontype>GUI users</sessiontype>
<sessionstarttime>01-06-2022 17:41</sessionstarttime>
<lastuseractivitytime>03-06-2022 16:07</lastuseractivitytime>
<useruptime>2 d 20 h 59 m 23 s</useruptime>
</user>
<user>
<username>northbound</username>
<role>Northbound</role>
<host>127.0.0.1</host>
<sessiontype>NBI</sessiontype>
<sessionstarttime>02-06-2022 18:21</sessionstarttime>
<lastuseractivitytime>02-06-2022 18:21</lastuseractivitytime>
<useruptime>1 d 20 h 19 m 40 s</useruptime>
</user>
<user>
<username>mgaidamak</username>
<role>SuperUser</role>
<host>172.16.27.8</host>
<sessiontype>GUI users</sessiontype>
<sessionstarttime>04-06-2022 14:36</sessionstarttime>
<lastuseractivitytime>04-06-2022 14:36</lastuseractivitytime>
<useruptime>4 m 31 s</useruptime>
</user>
</getActiveUsers>

Если не отвечает, возможно:

  • закрыт порт
  • настроен на другом порту
  • не поднялся Tomcat

EMS нормально взаимодействует с API SoftWLC.NBI

Нет конфликта по версии API клиента

Открыть Меню - Информация - Мониторинг системы EMS

На вкладке Потоки найти версию SoftWLC.NBI

softwlc.nbi - Eltex.RADIUS.NBI
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
1.24-2736 (29-09-2022 03:40:27)

Возможные проблемы:

  • Конфликт по API. Значит нужно обновить сервер SoftWLC.NBI или EMS.



eltex-jerry




eltex-jobs




eltex-johnny




eltex-logging-service




eltex-mcdonalds




eltex-mercury




eltex-ngw



Служба запущена, веб сервер работает

Отображается встроенная документация

http://softwlc.eltex.loc:8040/doc/index.html

Ответ в формате HTML
Eltex.NGW (Notification Gateway)
version 1.23.8
API
RESTful API
Работа с SMS
    /getStatus — получить статус отправленного SMS
    /receiveStatus — обновить статус отправленного SMS
    /templatedSms — отправить шаблонное SMS

Открываются метрики Prometheushttp://softwlc.eltex.loc:8040/actuator/prometheus/
eltex-ott-mac-checker




eltex-ott-paul




eltex-oui-list




eltex-pcrf



Корректно настроены следующие параметры:

  • default_timezone, date_time (часовой пояс)

  • hazelcast.members (данные о соседних нодах)

Серверу PCRF хватает памяти

http://softwlc.eltex.loc:7070/system

Ответ в формате JSON
{
  "key": "PcrfErrorCode.success",
  "message": "Success",
  "code": 0,
  "args": [],
  "data": {
    "version": "1.23-2797 (2022-06-17T07:01:07Z)",
    "time": {
      "default_timezone": "Asia/Krasnoyarsk",
      "date_time": "2022-07-10T20:15:16.276+07:00[Asia/Krasnoyarsk]"
    },
    "java_memmory": {
      "used": 217,
      "free": 38,
      "total": 256,
      "max": 512
    },
    "java": {
      "vendor": "Private Build",
      "title": "Java Runtime Environment",
      "version": "1.8.0_292"
    },
    "system": {
      "cpu": 4
    },
    "vertx": {
      "clustered": true
    },
    "hazelcast": {
      "cluster": {
        "state": "ACTIVE",
        "members": {
          "172.20.0.1": {
            "local": true
          }
        }
      },
      "group": {
        "name": "dev"
      }
    }
  }
}

Если не отвечает, возможно:

  • закрыт порт
  • настроен на другом порту
  • служба не работает

Если какие-то из данные не соответствуют ожиданиям, проверьте конфигурацию сервиса

eltex-portal



Открываются метрики Prometheushttp://softwlc.eltex.loc:9000/eltex_portal/api/metrics/

eltex-portal-constructor



Открывается основной WEB интерфейс конструктора

http://softwlc.eltex.loc:8080/epadmin/login.htm

В верхнем левом углу отображается версия сборки.


eltex-radius



FreeRADIUS обрабатывает Status-Server с отображением метрик

Можно получить по запросу Status-Server на порту 18123.

eradclient
$ echo "Message-Authenticator=0000000,FreeRADIUS-Statistics-Type = 3" | \
eradclient -x localhost:18123 status testing123

Sent Status-Server Id 202 from 0.0.0.0:44662 to 127.0.0.1:18123 length 50
	Message-Authenticator = 0x30303030303030
	FreeRADIUS-Statistics-Type = Auth-Acct
Received Access-Accept Id 202 from 127.0.0.1:18123 to 0.0.0.0:0 length 224
	FreeRADIUS-Total-Access-Requests = 20407
	FreeRADIUS-Total-Access-Accepts = 1544
	FreeRADIUS-Total-Access-Rejects = 66
	FreeRADIUS-Total-Access-Challenges = 18744
	FreeRADIUS-Total-Auth-Responses = 20354
	FreeRADIUS-Total-Auth-Duplicate-Requests = 2
	FreeRADIUS-Total-Auth-Malformed-Requests = 1
	FreeRADIUS-Total-Auth-Invalid-Requests = 0
	FreeRADIUS-Total-Auth-Dropped-Requests = 2
	FreeRADIUS-Total-Auth-Unknown-Types = 0
	FreeRADIUS-Total-Accounting-Requests = 0
	FreeRADIUS-Total-Accounting-Responses = 0
	FreeRADIUS-Total-Acct-Duplicate-Requests = 0
	FreeRADIUS-Total-Acct-Malformed-Requests = 0
	FreeRADIUS-Total-Acct-Invalid-Requests = 0
	FreeRADIUS-Total-Acct-Dropped-Requests = 0
	FreeRADIUS-Total-Acct-Unknown-Types = 0

В случае ошибки, проверить параметры в файле /etc/eltex-radius/local.conf

# Status-Server settings
status_host="127.0.0.1"
status_port=18123
status_client_host="127.0.0.1"
status_client_secret="eltex"

Или аналогичные им переменные контейнера.

# Status-Server settings
RADIUS_STATUS_HOST=127.0.0.1
RADIUS_STATUS_PORT=18123
RADIUS_STATUS_CLIENT_HOST=127.0.0.1
RADIUS_STATUS_CLIENT_SECRET=testing123
FreeRADIUS обрабатывает Access-Request, связан с БД

Быстрая проверка по логину-паролю пользователя WPA Enterprise

eradclient
$ echo "User-Name=mikhail.gaydamaka,User-Password=password,Eltex-Domain=enterprise.service.root" \
| eradclient -x -d /etc/eltex-radius/ localhost:1812 auth testing123

Sent Access-Request Id 38 from 0.0.0.0:32929 to 127.0.0.1:1812 length 88
	User-Name = "mikhail.gaydamaka"
	User-Password = "password"
	Eltex-Domain = "enterprise.service.root"
	Cleartext-Password = "password"

Пользователь есть в БД, пароль верный:
Received Access-Accept Id 38 from 127.0.0.1:1812 to 0.0.0.0:0 length 32
	Eltex-Simultaneous-Use = 0
Иначе
Received Access-Reject Id 82 from 127.0.0.1:1812 to 0.0.0.0:0 length 20

FreeRADIUS обрабатывает Access-Request

Проверка логов, если eltex-radius работает в Docker.

Отображается только результат авторизации OK или Failed.

logs
$ docker logs -f -n100 eltex-radius

Wed Oct 26 02:21:32 2022 : Auth: (262) Login OK: [mikhail.gaydamaka/<via Auth-Type = Accept>]
(from client WEP-512 port 0 cli 0A-9A-43-E2-64-30)

FreeRADIUS обрабатывает Access-Request

Отладка, если eltex-radius работает в Docker.

Отображаются полные логи обработки запроса.

eraddebug
$ docker-compose exec eltex-radius eraddebug
$ docker exec -it eltex-radius eraddebug

(69768) Fri Jul  8 11:41:22 2022: Debug: Sent Access-Request Id 147 from 0.0.0.0:53920 to 172.16.0.11:1812 length 307
(69768) Fri Jul  8 11:41:22 2022: Debug:   User-Name = "mikhail.gaydamaka" 
(69768) Fri Jul  8 11:41:22 2022: Debug:   Eltex-Domain = "enterprise.service.root" 
(69768) Fri Jul  8 11:41:22 2022: Debug:   NAS-IP-Address = 192.168.44.80
(69768) Fri Jul  8 11:41:22 2022: Debug:   NAS-Port = 0
(69768) Fri Jul  8 11:41:22 2022: Debug:   Called-Station-Id = "E8-28-C1-DA-D0-20:Eltex-Local" 
...
(69768) Fri Jul  8 11:41:22 2022: Debug: Sent Access-Accept Id 140 from 172.16.0.134:1812 to 192.168.44.80:36184 length 0
(69768) Fri Jul  8 11:41:22 2022: Debug:   User-Name = "mikhail.gaydamaka" 
(69768) Fri Jul  8 11:41:22 2022: Debug:   EAP-Message = 0x030d0004
(69768) Fri Jul  8 11:41:22 2022: Debug:   Message-Authenticator = 0x5457dd8744078ea453dd7bd755f1fa1c

eltex-radius-exporter



Открываются метрики Prometheushttp://softwlc.eltex.loc:9812/metrics



eltex-radius-nbi



Открывается встроенная документация

http://softwlc.eltex.loc:8080/eltex-radius-nbi/asciidoc/

Можно проверить:

  • Версия 1.24-2736

  • Дата публикации 29-09-2022 03:40:27

Если не отвечает, возможно:

  • закрыт порт
  • настроен на другом порту
  • служба не работает (tomcat или другой web-сервер)
Открывается WSDLhttp://softwlc.eltex.loc:8080/axis2/services/RadiusNbiService?wsdl

Если не отвечает, возможно:

  • закрыт порт
  • настроен на другом порту
  • служба не работает (tomcat или другой web-сервер)
  • проблемы с установкой eltex-axis
Загружается сертификат для FreeRADIUShttp://softwlc.eltex.loc:8080/eltex-radius-nbi/certificates/server.zipСертификат создаётся при установке/обновлении пакета.
Открываются метрики Prometheushttp://softwlc.eltex.loc:9010/



eltex-radius-sorm3




eltex-sorm2-replicator



Зеркалированный трафик поступает на хост

sudo tcpdump -i any udp port 41813

tcpdump
$ sudo tcpdump -i any udp port 41813
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on ens3, link-type EN10MB (Ethernet), capture size 262144 bytes
15:27:39.109196 IP 172.16.0.134.53002 > sorm.eltex.loc.41813: UDP, length 347
15:27:39.627312 IP 172.16.0.134.45645 > sorm.eltex.loc.41813: UDP, length 357

Номера портов могут отличаться

Обязательно указывать any явно

Трафик СОРМ-2 уходит на глобальный съемник

sudo tcpdump -i any udp port 18131

tcpdump
$ sudo tcpdump -i any udp port 18131
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
15:40:37.048848 IP localhost.localdomain.36779 > localhost.localdomain.18131: UDP, length 172
15:40:37.124601 IP localhost.localdomain.36779 > localhost.localdomain.18131: UDP, length 350
Номера портов могут отличаться
Трафик СОРМ-2 уходит на региональный съемник

sudo tcpdump -i any udp port 18132

tcpdump
$ sudo tcpdump -i any udp port 18132
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
15:40:28.369882 IP localhost.localdomain.54512 > localhost.localdomain.18132: UDP, length 231
15:40:28.601422 IP localhost.localdomain.54512 > localhost.localdomain.18132: UDP, length 349
Номера портов могут отличаться
Открывается RESTful APIhttp://sorm.eltex.loc:7071/Показывает список всех доступных методов API
Кэшируются параметры доменовhttp://sorm.eltex.loc:7071/domain/list
Кэшируются параметры привязок СОРМ-2 профилейhttp://sorm.eltex.loc:7071/link/list

Кэш пустой, если региональные съемники не настроены.

Настраиваются в ЛК B2B - Настройки - Дерево доменов - колонка-кнопка СОРМ-2.

Кэшируются параметры NAShttp://sorm.eltex.loc:7071/nas/list
Кэшируются параметры СОРМ-2 профилейhttp://sorm.eltex.loc:7071/profile/list

Кэш пустой, если региональные съемники не настроены.

Настраиваются в ЛК B2B - Настройки - СОРМ-2.

Кэшируются параметры SSIDhttp://sorm.eltex.loc:7071/ssid/listКэш пустой, если атрибуты DPI не используются
Зеркалированный трафик поступает в sorm2-replicatorhttp://sorm.eltex.loc:7071/metrics/input

Если метрики нулевые, значит трафик не доходит до сервиса

Трафик обрабатывается в sorm2-replicatorhttp://sorm.eltex.loc:7071/metrics/processedЕсли метрики нулевые, значит sorm2-replicator не выполняет свои функции

Корректно настроены следующие параметры:

  • default_timezone, date_time (часовой пояс)

  • hazelcast.members (данные о соседних нодах)

http://sorm.eltex.loc:7071/systemЕсли какие-то из данные не соответствуют ожиданиям, проверьте конфигурацию сервиса
Выгрузка данных на FTP работает корректно

1 На sorm2-replicator

ls -l /var/log/eltex-sorm2-replicator/export_acct/

2 На FTP сервере

/ftp/files/ACCT$ ls -l 20220516/

1 Файлов нет, если выключен функционал СОРМ-3.

Не выгруженные еще файлы аккаунтинга лежат в директории /var/log/eltex-sorm2-replicator/export_acct/.

Директория очищается только после успешной выгрузки на FTP (если файлы копятся бесконечно, значит не работает выгрузка на FTP).

2 Все файлы разбиваются на директории по датам

Если директории не создаются, или не заполняются файлами, значит sorm2-replicator не может связаться с FTP сервером

Кэши работают нормальноhttp://sorm.eltex.loc:7071/hazelcast/local/state

В нормальном состоянии все кэши должны демонстрировать низкий miss_rate.

Однако, если, например, на региональный съемник пересылается только половина трафика (geo1.root), а на geo2.root региональный съемник не настроен, то при схожей интенсивности аккаунтинга, будет miss_rate около 0.5 и это нормально, потому как значения geo2.root никогда не попадают в кэш.




eltex-ted



Сервис запущен и принимает запросы к RESTful API

http://softwlc.eltex.loc:8009/getversion/ возвращает plain text ответ:

1.24-3640 (30.09.22 11:18:15)





eltex-wids-service



Сервис запущен и доступен по APIВ EMS открывается меню Wireless - WIDS manager, отображает список MAC листов.Если сервис не работает, то будет сообщение "Сервис со списками mac недоступен".



eltex-wifi-cab



Открывается основной WEB интерфейс Личного кабинета

http://softwlc.eltex.loc:8080/wifi-cab/

На экране приветствия открывается версия сборки ЛК.

На вкладке Справка - О программе можно увидеть:

  • версию сборки ЛК
  • версию сборки NBI, с которым ЛК работает

eltex-wifi-sa






  • Нет меток