Общее описание
Пример реализации отказоустойчивой сети с резервированием ESR и резервированием роутера "последней мили" PE, изображен на рис. 1. Точки доступа, размещаемые у клиента, включаются в PoE коммутаторы, которые позволяют передавать трафик до L3 коммутаторов/маршрутизаторов в сети доступа оператора.
- Вся сеть доступа, для включения ТД, объединена в VRF AP.
- Выход в сеть Интернет, осуществляется через VRF NAT, в котором расположен NAT.
- Сеть управления через VRF core, позволяет организовать связность между ESR и SoftWLC.
- ESR включены в разные PE маршрутизаторы (последней мили), для обеспечения физического резервирования элементов.
- Так же ESR связаны между собой для обмена служебной информации о списке и статусе GRE туннелей.
Таким образом, при выходе любого PE маршрутизатора последней мили или ESR, а также при потере физической или логической связности – система продолжает предоставлять комплекс услуг с минимальным
перерывом связи.
Рис. 1 Схема организации связи.
Режимы создания GRE туннелей для ТД в Wireless-Controller
В схеме включения L3, когда ТД поднимает два GRE туннеля (mgmt и data), используя данные, полученные из 43-й опции, со стороны ESR так же требуется поднять навстречу туннели для ТД. Чтобы не выполнять настройку туннелей для каждой ТД вручную на ESR реализован режим работы, позволяющий выполнять данную процедуру автоматически. За данный функционал возложен на wireless-controller. Для получения доступа к настройкам wireless-controller необходимо установить на ESR лицензию "WIFI - Wi-Fi controller". Использование данного функционала позволяет автоматизировать управление туннелями, поднимаемыми на ESR навстречу ТД. Для этого достаточно выполнить один раз настройку профилей по умолчанию для поднятия туннелей и функционала wireless-controller в соответствие с заранее выбранным планом адресации и vlan. Автоматически создаваемые туннели GRE на ESR будем далее называть "SoftGRE".
Существует два режима создания туннелей:
- Создание с использованием локального профиля настроек ESR - данный режим называется "Локальный профиль конфигурирования туннелей SoftGRE". Для каждой ТД будет подняты туннели согласно локальной конфигурации ESR.
Создание дата-туннелей с использованием радиус-обмена с PCRF, который получает информацию о том какие дата-туннели нужно поднять в соответствии с положением ТД в дереве EMS и настройками её SSID - данный режим называется "Динамический профиль конфигурирования туннелей SoftGRE". Для каждой ТД будет подняты туннели полученные от PCRF.
Число туннелей на ESR ограниченно, предпочтительно использовать динамический "Динамический профиль конфигурирования туннелей SoftGRE", так как будут подниматься только необходимые туннели.
Внимание! Для доступа к функционалу wireless-controller ESR требуется наличие лицензии WiFi. Проверить её наличие можно командой show licence:
esr-1000# show licence Licence information ------------------- Name: eltex Version: 1.0 Type: ESR-1000 S/N: NP00000033 MAC: A8:F9:4B:AB:B3:80 Features: WIFI - Wi-Fi controller
Алгоритм создания туннелей на ESR с локальным профилем конфигурирования туннелей SoftGRE
Для работы данного режима требуется настроенный настроенный локальный профиль на ESR:
tunnel softgre 1 mode management local address <IP address> default-profile enable exit tunnel softgre 1.1 bridge-group <№> enable exit tunnel softgre 2 mode data local address <IP address> default-profile enable exit tunnel softgre 2.10 bridge-group <№> enable exit tunnel softgre 2.11 bridge-group <№> enable exit wireless-controller enable exit
Ниже, на рис. 2, приведена диаграмма логики поднятия туннелей на ESR при подключении ТД.
Рис. 2. Схема построения туннелей на ESR при подключении ТД, используя локальный профиль конфигурирования туннелей SoftGRE.
Шаг 1. ТД, Получает первичный адрес с 43 опцией, содержащей адреса терминации GRE (11 - mgmt, 12 -data), которые находятся на ESR.
Шаг 2. ТД поднимает 2 GRE туннеля со своего первичного адреса на адреса терминации GRE. Внутри mgmt GRE туннеля она отправляет DHCP-discover для адреса управления в 1-м VLAN.
ESR, получив такой пакет (GRE, с инкапсулированным внутрь DHCP-discover) поднимает, используя настройки профиля по умолчанию, встречный SoftGRE туннель управления (mgmt) и в нем саб-туннель с 1-м VLAN, который терминируется в bridge, выступающий шлюзом для адресов управления ТД.
Декапсулированный DHCP-discover отправляется на DHCP сервер через relay , в ответ отправляется DHCP-offer, который ESR упаковывает в SoftGRE и отправляет ТД.
ТД присылает DHCP-request, который также отправляется DHCP сервер через relay.
Шаг 3. После того, как от DHCP сервера придет DHCP-ack и будет отправлен ТД, ESR поднимет для этой ТД data SoftGRE туннели, используя настройки локального профиля для data туннелей.
Достоинством этого способа является простота конфигурирования ESR и простая логика поднятия туннелей, которая никак не зависит от настроек SoftWLC. Недостатком этого способа является то, что для каждой подключающейся ТД поднимаются все дата саб-туннели, указанные в настройках профиля, даже если передача трафика со стороны ТД в не ведется. Это приводит к неэкономичному расходованию емкости саб-туннелей на ESR.
Алгоритм создания туннелей на ESR с динамическим профилем конфигурирования туннелей SoftGRE
В данном режиме дата-туннели для ТД со стороны ESR поднимаются по командам ELTEX-PCRF (далее PCRF), который получает необходимую информацию из БД комплекса SoftWLC в зависимости от настроек SSID, их привязок и положения ТД в дереве объектов. Обмен сообщениями выполняется по протоколу RADIUS, используются порты UDP 3799, 31812, 31813 (если используются настройки по умолчанию PCRF). Для корректной работы требуется доступ к серверу с ELTEX-PCRF. Ниже приведен пример минимально необходимых настроек:
object-group network SoftWLC ip address <адрес сервера с ELTEX-PCRF комплекса SoftWLC> exit radius-server host <адрес сервера с ELTEX-PCRF> key ascii-text <пароль> auth-port 31812 acct-port 31813 exit aaa radius-profile PCRF radius-server host <адрес сервера с ELTEX-PCRF> exit das-server COA key ascii-text <пароль, который будет использоваться при обращении к ESR со стороны ELTEX-PCRF> port 3799 clients object-group SoftWLC exit aaa das-profile COA das-server COA exit tunnel softgre 1 mode management local address <IP address> default-profile enable exit tunnel softgre 1.1 bridge-group <№> enable exit tunnel softgre 2 mode data local address <IP address> default-profile enable exit wireless-controller data-tunnel configuration radius aaa das-profile COA aaa radius-profile PCRF enable exit bridge 10 location <имя> enable exit
В случае использования динамического профиля конфигурирования туннелей SoftGRE существуют 7 сценариев, в соответствии с которыми будет производится их формирование. Данные сценарии можно разбить на две группы - создание дата-туннеля по инициативе ESR (при подключении ТД) и создание дата-туннеля по инициативе EMS. Сценарии предусматривают как положительный результат, если все параметры для построения дата-туннеля переданы корректно, так и отрицательные - в случае наличия некорректных настроек или их отсутствия:
Создание дата-туннеля по инициативе ESR:
1. ТД строит туннели на ESR, не инициализирована и находится в песочнице или подключается впервые. Дата туннель в этом случае сформирован не будет.
2. ТД строит туннели на ESR, инициализирована и находится в дереве доменов в EMS, настройки и привязки SSID к домену выполнены корректно. Будет выполнено формирование дата туннеля и соответствующих саб-туннелей.
3. ТД строит туннели на ESR, инициализирована и находится в дереве EMS, параметры SSID содержат некорректные настройки. Дата туннель или некоторые дата саб-туннели не будут сформированы.
Создание дата-туннеля по инициативе EMS:
4. Выполняется команда data-tunnel create из EMS, ТД с указанным туннельным адресом не найдена на ESR. Дата туннель сформирован не будет.
5. Выполняется команда data-tunnel create из EMS, ТД с указанным туннельным адресом найдена на ESR. Будет выполнено формирование дата туннеля и соответствующих саб-туннелей.
6. Выполняется команда data-tunnel create из EMS, ТД находится в дереве EMS, параметры SSID содержат некорректные настройки. Дата туннель или некоторые дата саб-туннели не будут сформированы.
7. ESR, на который приходит команда data-tunnel create, находятся в состоянии VRRP BACKUP. Устройство формирует все туннели в соответствии с информацией, переданной с ESR, находящимся в состоянии VRRP MASTER.
Далее будет подробно рассмотрены все сценарии формирования дата туннелей.
Создание дата-туннеля по инициативе ESR
При выполнении данных сценариев инициатором взаимодействия с PCRF является ESR, к которому подключилась ТД и ему необходимо получить все данные для построения дата туннеля и его саб-туннелей. Он отправляет radius запрос к PCRF типа ip-shaper, в котором содержится туннельный адрес ТД и NAS-IP ESR. PCRF выполняет поиск ТД по туннельному IP, определяет её домен и выполняется поиск привязок SSID к этому домену и доменам выше по дереву (поиск идет от ТД вверх пока не будет найден ESR на который подключена данная ТД), после чего формируется ответ, содержащий параметры:
- office:name - домен, в котором находится ТД.
- vlan:id - номер vlan, который настроен параметрах SSID (параметр "VLAN-ID")
- name - Bridge, Location, настроенный в параметрах SSID (параметр "Bridge, Location")
- sc - признак наличия Switch Community(sc), настраиваемый в параметрах SSID (Если опция включена в пакет будет добавлен параметр sc=1, если опция отключена пакет не будет содержать параметр sc)
- gre-location - признак дата саб-туннеля, позволяющий однозначно связать его с определенной ТД, имеет вид NODE.<Индекс объекта>.<Номер vlan> (например NODE.8498.10). Параметр "Индекс объекта" уникален для каждой ТД и задается в ходе добавления ТД в дерево объектов (как в ходе инициализации, так и при ручном добавлении). Gre-location нужен для корректной работы BRAS, он выступает L2 интерфейсом.
Параметры 2-5 передаются для каждой найденной SSID привязки, их может быть несколько в рамках одного radius ответа PCRF для одной ТД (но не более 20 шт).
Параметр "Bridge Location" должен совпадать с настройкой "location" на одном из бриджей ESR, т.к. он определяет, в какой бридж ESR будет построен дата саб-туннель.
Параметр "vlan:id" необходим, т.к. без него невозможно сформировать дата саб-туннель с соответствующим номером саб-интерфейса.
Вариант 1 - ТД не инициализирована и находится в песочнице или подключается впервые
ТД не инициализирована и находится в песочнице или подключается впервые - такая ситуация как правило возникает для вновь подключаемых ТД, либо если ТД была удалена из дерева EMS.
Ниже, на рис. 3, приведена диаграмма логики взаимодействия с PCRF:
Рис. 3.
Шаг 1. ТД, Получает первичный адрес с 43 опцией, содержащей адреса терминации GRE (11 - mgmt, 12 -data), которые находятся на ESR.
Шаг 2. ТД поднимает 2 GRE туннеля со своего первичного адреса на адреса терминации GRE. Внутри mgmt GRE туннеля она отправляет DHCP-discover для получения адреса управления в 1-м VLAN.
ESR, получив такой пакет (GRE, с инкапсулированным внутрь DHCP-discover) поднимает, используя настройки профиля, встречный SoftGRE туннель управления (mgmt) и саб-туннель для него с 1-м VLAN, который терминируется в bridge, выступающий шлюзом для адресов управления ТД.
Декапсулированный DHCP-discover релейным запросом передается на DHCP сервер, который отправляет DHCP-offer, который ESR упаковывает в SoftGRE и отправляет ТД.
ТД присылает DHCP-request, который также релейным запросом передается на DHCP сервер.
Шаг 3. После того, как от DHCP сервера придет DHCP-ack и будет отправлен ТД:
а) ESR выполнит radius запрос типа ip-shaper к PCRF, содержащий в себе туннельный (первичный) адрес ТД и NAS-IP ESR;
б) PCRF обратится к БД комплекса SotWLC, чтобы получить необходимые данные;
в) После этого будет выполнен поиск ТД по её туннельному (первичному) адресу - адрес не будет найден;
г) PCRF, определив, что для данной ТД нет данных о её туннельном адресе в БД, отправит radius ответ access-reject на ESR;
Шаг 4. Дата-туннель для ТД не будет поднят на ESR.
Как видно из логики работы, в таком случае дата-туннель для ТД на ESR не формируется. Информация об этом в EMS не передается.
Вариант 2 - ТД инициализирована и находится в дереве EMS, настройки и привязки SSID в дереве доменов выполнены корректно
ТД инициализирована и находится в дереве EMS, настройки и привязки SSID в дереве доменов выполнены корректно - данная ситуация соответствует штатной работе ТД после того как она ранее была инициализирована и происходит её повторное подключение после восстановления связи или разрушении туннелей на ESR.
Ниже, на рис. 4, приведена диаграмма логики поднятия дата-туннелей:
Рис. 4. Поднятие дата-туннелей, используя взаимодействие с PCRF.
Шаг 1. ТД получает первичный адрес с 43 опцией, содержащей адреса терминации GRE (11 - mgmt, 12 -data), которые находятся на ESR.
Шаг 2. ТД поднимает 2 GRE туннеля со своего первичного адреса на адреса терминации GRE. Внутри mgmt GRE туннеля она отправляет DHCP-discover для адреса управления в 1-м VLAN.
ESR, получив такой пакет (GRE, с инкапсулированным внутрь DHCP-discover) поднимает, используя настройки профиля, встречный SoftGRE туннель управления (mgmt) и в нем саб-туннель с 1-м VLAN, который терминируется в bridge, выступающий шлюзом для адресов управления ТД.
Декапсулированный DHCP-discover релейным запросом передается на DHCP сервер, который отправляет DHCP-offer, который ESR упаковывает в SoftGRE и отправляет ТД.
ТД присылает DHCP-request, который также релейным запросом передается на DHCP сервер.
Шаг 3. После того, как от DHCP сервера придет DHCP-ack и будет отправлен ТД:
а) ESR выполнить радиус запрос типа ip-shaper к PCRF, содержащий в себе туннельный (первичный) адрес ТД;
б) PCRF обратится к БД комплекса SotWLC, что бы получить необходимые данные;
в) После этого будет выполнен поиск ТД по её туннельному (первичному) адресу, получены все необходимые данные для построения дата-туннеля;
г) Получив необходимые данные, PCRF отправит radius ответ access-accept, содержащий в себе все необходимые параметры для формирования дата туннеля и саб-туннелей на ESR;
д) ESR, используя полученные данные,формирует дата туннель и саб-туннели.
В результате выполнения данных команд на ESR сформируется дата туннель и саб-туннели для ТД. Информация об этом в EMS не передается.
Вариант 3 - ТД строит туннели на ESR, она инициализирована и находится в дереве EMS, параметры SSID содержат некорректные настройки.
ТД инициализирована и находится в дереве EMS, настройки SSID выполнены некорректно.
Внимание! Под некорректной настройкой понимается несовпадение значения параметра "Bridge Location" ни с одним таким значением, настроенным на бриджах ESR командой location.
Важно!
Если не указан параметр "VLAN-ID" - параметры для такого дата-саб туннеля на ESR не передаются и он не формируется. Это не считается ошибкой, т.к. такая настройка SSID допустима.
Если привязка SSID выполнена не к домену, а по мак-адресу ТД - параметры для такого дата саб-туннеля на ESR не передаются и он не формируется. Это не считается ошибкой, т. к. такой способ привязки SSID допустим.
Ниже, на рис. 5, приведена диаграмма логики поднятия дата-туннелей при ошибочном значении параметра "Bridge, Location".
Рис. 5.
В результате указания неправильного "Bridge, Location" дата саб-туннель с такими параметрами не сможет сформироваться на ESR. В логе ESR, при включенном логе APTD ERROR (включено по умолчанию) появится сообщение:
%APTD-E-ERROR: <aptd_validate_access_data> AP <Tunnel IP ТД>: SSID '<значение настройки Bridge Location>' not found in locations!
В результате дата саб-туннель не будет сформирован. Информация об этом в EMS не передается.
Важно! Начиная с версии ПО ESR 1.11.0, если в ответе на запрос ip-shaper приходят параметры для поднятия нескольких дата саб-туннелей - то в случае ошибки в настройке "Bridge Location" не будет сформирован только этот саб-туннель. На более ранних версия, в случае возникновения ошибки, не выполняется формирование всех дата саб-туннелей.
Создание дата-туннеля по инициативе EMS
Т.к. в случае создания дата туннеля по инициативе ESR он не всегда может быть создан, например для вновь подключившейся ТД - существуют сценарии, когда команда на создание дата туннеля на ESR выполняется по инициативе EMS. Это происходит в следующих случаях:
1. Инициализация новой ТД.
2. Переинициализация ТД.
3. Перемещение ТД в другой узел;
4. Выполнение команды "Создать data-tunnel на ESR" в EMS для одной или группы ТД.
При создании дата туннеля по инициативе EMS, PCRF выполняет radius CoA-request (типа "data-tunnel create") на порт UDP 3799 ESR. В таком случае всегда предварительно требуется узнать на какой или какую группу ESR необходимо отправить эту команду. Для того, что бы ESR был найден, он должен быть добавлен в дерево объектов EMS. Поиск ESR выполняется в соответствии со следующей логикой (рис. 6):
Рис. 6.
шаг 1: ТД, для которой необходимо выполнить команду data-tunnel create находится в узле Eltex;
шаг 2: Проверяется узел Eltex на наличие в нем ESR - не найдено, переходим к следующему вверх по дереву узлу Novosibirsk;
шаг 3: Проверяется узел Novosibirks на наличие в нем ESR - не найдено, переходим к следующему вверх по дереву узлу Novosibirskaya_oblast;
шаг 4: Проверяется узел Novosibirskaya_oblast на наличие в нем ESR - не найдено, переходим к следующему вверх по дереву узлу MRF_Sibir;
шаг 5: Проверяется узел MRF_Sibir на наличие в нем ESR - найден! Используем его для отправки команды на создание дата туннеля.
Если в узле было найдено несколько ESR, подходящих для построения дата туннеля - команда будет отправлена на все. Радиус пакет CoA-request типа data-tunnel create содержит в себе туннельный адрес ТД, для которой следует создать дата-туннель и NAS-IP адрес ESR.
Как видно из приведенной логики - для возможности выполнения данной команды ТД должна находится в дереве EMS, выполнить её для не инициализированной ТД, находящейся в песочнице нельзя. Так же из этой логики следует, что данная команда может быть отправлена на ESR, к которому ТД не подключена.
Внимание! При выполнении команды data-tunnel create из EMS всегда предварительно проверяется доступность ТД с помощью SNMP-ping, а затем происходит вычитывание с ТД snmp командой её туннельного адреса и изменение его если он не совпадает. Если ТД не ответила на SNMP-ping - дальнейшие действия не выполняются, в логе выполнения задачи в EMS можно видеть сообщение:
FATAL Системная ошибка обработки SNMP запроса: TIMEOUT/Timeout: 300 ms
Если в результате поиска ESR, на который надо отправить команду data-tunnel create не был найден ни один ESR - команда не выполняется. Ошибкой это не считается, т.к. может использоваться ESR с локальным профилем конфигурирования туннелей SoftGRE.
Вариант 4 - выполняется команда data-tunnel create из EMS, ТД с указанным туннельным адресом не найдена на ESR
Ниже, на рис. 7, приведен алгоритм действий, когда команда data-tunnel create выполняется по инициативе EMS. При обработке команды на ESR, ТД, с указанным в ней туннельными адресом не найдена.
Рис. 7.
В данном сценарии дата-туннель не будет создан на ESR. В EMS, в логе задачи будет сообщение вида:
Отправить команду 'data-tunnel create' на ESR NAS ip <IP адрес ESR> - Ошибка команды 'Data-tunnel create' (ESR: <имя ESR>): Data-туннель для ТД <Tunnel IP ТД> не создан на <IP адрес ESR>
Вариант 5 - выполняется команда data-tunnel create из EMS, ТД с указанным туннельным адресом найдена на ESR
Ниже, на рис. 8, приведена диаграмма логики действий, когда ТД с указанным туннельным адресом найдена на ESR, настройки и привязки SSID в EMS выполнены корректно.
Рис. 8.
Как видно из приведенной на рис. 8 диаграммы, главным отличием данного варианта от варианта 2 выше, является наличие CoA команд на создание дата туннеля. В результате ESR, после получения CoA request Data tunnel create выполняет те же действия, что и в варианте 2 и по их завершению отправляет сообщение CoA-ACK Created, которое свидетельствует об успешном создании дата-туннеля на ESR. В логе задачи EMS при этом будет сообщение вида:
Отправить команду 'data-tunnel create' на ESR NAS ip <IP адрес ESR> - Data-туннель для ТД <Tunnel IP ТД> создан на <IP адрес ESR>
Вариант 6 - ТД находится в дереве EMS, параметры SSID содержат некорректные настройки
Ниже, на рис. 9, приведена диаграмма логики действий, когда ТД с указанным туннельным адресом найдена на ESR, настройки SSID в EMS выполнены некорректно. Понятие некорректности настроек определены в описании варианта 3.
Рис. 9.
В данном случае в EMS, в логе выполнения задачи появиться сообщение:
Отправить команду 'data-tunnel create' на ESR NAS ip <IP адрес ESR> - Ошибка команды 'Data-tunnel create' (ESR: <имя ESR>): Ошибка создания интерфейса к ТД <Tunnel IP ТД> на <IP адрес ESR>
Вариант 7 - ESR, на который приходит команда data-tunnel create находиться в состоянии VRRP BACKUP
В схеме с резервированием VRRP используется два ESR - основной и резервный. Один из ESR всегда находится в состоянии VRRP BACKUP. Диаграмма логики действий для такого ESR приведена на рис. 10.
Рис. 10.
ESR, находящийся в состоянии VRRP BACKUP всегда шлет ответ "State is backup", и никаких более действий не выполняет. В логе задачи в EMS в этом случае появляется сообщение:
Отправить команду 'data-tunnel create' на ESR NAS ip <IP адрес ESR> - ESR with NAS IP '<IP адрес ESR>' is in VRRP backup status
Данное сообщение не считается ошибкой.
CoA команды PCRF domain update и update location
Помимо операций над ТД, в EMS могут выполнятся операции над SSID, которые могут привести к необходимости переконфигурированию дата-туннелей. При изменение настроек SSID, которые могут повлиять на конфигурацию дата туннелей на ESR, а именно:
1) "Bridge Location";
2) "Switch Community";
3) "Статус VAP";
4) "Режим трафика VAP (только для GRE)";
5) "VLAN-ID";
6) Создание/удаление привязки SSID к домену;
Происходит выполнение команд "domain:command=update" и затем "data-tunnel:command=update-location". При выполнении данных команд:
1) Определяются домены, к которым привязан SSID;
2) Определяются все ТД, которые находятся в доменах (и ниже по дереву), к которым выполнены привязки SSID;
2) Отправка на все ESR, которые определяются для данных привязок SSID в соответствии с логикой, изображенной на рис. 6, измененных параметров командой "domain:command=update" (данная команда не содержит туннельных адресов ТД, для которых следует выполнить изменения и параметра gre-location, которым дата саб-туннель привязывается к определенной ТД);
3) PCRF ожидание ответа на команду "domain:command=update", при успешном ответе отправляется "data-tunnel:command=update-location".
4) Выполняется команда "data-tunnel:command=update-location", которая содержит измененные параметры SSID, для каждой найденной ТД отдельной CoA командой (в каждом пакете содержится информация о vlan:id и соответствующего ему параметра gre-location). ESR, на который надо отправить данную команду определяется в соответствии с логикой, изображенной на рис. 6;
5) ESR выполняет изменение конфигурации дата саб-туннелей в соответствии с новыми данными.
Разделение команды на две части выполняется по следующим причинам:
1) Изменения параметров может затронуть слишком большое число ТД и если попытаться отправить данную информацию одним пакетом - то его размер может превысить ограничение размера радиус-пакета в 4096 байт (RFC2865);
2) SSID может быть привязан к различным доменам, ТД которых обслуживаются различными ESR;
3) Т. к. число ТД может быть слишком большим - то отправка последовательно информации по обновлению параметров для каждой ТД командой update location позволяет избежать высокой загрузки CPU ESR необходимостью выполнить реконфигурирование большого числа дата-туннелей;
4) Команда data-tunnel:command=update-location" должна выполняться только после завершения "domain:command=update", так как после ее завершения будут подняты все необходимые туннели для которых нужно установить новые параметры.
В случае успех/неуспеха выполнения данной команды никакой информации об этом в EMS не появится.
Добавление ESR в EMS
Как следует из логики работы механизма поднятия дата туннелей по командам PCRF, ESR обязательно должен быть добавлен в дерево объектов EMS. Рекомендуется размещать ESR в дереве объектов таким образом, что бы все подключающиеся к нему ТД располагались в узлах, домены которых образуют ветки от домена его расположения. Для добавления ESR надо встать на нужный объект в дереве объектов и нажать кнопку "+" (Добавить):
Рис. 11.
В открывшемся окне (рис. 11), вводим:
- Имя объекта - произвольное имя ESR.
- Тип - выбираем тип ESR.
- IP адрес - ip адрес управления ESR.
И нажимаем "Добавить".
Затем идем в меню "RADIUS" → "Управление точками доступа" и введя в поле "Фильтр" адрес управления ESR находим его и исправляем ключ радиус на используемый в конфигурации ESR (в текущем примере это "testing123"):
Рис. 12.
И нажимаем "Принять".
Так же надо будет исправить во вкладке "Доступ" ESR название read/write SNMP community на используемое в конфигурации ESR.
Настройка ESR
Общее описание принципов и этапов выполнения настройки
Далее будет рассмотрена настройка ESR в режиме L3 wireless-controller, в режиме поднятия дата-туннелей по командам PCRF, с резервированием, используя VRRF и резервированием маршрутизатора "последней мили", к которому подключается ESR. Настройка рассматривается на примере с реальной адресацией. Предполагается, что комплекс SoftWLC уже установлен и настроен.
Рекомендуется придерживаться следующего порядка настройки:
- Выделить подсети, адреса и приватный номер AS, которые будут использоваться при настройке (пример необходимых адресов приведен далее в таблице 1).
- Выполнить настройку сопрягаемого с ESR оборудования.
- Выполнить настройку ESR, при этом рекомендуется до окончания настройки отключить файрвол на всех L3 интерфейсах ESR для удобства отладки.
- Выполнить необходимые настройки комплекса SoftWLC для взаимодействия с ESR.
- Выполнить настройку и включить файрвол на ESR.
- Проверить работоспособность схемы и работу резервирования.
Описание адресации
Выделяем адреса для настройки в соответствии с таблицей 1, в которой ESR 1 - выполняет роль основного роутера, ESR 2 - резервного.
AS 64603 | ESR 1 | ESR 2 | |||
назначение | интерфейс | IP адрес | VRRP IP | интерфейс | IP адрес |
---|---|---|---|---|---|
стык с VRF AP | gi1/0/1.206 | 100.64.0.34/30 | n/a | gi1/0/1.207 | 100.64.0.38/30 |
стык с VRF core | gi1/0/1.208 | 100.64.0.42/30 | n/a | gi1/0/1.209 | 100.64.0.46/30 |
стык с VRF NAT | gi1/0/1.210 | 100.64.0.50/30 | n/a | gi1/0/1.211 | 100.64.0.54/30 |
Терминация GRE трафика от ТД | bridge 1 / 101 | 192.168.200.51/28 | 192.168.200.49/32 192.168.200.50/32 | bridge 1 / 101 | 192.168.200.52/28 |
терминация подсети управления ТД | bridge 3 / 3 | 198.18.128.2/21 | 198.18.128.1/32 | bridge 3 / 3 | 198.18.128.3/21 |
стыковый адрес с ESR-1 | bridge 9 / 9 | 100.64.0.57/30 | n/a | bridge 9 / 9 | 100.64.0.58/30 |
терминация подсети клиентов ТД | bridge 10 / 10 | 198.18.136.2/22 | 198.18.140.1/32 | bridge 10 / 10 | 198.18.140.3/22 |
Таблица 1.
Ниже, на рис. 13, приведена схема организации связи на сетевом уровне.
Рис. 13.
Для подключения ESR (находятся в AS 64603) к PE (находящихся в AS 65001) используется интерфейс, на котором настроено 3 саб-интерфейса для организации BGP соединений в 3 соответствующих VRF:
- VRF AP - в нём осуществляется включение всех точек доступа. По нему идет весь обмен трафиком между ТД и ESR.
- VRF core - предназначен для взаимодействия с комплексом SotfWLC и управления, в нем происходит передача всего трафика управления и мониторинга ESR и ТД, так же через него получают адреса по DHCP устройства клиента.
- VRF NAT - предназначен для выхода в сеть Интернет, используя NAT оператора.
Через VRF AP на ESR принимается маршруты для подсетей 10.10.60.0/24 и 192.168.250.0/24, в которых ТД получают первичные адреса. В этот же VRF с ESR анонсируется подсеть 192.168.200.48/28, которая содержит адреса терминации GRE. Точки доступа будут строить GRE туннели до ESR по адресам 192.168.200.49 (управление) и 192.168.200.50 (трафик клиентов).
Через VRF core на ESR принимается маршрут для подсети 100.123.0.0/24, в которой расположены сервера комплекса SoftWLC (EMS, DHCP). В этот же VRF с ESR анонсируется подсети: 198.18.128.0/21 (управление ТД) и 198.18.136.0/22 (адреса клиентов ТД, для возможности получения и продления адресов).
Через VRF NAT на ESR принимается маршрут по умолчанию 0.0.0.0/0. В этот же VRF с ESR анонсируется подсеть 198.18.136.0/22 – для прохождения трафика клиентов в сеть Интернет
Оба ESR находятся в одной автономной системе (AS 64603), и обмениваются маршрутной информацией по iBGP. Интерфейсом для взаимодействия служит интерфейс Bridge 9. Физическое подключение рекомендуется выполнять через Port Channel, тем самым обеспечивается резервирование данного канала и увеличивается пропускная способность соединения.
При данной схеме включения возможно несимметричное прохождение трафика, что является нежелательным. Подробное описание причин данного явления и настроек, необходимых для его предотвращения описано в разделе "Предотвращение прохождения трафика через перемычку в схеме c резервирования VRRP+BGP". Рекомендуется ознакомиться после изучения настоящего руководства по "Настройка ESR в режиме wireless-controller с резервированием маршрутизатора "последней мили".
Настройка ESR
Выполним необходимые первичные настройки. Данные настройки выполняются с помощью консольного подключения.
Т.к. ESR поставляется с заводской конфигурацией - выполним её сброс на пустую конфигурацию:
esr1000# copy system:default-config system:candidate-config Entire candidate configuration will be reset to default, all settings will be lost upon commit. Do you really want to continue? (y/N): y |******************************************| 100% (52B) Default configuration loaded successfully.
Затем выполним первичную настройку ESR 1 (ему будет присвоено имя "Alfa") и ESR 2 (с именем "Beta"):
После подключения ESR к сети и проверки наличия доступа с сопрягаемого оборудования (маршрутизатора PE) можно отключить консоль и приступить к настройке используя telnet или ssh подключение. Следует учитывать, что до настройки BGP ESR будут доступны только с адресов стыковых интерфейсов сопрягаемого оборудования.
Выполним настройку интерфейсов терминации GRE, подсетей управления ТД и подсетей клиентов, а так же стыковых интерфейсов между ESR:
Выполним настройку BGP:
Далее настроим wireless-controller для использования в схеме с конфигурированием дата-туннелей по командам PCRF:
Обратим внимание, что настройки полностью одинаковые за исключением source-address в настройках радиус-сервера, т.к. каждый ESR должен отправлять пакеты со своего адреса управления. Peer-address, в котором мы указывает адрес соседнего маршрутизатора и nas-ip-address, где так же указан адрес управления ESR.
В завершение настройки выполним настройку SNMP на ESR, конфигурация будет одинаковой для каждом маршрутизаторе:
Настройка файрвола ESR
В приведенной выше конфигурации файрвол отключен для всех IP интерфейсов. Это сделано с целью упрощения диагностики при первоначальной настройке оборудования. На рис. 14 приведена схема назначения интерфейсам зон безопасности (назначение зон безопасности выполнено выше, при настройке интерфейсов).
Рис. 14.
Необходимо настроить следующие разрешения:
- Из зоны trusted разрешаем весь трафик к зонам self и trusted со стороны подсети комплекса SoftWLC.
- Разрешаем трафик BGP в зону self для всех стыковых интерфейсов.
- Из зоны gre разрешаем весь трафик GRE к ESR.
- Из зоны user в зону trusted и self разрешаем DHCP пакеты (и при необходимости DNS).
- Из зоны user в зону untrusted разрешаем весь трафик.
- В направлении user neighbour разрешаем трафик DNS и любой трафик, который не направлен к приватным подсетям (для того, что бы обеспечить доступ к сети Интернет через перемычку и не пустить пользователей к адресам внутренних подсетей).
- Для направления neighbour self разрешаем работу протокола BGP.
- В направлении neighbour untrusted разрешаем весь трафик.
Настройка файрвола выглядит одинаково для ESR 1 и 2:
После выполнения настройки firewall обязательно включаем его на всех интерфейсах, на которых он ранее был отключен командой no ip firewall disable.
Описание схемы прохождения трафика
На рис. 15 приведена схема прохождения трафика через ESR при штатной работе.
Рис. 15.
Управление и мониторинг ESR осуществляется по адресу указанному в конфигурации интерфейса Bridge 3, весь трафик маршрутизируется через интерфейс gi1/0/1.208 (для ESR 1 Alfa) и gi1/0/1.209 (для ESR 2 Beta) в VRF core.
Трафик, приходящий от точек доступа, маршрутизируется через интерфейс gi1/0/1.206 на Bridge1. Точки доступа устанавливают GRE туннели по адресам этого интерфейса:
- MNG GRE – по адресу 192.168.200.49 в котором передается трафик управления ТД в VLAN ID 1;
- DATA GRE – по адресу 192.168.200.50, в котором передается трафик клиентов с ТД в VLAN ID, установленных в конфигурации этих SSID.
Каждый Sub GRE интерфейс, включается в соответствии с конфигурацией в Bridge:
- Bridge 3 – L3-интерфейс, объединяющий управление точками доступа. Адрес этого интерфейса служит Default Gateway для ТД. На этом интерфейсе работает DHCP-relay, для того чтобы ТД получали адрес с DHCP сервера, расположенном в VRF core.
- Bridge 10 – L3-интерфейс, объединяющий трафик клиентов SSID1, поступающий с ТД. Адрес этого интерфейса служит Default Gateway для пользователей Wi-Fi. На этом интерфейсе работает DHCP-relay, для того чтобы клиентские устройства получали адрес с DHCP сервера, расположенном в VRF core.
Трафик пользователей маршрутизируется через интерфейс gi1/0/1.210 в VRF NAT, который передает данные в сеть Интернет.
- Bridge 9 – L3-интерфейс, для организации канала до резервного ESR. Соединение с резервным ESR осуществляется через интерфейс gi1/0/2. (Рекомендуется использовать агрегированный интерфейс, который представляет собой объединение нескольких физических портов в один логический Port Channel (по протоколу LACP).
Логическая схема реализации VRRP резервирования ESR
Схема резервирования VRRP приведена на рис. 16. На каждом Bridge интерфейсе ESR, который участвует в терминировании GRE туннелей настраивается протокол VRRP, все интерфейсы объединяются в одну логическую группу (vrrp group 1). На ESR 1 Alfa и ESR 2 Beta на соответствующих бриджах устанавливаются реальные IP адреса (Real IP) из соответствующего пула и указывается виртуальный IP адрес (Virtual IP -VIP). Эти bridge связаны между собой через vlan, которые объеденные через перемычку между портами gi1/0/2. На ESR 1 Alfa установлен приоритет 200, а на ESR 2 Beta – 20. При выходе из строя ESR 1 Alfa или при потере связности в vlan (101, 3, 10) – происходит переключение мастерства на ESR 2 Beta, в результате чего на его интерфейсах устанавливаются VIP.
На интерфейсах bridge 3 и bridge 10 используется VIP адрес, являющийся шлюзом для всех устройств этой подсети. Таким образом, при переключении мастерства, для всех подключенных клиентских устройств, МАС и IP адрес шлюза не изменится.
Для поднятия GRE туннелей будет использоваться 2 VIP адреса bridge 1 интерфейса.
Используя стыковый интерфейс bridge 9 выполняется синхронизация состояния туннелей. ESR 2 Beta, находящийся в состоянии VRRP backup получает информацию о состоянии туннелей с ESR 1 Alfa, который выполняет периодическую рассылку этой информации.
Таким образом, при переключении мастерства на ESR, ТД не потребуется поднимать новые SoftGRE туннели, так как IP адрес ESR для них останется прежним.
Рис. 16.
Возможные варианты отказа в сети
Ниже будут рассмотрены возможные варианты прохождения трафика пользователя при штатной работе и возникновении аварии на сети.
Рабочее состояние сети
На рис. 17 изображено рабочее состояние сети. Трафик от подключенных ТД из VRF AP проходит через PE 1 master и попадет на ESR 1. Потом он маршрутизируется: трафик управления ТД в VRF core, трафик пользователей ТД в VRF NAT. PE 2 backup и ESR 2 в передаче трафика не участвуют.
Отказ PE 1 master
На рис. 18 показана схема прохождения трафика при отказе PE 1 master.
Рис. 18.
При отказе PE 1 master он перестанет анонсировать маршруты, получаемые от ESR 1. При этом смены VRRP мастерства не произойдет и ESR 1 останется в состоянии VRRP Master. Трафик от ТД из VRF AP будет проходить через PE 2 backup, маршрутизироваться на ESR 2 и через перемычку на интерфейсах gi1/0/2 попадать на ESR 1. Трафик пользователей и управления ТД с ESR 1 через будем маршрутизироваться через перемычку между портами gi1/0/2 через стыковый интерфейс bridge 9 и передаваться через P2 backup в VRF core и VRF NAT.
Отказ ESR 1
На рис. 19 показана схема прохождения трафика в случае отказа ESR 1:
При отказе ESR 1 он перестает слать анонсы VRRP. Определив это ESR 2 переходит в состояние VRRP MASTER, назначая VIP адреса на соответствующие интерфейсы . В результате трафик от ТД из VRF AP через PE 2 backup попадает на ESR 2. Потом он маршрутизируется: трафик управления ТД в VRF core, трафик пользователей ТД в VRF NAT. PE 1 master в обработке трафика не участвует.
Восстановление ESR 1 после отказа
Поведение протокола VRRP после восстановления работоспособности ESR 1 зависит от настроек. В общем случае ESR 1, как имеющий наибольший приоритет должен захватить VRRP мастерство. Однако это недопустимо, т.к. сразу после загрузки ESR 1 не будет иметь информации о состоянии туннелей. Поэтому в настройках интерфейсов VRRP можно использовать:
1) vrrp preempt disable - данная настройка запрещает выполнять перехват VRRP мастерства, если есть VRRP Master с меньшим приоритетом. В этом случае ESR 2 останется в состоянии VRRP master до перезагрузки или пока иным способом не будет обеспечен захват мастерства ESR 1.
2) vrrp preempt delay <количество секунд> - данная настройка запрещает выполнять перехват VRRP мастерства, если есть VRRP Master с меньшим приоритетом, в течение указанного периода времени. В этом случае ESR 2 останется в состоянии VRRP master в течение этого периода. Рекомендуемое значение 420 секунд - данного времени достаточно. что бы была выполнена синхронизация состояния туннелей на VRRP Backup, которым после загрузки станет ESR 1.
Ниже, на рис 20, приведена схема прохождения трафика для ситуации, когда ESR 1 вернулся в работу, а ESR 2 находится в состоянии VRRP Master.
Рис. 20.
Трафик от ТД из VRF AP будет приходить через PE 1 master на ESR 1, с него через перемычку попадать на ESR 2. Затем трафик управления ТД и трафик пользователей будет через PE 2 backup передаваться в соответствующие VRF.
Данное несимметричное прохождения трафика очень нежелательно, поэтому существует способ настройки BGP анонсов и использованием трекинга состояния VRRP, что позволит предотвратить подобную схему прохождения трафика, подробнее описано здесь: Предотвращение прохождения трафика через перемычку в схеме c резервирования VRRP+BGP
Приложения
Полная конфигурация ESR 1 Alfa и ESR 2 Beta
Конфигурация приведена для версии ПО ESR 1.11.0