Общие сведения
Пример реализации отказоустойчивой схемы включения ESR, работающих в режиме wireless-controller, изображен на рис. 1:
Рис. 1.
Как видно из приведенной на рис. 1 схеме:
- резервирование ESR осуществляется с помощью протокола VRRP, по схеме "Active-Standby";
- для исключения коммутатора, к которому подключен ESR как единной точки отказа, используется включение в стек коммутаторов с использованием агрегирования каналов. Физические линки ESR, использующиеся в агрегированном канале включается в разные коммутаторы стека.
Обработку трафика выполняет ESR VRRP MASTER. В случае его отказа VRRP мастервство захватывает ESR VRRP BACKUP. Резервирование роутера "последней мили" (роутер NAT на рис. 1) в данной статье не рассматривается. Оно может быть выполнено так же с помощью VRRP или путем использования инной схемы включения (с данной схемой можно ознакомится в статье Настройка ESR в режиме wireless-controller с резервированием роутера "последней мили").
При использовании агрегации каналов на ESR нельзя использовать саб-интерфейсы на интерфейсе типа "port-channel".
Схема включения
Схема включения будет рассмотрена на примере реальной адресации, приведенной в таблице 1.
Назначение | Bridge | VLAN | Подсеть | ESR VRRP MASTER IP address | VRRP IP | ESR VRRP BACKUP IP address |
---|---|---|---|---|---|---|
Адреса терминации GRE | bridge 1 | 2308 | 192.168.200.16/28 | 192.168.200.19/28 | 192.168.200.17/32 192.168.200.18/32 | 192.168.200.20/28 |
Подсеть адресов управления ТД (вторичных адресов) | bridge 3 | 3 | 10.255.252.0/23 | 10.255.252.2/23 | 10.255.252.1/32 | 10.255.252.3/23 |
Подсеть для взаимодействия с комплексом SoftWLC | bridge 4 | 2300 | 100.123.0.0/24 | 100.123.0.173/24 | 100.123.0.174/32 | 100.123.0.175/24 |
Выход в сеть Интернет | bridge 5 | 2301 | 172.16.0.0/28 | 172.16.0.2/28 | 172.16.0.4/32 | 172.16.03/28 |
Подсеть клиентов SSID1 ТД | bridge 10 | 10 | 198.18.148.0/22 | 198.18.148.2/22 | 198.18.148.1/32 | 198.18.148.3/22 |
Подсеть клиентов SSID2 ТД | bridge 11 | 11 | 198.18.152.0/22 | 198.18.152.2/22 | 198.18.152.1/32 | 198.18.152.3/22 |
Подсеть первичных адресов ТД | -- | 100 | 192.168.240.0/23 | -- | -- | -- |
Таблица 1.
Схема сети приведена ниже на рис. 2:
Рис. 2.
Ниже, на рис. 3, приведена схема архитектуры конфигурации ESR:
Рис. 3.
- Выход в сеть Интернет осуществляется в vlan 2301, используя для маршрута по умолчанию шлюз 172.16.0.1 (Роутер-NAT). Выпуск пользователей осуществляется путем маршрутизации на маршрутизатор router-NAT, который выполняет NAT трансляцию адресов пользователей в сеть Интернет.
- Сеть управления ESR находится в vlan 2300, подсеть 100.123.0.0/24, которая так же используется для взаимодействия с комплексом SoftWLC (ip-адрес 100.123.0.2).
- ТД получают первичный IP адрес из сети 192.168.240.0/23 через DHCP-relay коммутатора/маршрутизатора с DHCP-сервера установленного на сервере с SoftWLC. В опции 43 подопции 11 и 12, передаются 2 адреса для поднятия GRE туннелей: 192.168.200.17 и 192.168.200.18 (см. описание опций v1.16_Как сконфигурировать 43 опцию и другие особенности настройки). В этом случае весь трафик от ТД будет нетегированным. ТД поднимают 2 EoGRE туннеля с первичного адреса, полученного по DHCP на адреса полученные в 11 и 12 подопциях:
- в Management GRE туннеле на адрес 192.168.200.17 с vlan id = 1, передается трафик управления ТД.
- в Data GRE туннеле на адрес 192.168.200.18 с vlan id = N, идет передача трафика пользователей, подключенных ТД, на которой настроена SSID (в приведенном примере vlan 10 и 11). - Через Management GRE туннель (vlan id 1) от АР приходят DHCP запросы, которые при помощи DHCP-relay на ESR, перенаправляются на SoftWLC. DHCP сервер, настроенный на SoftWLC, выдает для ТД IP адрес управления из сети 10.255.252.0/23, шлюзом будет выступать VRRP адрес 10.255.252.1 бриджа 3 ESR. В опции 43.10 передается адрес SoftWLC сервера: 100.123.0.2, (см. описание опций v1.16_Как сконфигурировать 43 опцию и другие особенности настройки). По этому же адресу будет производить обмен служебной информацией между ТД и SoftWLC.
- На ТД с помощью комплекса SoftWLC настраиваются SSID 1 и SSID 2, которые будет тегировать трафик пользователя 10 и 11 тегом vlan соответственно. Весь трафик пользователей будет передаваться c vlan 10 и 11 внутри Data GRE туннеля на ESR. DHCP запросы клиента, при помощи DHCP-relay ESR будет перенаправляться на SoftWLC. Пользователи получают адреса из сети bridge 10 ESR 198.18.148.0/22, адрес шлюза 198.18.148.1. Пользователи bridge 11 ESR получают адреса из сети 198.18.152.0/22, адрес шлюза 198.18.152.1.
Как видно из адресации в таблице 1 и схемы на рис. 3, в конфигурации будет использовано шесть VRRP-инстансов - для всех интерфейсов. Это необходимо, что бы с т.з. маршрутизации оба ESR выглядели как одно устройство (EMS и PCRF будут взаимодействовать с обоими ESR используя их реальные адреса).
Существуют следующие требования к настройке VRRP:
- все инстансы VRRP должны быть включены в одну группу, в настоящем примере это будет "vrrp group 1". Это приведет к тому, что все инстансы одной группы всегда будут находится в одинаковом состоянии - VRRP MASTER или BACKUP и не допустит неконсистентного состояния VRRP, когда на одном ESR будут различные состояние VRRP на разных интерфейсах.
- все инстансы VRRP каждого роутера должны иметь одинаковый приоритет - в настоящем примере для ESR VRRP MASTER - 200, для ESR VRRP BACKUP 100.
- в текущем примере используется настройка "vrrp preempt disable", которая запрещает перехват мастерства более высокоприоритетным инстансом VRRP, в случае, если более низкоприоритеный инстанс уже находится в состоянии "master" - она должна быть настроена одинаково на всех роутерах (можно отказаться от использования этой настройки, но это приведет к тому, что роутер с более высоким приоритетом VRRP всегда будет захватывать мастерство, что может привести к нежелательным переключениям мастерства).
Для включения фукнционала VRRP на каждом бридже ESR надо будет настроить:
bridge <№> vrrp id <значение приоритета> vrrp ip <IP-адрес VRRP> vrrp priority <приоритет> vrrp group <№ группы> vrrp preempt disable vrrp exit
Также на интерфейсах подсети адресов упарвления ТД и подсетей пользователей WiFi необходимо включить:
bridge <№> ports vrrp filtering enable ports vrrp filtering exclude vlan exit
Настройка "ports vrrp filtering enable" запретит рассылку VRRP-анонсов в туннели пользователей, а настройка "ports vrrp filtering exclude vlan" разрешит рассылку VRRP-анонсов в влане бриджа для коректной работы VRRP.
Важно!
В случае, если не используется настройка "vrrp preempt disable" необходимо в конфигуарциях VRRP на интерфейсах задать "vrrp preempt delay <время в секундах>" не менее 180 секунд. Это исключит немедленный захват мастерства роутером, имеющим более высокий приоритет после загрузки. В случае, если это не сделать, роутер, захвативший VRRP мастерство после загрузки не успеет синхронизировать состояние тунелей ТД и они будут подниматься заново, по мере срабатывания на ТД механизма gre keepalive.
Более подробное описание параметров настроек VRRP можно посмотреть: Управление резервированием.
Настройка ESR
Настройка ESR будет рассматриваться на примере на основе схемы, приведенной на рис. 3. В конфигурации wireless-controller будет использоваться динамический профиль конфигурирования туннелей SoftGRE. Не забываем, что дял доступа к функционала wirless-controller требуется лицензия (подробнее можно прочитать в статье Настройка ESR при подключении ТД через L3 сеть доступа (схема WiFi L3)).
Конфигурируем необходимые первоначальные настройки, они будут одинаковы для обоих ESR:
Настраиваем интерфейс port-channel, назначаем ему необходимые vlan и включаем в него физический интерфейсы, данная конфигурация так же будет одинакова на обоих ESR:
Важно!
Если в конфигурации port-channel изпользуются tengigabitethernet интерфейсы - необходимо явно указать скороcть на интерфейсе port-channel:
Скорость "speed 1000M" является значением по умолчанию и в конфигурации не отображается.
Далее настроим интерфейсы типа bridge для терминации вланов и работы VRRP:
Как видно из конфигурации выше настройки различаются только в части IP-адресов и значения приоритета VRRP.
Настроим роутинг - указываем маршрут по умолчанию и маршрут до подсети первичных адресов ТД:
Настраиваем взаимодействие с радиус-сервером:
Настраиваем функционал wireless-controller:
Обратим внимание в настройках wireless-controller на параметр "vrrp-group 1". Таким образом роутер находящийся в состоянии VRRP master будет передавать информацию о поднятых туннелях для ТД соседу, указанному в настройке "peer-address", а роутер находящийся в состоянии VRRP backup будет формировать туннели для ТД использую полученную информацию.
Настроим файрвол:
Обратим внимание, что для всех зон безопасности в направлении self разрешается прохождение VRRP трафика.
Полная конфигурация ESR будет выглядеть так:
Добавление ESR в дерево EMS
В дерево EMS необходимо добавить оба ESR c реальным адресом интерфейса - 100.123.0.173 и 100.123.0.175 соответсвенно. Адрес VRRP 100.123.0.174 будет использоваться в качестве шлюза для маршрутов к подсетям управления ТД и пользователей WiFi, в EMS он нигде фигурировать не будет.
Добавляем ESR-VRRP-MASTER - открываем EMS, встаем на узел, в который планируем добавить ESR и нажимаем кнопку "+", расположенную вверху слева от дерева узлов:
Рис. 4.
В открывшемся окне, в поле:
- "Имя объекта" - указываем произвольное название ESR "ESR-VRRP-MASTER".
- "Тип" - выбираем тип оборудования, соответствующий используемому типу ESR, в данном примере "ESR1000".
- "IP адрес" - указываем адрес управления ESR "100.123.0.173".
Нажимаем кнопку "Добавить".
После этого необходимо встать на добавленный ESR (если он не появился в дереве - надо нажать вверху кнопку "
" ) и открыть справа вкладку "Доступ":Рис. 5.
В открывшемся окне нажимаем "Редактировать" и редактируем поля:
- "Файловый протокол" - выбираем "FTP".
- "Read community" - указываем имя SNMP RO community, настроенное ранее "public11".
- "Write community" - указываем имя SNMP RW community, настроенное ранее "private1".
- "Получение статуса VRRP" - отмечаем галочкой. Данную настройку требуется обязательно включить при использовании резервирвоания с помощью VRRP для корректной работы функционала по разрушению туннелей к ТД на ESR.
Так же необходимо изменить пароль radius, который будет использоваться при взаимодействии с ESR. Для этого в меню EMS открываем "RADIUS" → "Управление точками доступа". Выбираем добавленный ранее ESR (при большом количестве устройств можно выполнить фильтрацию по IP адресу ESR) и нажимаем кнопку "Редактировать":
Рис. 6.
В открывшемся окне меняем, в поле "Ключ" задаем ранее настроенный на ESR ключ "testing123" и нажимаем "Принять".
Аналогичным образом добавляем ESR-VRRP-BACKUP, используя его реальный адрес 100.123.0.175.
Возможные варианты отказа сети
Ниже будут рассмотрены возможные варианты прохождения трафика пользователя при штатной работе и возникновении аварии на сети.
Рабочее состояние сети
На рис. 7 изображено рабочее состояние сети:
Рис. 7.
Трафик пользователей WiFi, подключенных к SSID, ТД инкапсулирует в GRE, маршрутизируется на ESR VRRP MASTER (который находится в состоянии VRRP MASTER), где происходит декапсуляция трафика. Потом он маршрутизируется в сеть Интернет. ESR VRRP BACKUP в обработке трафика не участвует.
Отказ одного из коммутаторов стека
На рис. 8 изображено состояние при отказе одного из коммутаторов стека, к которому подключены ESR VRRP MASTER и BACKUP:
Рис. 8.
В данной ситуации произойдет отключение одного из физических интерфейсов (gi1/0/1 или gi1/0/2), входящих в port-channel на обоих ESR. Но, т.к. оставшиеся интерфейсы, принадлежщие port-channel, подключенные к другому коммутатору стека останутся в работе - работоспособность схему полностью сохранится, изменений в прохождении трафика по сравнению с состоянием перед аварией не будет.
Отказ ESR, находящегося в состоянии VRRP master
На рис. 9 изображено состояние при отказе ESR, находящегося в состоянии VRRP MASTER:
Рис. 9.
В данной ситуации, ESR VRRP BACKUP, обнаружив отсутствие VRRP анонсов, выполнит переключение в состояние VRRP MASTER и начнет обрабатывать трафик, таким же образом, как ранее это делал VRRP ESR MASTER.
Восстановление после отказ ESR, имеющего более высокий приоритет VRRP
На рис. 10 изображена ситуация, когда ESR VRRP MASTER вернулся в работу после отказа:
Рис. 10.
После восстановления работоспособности и загрузки ESR VRRP MASTER, обнаружив VRRP анонсы от ESR VRRP BACKUP, который находится в состоянии VRRP master, благодаря настройке "vrrp preempt disable" на интерфейсах VRRP, будет находится в состоянии VRRP backup не будет пытаться выполнить захват мастерства. Трафик продолжит проходит преждним образом.
Приложения
На коммутаторах, к которым подключается ESR, может использоваться различные версии семейства протоколов spanning-tree. В этом случае возможна ситуация, что после загрузки ESR, порты коммутатора, в которые он включен не сразу перейдут в состояние "forwarding" и разрешат передачу трафика. ESR при этом успеет перейти в состояние VRRP MASTER, что приведет к тому, что после того как начнется передача трафика, ESR у которого приоритет VRRP выше захватит мастерство. Что бы этого избежать можно использовать два варианта:
- Настройкой со стороны коммутатора разрешить переход портов, к которым подключен ESR, немедленно в состояние "forwarding", либо отключить протокол spanning-tree.
- На всех интерфейсах ESR, использующих протокол VRRP увеличить интервал отправки сообщений командой "vrrp timers advertise" до времени необходимого для перехода в состояние "forwarding" портов коммутатора. Но в результате такой настройки, отказ ESR VRRP MASTER будет обнаружен только через указанный интервал времени, что увеличит время переключения трафика на резервный ESR.
Пример настройки port-channel со стороны коммутатора типа MES: