Лучшие практики и рекомендуемые дизайны по построению...

© 2012 Cisco and/or its affiliates. All rights reserved. 1

Принимайте активное участие в Cisco Expo и получите в подарок Linksys E900.

Как получить подарок:

• внимательно слушать лекции по технологиям Cisco

• посещать демонстрации, включенные в основную программу

• пройти тесты на проверку знаний

Тесты будут открыты:

с 15:00 25 октября по 16:30 26 октября

www.ceq.com.ua

http://www.ceq.com.ua


Cisco Expo 2012

Лучшие практики и рекомендуемые дизайны по построению WAN-сетей на базе возможностей оборудования Сisco

Максим Порицкий cистемный инженер, CCIE R&S

[email protected]


Введение в WAN

Общий дизайн удаленных сайтов

Общий дизайн центрального сайта

Качество обслуживания (QoS)

Позиционирование оборудования

Удаленные сайты – тонкости настройки и лучшие практики

Центральный сайт – тонкости настройки и лучшие практики

Шифрование в WAN


Транспорт, безопасность

Multiprotocol Label Switching (MPLS) Layer 3 VPN + GET VPN

Надежность + гарантия качества

Peer-to-peer VPN-модель (нет выделенных VC, ISP принимает активное участие в маршрутизации трафика)

Для Ent – облако - PE-CE

BGP – распространение маршрутов

VRF – логическая изоляция подсетей

Шифрование трафика

Основной канал

Internet VPN + Dynamic Multipoint VPN (DMVPN)

Надежность + Best-effort

Множество ISP-interconnect

Шифрование трафика

Резервный канал


Отказоустойчивость, безопасность

Обеспечение отказоустойчивости на уровне каналов и/или

Обеспечение отказоустойчивости на уровне устройств

Обеспечение шифрования данных

Сервисы

Все сервисы централизованы в ЦОД-е

Централизованный доступ в Интернет (для web-browsing)

Поддержка IP Multicast

Обеспечение QoS

Топология

Поддержка Hub and spoke и Spoke-to-spoke

SBA (Design Zone for Smart Business Architecture)

Customer access: http://www.cisco.com/go/sba

Partner access: http://www.cisco.com/go/sbachanne

http://www.cisco.com/go/sba

http://www.cisco.com/go/sbachannel


MPLS

Без

резервирования

MPLS WAN

MPLS + Internet

WAN

Internet WAN

Internet

DMVPN

Резервирование

каналов связи

MPLS

MPLS-A MPLS-B

Internet

DMVPN

Internet

(DMVPN-1)

Internet

(DMVPN-2)

Резервирование

каналов связи и

устройств

MPLS

MPLS-A MPLS-B

Internet

DMVPN

Internet

(DMVPN-1)

Internet

(DMVPN-2)


Без резервирования

маршрутизаторов

Vlan64 - data

Vlan69 - voice

802.1q Vlan trunk (64, 69)

No HSRP

Required

Добавили

устройство,

транзитный канал,

FHRP (HSRP)

С резервированием


Vlan64 - data

Vlan69 - voice

Vlan99 - transit

802.1q Vlan trunk (64, 69, 99)

HSRP Vlans

Active

HSRP Router

EIGRP

1 Service = 1 VLAN; 1 VLAN = /24; R-SwTrunk; R – sub int Def GW

FHRP = HSRP, VRRP, GLBP; R1 - R2 EIGRP


Доступ

IP: 10.0.0.1

MAC: aaaa.aaaa.aa01

GW: 10.0.0.10

ARP: 0000.5e00.0101

IP: 10.0.0.2

MAC: aaaa.aaaa.aa02

GW: 10.0.0.10

ARP: 0000.5e00.0101

VRRP

ACTIVE VRRP

BACKUP

IP: 10.0.0.254

MAC: 0000.0c12.3456

vIP: 10.0.0.10

vMAC: 0000.5e00.0101

IP: 10.0.0.253

MAC: 0000.0C78.9abc

vIP:

vMAC:

R1 R2

Стандарт IETF RFC 2338 (Апрель 1998)

Группа маршрутизаторов работает как один виртуальный с одним виртуальным IP адресом и MAC адресом

Один (master) маршрутизатор пересылает пакеты для/из локальной сети

Остальные маршрутизаторы работают как резервные

Используйте VRRP, если требуется поддержка оборудования других производителей

R1—Master, пересылает трафик;

R2—Backup


Доступ

IP: 10.0.0.1

MAC: aaaa.aaaa.aa01

GW: 10.0.0.10

ARP: 0000.5e00.0101

IP: 10.0.0.2

MAC: aaaa.aaaa.aa02

GW: 10.0.0.10

ARP: 0000.5e00.0101

HSRP

ACTIVE

HSRP

BACKUP

IP: 10.0.0.254

MAC: 0000.0c12.3456

vIP: 10.0.0.10

vMAC: 0000.5e00.0101

IP: 10.0.0.253

MAC: 0000.0C78.9abc

vIP:

vMAC:

R1 R2

Группа маршрутизаторов работает как один виртуальный с одним виртуальным IP адресом и MAC адресом

Один (active) маршрутизатор пересылает пакеты для/из локальной сети

Остальные маршрутизаторы работают как горячий резерв

Используйте HSRP, если только Cisco-сеть и интересуют дополнительные возможности

HSRP preemption (standby 1 preempt) позволит standby снова стать active в случае high priority

R1—Master, пересылает трафик;

R2—Backup


Доступ

IP: 10.0.0.1

MAC: aaaa.aaaa.aa01

GW: 10.0.0.10

ARP: 0000.5e00.0101

IP: 10.0.0.2

MAC: aaaa.aaaa.aa02

GW: 10.0.0.10

ARP: 0000.5e00.0102

IP: 10.0.0.254

MAC: 0000.0c12.3456

vIP: 10.0.0.10

vMAC: 0000.5e00.0101

IP: 10.0.0.253

MAC: 0000.0C78.9abc

vIP: 10.0.0.10

vMAC: 0000.5e00.0102

R1 R2

R1- AVG; R1, R2 – оба пересылают трафик;

GLBP AVG/AVF,

SVF

GLBP AVF,

SVF

Все преимущества HSRP + балансировка нагрузки между шлюзами использует всю доступную полосу

Группа маршрутизаторов работают как один виртуальный, разделяют один виртуальный IP адрес, но используют несколько виртуальных MAC адресов

Позволяют трафику из одной подсети использовать несколько шлюзов по умолчанию с одним виртуальным IP адресом


Без резервирования


С резервированием


Добавили уровень

агрегации, транзитный

канал (для сайта с

резервированием

устройств)

802.1q trunk (50)

Vlan50 – router 1 link

802.1q trunk (xx-xx) 802.1q trunk (xx-xx)

data

voice

data

voice

802.1q trunk (54,99) 802.1q trunk (50,99)



Vlan99 – transit

802.1q trunk (xx-xx) 802.1q trunk (xx-xx)

data

voice

data

voice

R-Distr Sw Etherchannel; Distr Sw – L3/L2 demarcation point

R1 – R1 – Dist SW EIGRP; Dist SW - SVI Def GW


BGP AS = 65511

MPLS A

AS 65401

MPLS B

AS 65402

ISP A / ISP B

DMVPN Hub Routers

Internet Edge

DMVPN 1

EIGRP (200)

default

DMVPN 2

EIGRP (201)

MPLS CE Routers

EIGRP

BGP

EIGRP

BGP

EIGRP

EIGRP

eBGP eBGP

iBGP

WAN Distribution Layer / Core

Варианты дизайна (основной-резервный канал): MPLS1+MPLS2, Internet1+Internet2, MPLS+Internet (основной-резервный канал)

MPLS

PE-CE = BGP (OSPF, EIGRP)

Private AS

iBGP – между CE для корректной маршрутизацииВзаимная редистрибьюция


BGP AS = 65511

MPLS A

AS 65401

MPLS B

AS 65402

ISP A / ISP B

DMVPN Hub Routers

Internet Edge

DMVPN 1

EIGRP (200)

default

DMVPN 2

EIGRP (201)

MPLS CE Routers

EIGRP

BGP

EIGRP

BGP

EIGRP

EIGRP

eBGP eBGP

iBGP

WAN Distribution Layer / Core

Internet

Шифрование – DMVPN-туннели

VPN HUB – внутри туннеля – EIGRP (каждый EIGRP имеет свой уникальный №

процесса)

EIGRP в центре - № процесса = 100

Взаимная редистрибьюция

DMVPN Backup Shared или DMVPN Backup Dedicated DMZ Internet


Traffic Profiles and Requirements

• Latency ≤ 150 ms

• Jitter ≤ 30 ms

• Loss ≤ 1%

• Bandwidth (30-128Kbps)

One-Way Requirements

Smooth

Benign

Drop sensitive

Delay sensitive

UDP priority

Voice

Bandwidth per Call Depends on Codec, Sampling-Rate, and Layer 2 Media

Bursty

Drop sensitive

Delay sensitive

Jitter sensitive

UDP priority

Telepresence

Latency ≤ 200 ms

Jitter ≤ 20 ms

Loss ≤ 0.10%

Bandwidth (5.5-16Mbps)


HD/VC has Tighter Requirements than VoIP in terms of jitter, and BW varies based on the resolutions

Smooth/bursty

Benign/greedy

Drop insensitive

Delay insensitive

TCP retransmits

Data

Data Classes:

Mission-Critical Apps

Transactional/Interactive Apps

Bulk Data Apps

Best Effort Apps (Default)

Traffic patterns for Data Vary Among Applications

Bursty

Greedy

Drop sensitive

Delay sensitive

UDP priority

SD Video Conf

Latency ≤ 150 ms

Jitter ≤ 30 ms

Loss ≤ 0.05%

Bandwidth (1Mbps)


SD/VC has the Same Requirements as VoIP, but Has Radically Different Traffic Patterns (BW Varies Greatly)

QoS для “management и network control” MUST !!!


Type of service (ToS) Field – 8 бит (RFC 791) в заголовке IP

Precedence – 3 бита - важность и приоритет пакета

TOS - 3 бита индикация запроса - throughput, delay, reliability

MBZ – 2 бита (0 – не используется)


Differentiated Services (DS) Field – 8 бит (RFC 2474) в заголовке IP

Differentiated Services Code Point (DSCP) – 6 бит (важность и приоритет пакета)

Explicit Congestion Notification (ECN) - 2 бита (RFC 3168) – индикация о перегрузке сети – редко используется

На границе сети осуществляется анализ значения DSCP и обеспечение соответствующего сервиса


Packets In

Packets Out

Tx-Ring

IOS Interface Buffers

If the Tx-Ring is filled to capacity,

then the IOS software knows that the interface

is congested and it should activate any

LLQ/CBWFQ policies that have been

applied to the interface

IOS QoS Mechanisms and Operation Tx-Ring Operation

The default value of the Tx-Ring varies according to platform and link type

and speed


CBWFQ (class-map) – создание классов сервисов + ассоциация специфического трафика

Маркировка осуществляется как можно ближе к источнику (на оборудовании LAN)

match = DSCP или protocol


policy-map – комбинация различных классов сервисов с определением их характеристик:

Назначение приоритетной очереди для класса (LLQ - priority)

Определение BW для класса

Механизм уведомления о перегрузке (random-detect)


Packets In

Packets Out

IOS Interface Buffers

Tx-Ring

CBWFQ

Scheduler

LLQ

1 Mbps

VoIP

Policer

FQ

Pre-Sorters CBWFQ

IOS QoS Mechanisms and Operation (Single) LLQ Operation

policy-map LLQ

class VOIP

priority 1000

…


Bulk Data CBWFQ

Fair-

Queue

Pre-

Sorter

AF13 Minimum WRED Threshold:

Begin randomly dropping AF13 Packets





Maximum WRED Thresholds for AF11, AF12 and AF13 are set to the tail of the queue in this example

Front

of

Queue

Tail

of

Queue

Direction

of

Packet

Flow

IOS QoS Mechanisms and Operation DSCP-Based WRED Operation

policy-map BULK-WRED

class BULK

bandwidth percent 10

random-detect dscp-based


BW физического интерфейса ≠ BW заказчика

ISP выделает (продает) часть BW физического интерфейса

Policers (на стороне ISP) обычно удаляет пакеты

Shapers (на стороне заказчика )обычно пытается сгладить всплески за счет буферизации излишнего трафика

Иерархия в рамках доступной BW (родительская policy), ссылка на дочернюю policy (hierarchical policy )


With Traffic Shaping

Without Traffic Shaping Line Rate

Shaped Rate

Traffic Shaping Limits the Transmit Rate to a Value Lower Than Line Rate


IP HDR GRE

HDR

IP HDR

IP Payload

IPSec Tunnel mode

GRE Tunnel

IP Payload

IP Payload

ESP HDR IP HDR ESP

Trailer

ESP

Auth IP HDR

IP HDR

DS

CP

DSCP is copied to the

new IP Header

DS

CP

DS

CP

DS

CP

DS

CP

QoS classification/marking must occur before encryption !

QOS pre-classify is needed only if QOS classification requires Layer 3 and 4 information is needed for packet classification. This is need because original header fields for port numbers are encrypted.


Классифицировать и маркировать – ближе к источнику

Не доверять пользовательским маркировкам

Использовать DSCP вместо IP Precedence– 64 vs 8

1-8 классов трафика

Ограничивать (police) нежелательный трафик ближе к источнику vs FW

Внедрять QoS где возможны скопления – oversubscription speed vs WAN Edge

Strict Priority – не более 33% от общей BW

Best Effort class – default class - не более 25% от общей BW

Использовать WRED для всех TCP-потоков для раннего предотвращения скоплений (DSCP-based WRED)


WA

N A

ccess S

peed

Wit

h S

ervic

es

1941/2901

2911

2921

2951

3925

3945

150 Mb 100 Mb 75 Mb 50 Mb 35 Mb 25 Mb

3945E

3925E

250 Mb 350 Mb 2- 15 Mb

8XX

* При обработки Internet mix (IMIX) трафика с

включенными сервисами (Sec, QoS,

маршрутизация) и загрузкой CPU не более 75

процентов

15 Mb

1921


Поддержка RPS

Поддержка 3G модема

WAN/LAN интерфейсные карты – 16-48 FE/GE, SFP, PoE

Сервисные модули: Wireless Controller, WAAS, CUME, SRST, CUE, NAM

DSP-ресурсы для локальной обработки голоса и видео конференции

Поддержка SRE-модулей, блейд-серверов пользовательские приложения

Поддержка шифрования на базе ДСТУ 28147:2009 (конфіденційна, що не є власністю держави)


Помимо BW (производительность)

Кол-во подключаемых сайтов

Максимальная отказоустойчивость


2 маршрутизатора, 2 канала связи, только Access Layer

Задействовано 2 протокола маршрутизации (в сторону WAN)

Необходим протокол маршрутизации (в сторону клиентов)

Active HSRP – всегда имеет информацию о всех маршрутах

Необходима “One Way Route Redistribution”

MPLS VPN

DMVPN

Internet

EIGRP (200)

eBGP

EIGRP (100)

BGP

EIGRP

EIGRP

EIGRP

BGP

Summary EIGRP

Summary

One Way Route Redistribution

Анонсирование всех необходимых подсетей (network)

Минимизация соседских интерфейсов (passive-interface)

Суммаризация подсетей (ip summary-address, aggregate-address)

Summary Routes Make Two-

Way Redistribution Unnecessary


Vlan64 - data

Active HSRP Router

Remote Site

D EX 10.5.192.0/21 [170/xxxx] via 10.5.52.3

10.5.52.0/24

(.2) (.3)

(.1)

Gig0/1.64 Gig0/1.64 2. Пакет принимается R1 на Gig 0/1.64

R1 R2 1. Узел посылает пакет к HSRP

active (10.5.52.1)

4. R1 посылает пакет к 10.5.52.3, через Gig0/1.64 (hairpin out same intf)

3. R1 выполняет route lookup, определяет next hop 10.5.52.3

6. Пакет перенаправляется в WAN к конечному удаленному узлу

5. Пакет принимается R2 на Gig 0/1.64 Узел посылает данные

удаленному узлу

(10.5.52.10 → 10.5.192.10)

10.5.52.10/24

10.5.192.0/21 MPLS A

AS 65401 MPLS B

AS 65402

MPLS B

AS 65402


Vlan64 - data

Active HSRP Router

D EX 10.5.192.0/21 [170/xxxx] via 10.5.48.2

10.5.48.0/30

(.2) (.3)

(.1)

Gig0/1.64 Gig0/1.64

2. Пакет принимается R1 на Gig 0/1.64

R1 R2 1. Узел посылает пакет к HSRP

active (10.5.52.1)

4. R1 посылает пакет к 10.5.48.2, через Gig 0/1.99

3. R1 выполняет route lookup, определяет next hop 10.5.48.2

6. Пакет перенаправляется в WAN к конечному удаленному узлу

5. Пакет принимается R2 на Gig 0/1.99

Vlan99 - transit

(.1) (.2)

10.5.52.0/24

Узел посылает данные


(10.5.52.10 → 10.5.192.10)

10.5.52.10/24

Gig0/1.99 Gig0/1.99

MPLS A

AS 65401 MPLS B

AS 65402

Remote Site

10.5.192.0/21

MPLS B

AS 65402


IP SLA (IP service-level agreement) – генерация трафика и посылка его удаленному узлу

Обычное IP устройство (ICMP reply) - доступность

Cisco устройство (IP SLA responder) – доступность, delay, jitter и т.д.

EOT (Enhanced Object Tracking) – отслеживание состояния объектов (interface line protocol, IP route reachability, IP SLA и т.д.) и выполнение запланированных действий

IP SLA + EOT + HSRP – оптимизация времени сходимости в случае сбоя на WAN


Vlan64 - data

Active HSRP Router

10.5.48.0/30

(.2) (.3)

(.1)

Gig0/1.64 Gig0/1.64

R1 R2 Vlan99 - transit

(.1) (.2)

192.168.3.26

R1#

ip sla 100

icmp-echo 192.168.3.26 source-interface

GigabitEthernet0/0

timeout 1000

threshold 1000

frequency 15

ip sla schedule 100 life forever start-

time now

track 50 ip sla 100 reachability

interface GigabitEthernet0/1.64

encapsulation dot1Q 64

ip address 10.5.52.2 255.255.255.0

standby 1 ip 10.5.52.1

standby 1 priority 110

standby 1 preempt

standby 1 track 50 decrement 10

R2#



ip address 10.5.52.3 255.255.255.0



standby 1 preempt

B* 10.4.0.0/20 [20/0] via 192.168.3.26



(10.5.52.10 → 10.4.0.X)


R1#

ip sla 100


GigabitEthernet0/0

timeout 1000

threshold 1000

frequency 15

ip sla schedule 100 life forever start-

time now




ip address 10.5.52.2 255.255.255.0



standby 1 preempt

standby 1 track 50 decrement 10

R2#



ip address 10.5.52.3 255.255.255.0



standby 1 preempt

B* 10.4.0.0/20 [20/0] via 192.168.3.26

192.168.3.26 IP SLA

Probe

R1

Gig0/0



(10.5.52.10 → 10.4.0.X)


Vlan64 - data

Active HSRP Router

10.5.48.0/30

(.2) (.3)

(.1)

Gig0/1.64 Gig0/1.64

R1 R2 Vlan99 - transit

(.1) (.2)

R2# show standby brief

Interface Grp Pri P State Active Standby Virtual IP

Gi0/1.64 1 105 P Active local 10.5.52.2 10.5.52.1

D EX 10.4.0.0/20 [170/xxxx] via 10.4.34.1

10.4.34.1

R1#

08:59:00.117: %TRACKING-5-STATE: 50 ip sla 100 reachability Up->Down

08:59:01.321: %HSRP-5-STATECHANGE: GigabitEthernet0/1.64 Grp 1 state Active->Speak

08:59:12.569: %HSRP-5-STATECHANGE: GigabitEthernet0/1.64 Grp 1 state Speak->Standby

192.168.3.26 IP SLA

Probe

R1

Gig0/0


Vlan64 - Data

R1#

ip sla 100


GigabitEthernet0/0

timeout 1000

threshold 1000

frequency 15

ip sla schedule 100 life forever start-time now


event manager applet ACTIVATE-3G

event track 60 state down

action 1 cli command "enable"

action 2 cli command "configure terminal"

action 3 cli command "interface cellular0/0/0"

action 4 cli command "no shutdown"

action 5 cli command "end"

action 99 syslog msg "Activating 3G interface"

IP SLA

Probe

No HSRP

Required

Ce0/0/0

3G Wireless WAN

R1

R1#

14:22:14: %TRACKING-5-STATE: 60 ip sla 100 reachability Up->Down

14:22:14: %SYS-5-CONFIG_I: Configured from console by on vty0(EEM:ACTIVATE-3G)

14:22:14: %HA_EM-6-LOG: ACTIVATE-3G: Activating 3G interface

14:22:34: %LINK-3-UPDOWN: Interface Cellular0/0/0, changed state to up

14:22:34: %DIALER-6-BIND: Interface Ce0/0/0 bound to profile Di1

14:22:34: %LINEPROTO-5-UPDOWN: Line protocol on Interface Cellular0/0/0, changed state to up

14:22:40: %LINEPROTO-5-UPDOWN: Line protocol on Interface Tunnel10, changed state to up

14:22:40: %CRYPTO-6-ISAKMP_ON_OFF: ISAKMP is ON

14:22:42: %DUAL-5-NBRCHANGE: EIGRP-IPv4 200: Neighbor 10.4.34.1 (Tunnel11) is up: new adjacency


Vlan64 - Data

R1#

event manager applet TIME-OF-DAY-ACTIVATE-3G

event timer cron cron-entry "45 4 * * 1-5"




action 4 cli command "no shutdown"


action 99 syslog msg "M-F @ 4:45AM Activating 3G int“

event manager applet TIME-OF-DAY-DEACTIVATE-3G

event timer cron cron-entry "15 18 * * 1-5"




action 4 cli command "shutdown"


action 99 syslog msg "M-F @ 6:15PM Deactivating 3G int"

No HSRP

Required

Ce0/0/0

VP

N T

unnel

3G Wireless WAN

R1


По умолчанию BGP переанонсирует изученные маршруты dual-MPLS design MPLS-A MPLS-B

Dual-carrier сайты сбой у ISP Site 1 транзитный для узлов MPLS B

транзитные потоки перегрузка каналов

AS-Path фильтрация только локальные маршруты анонсируются

MPLS B

Campus

iBGP

MPLS A

Удаленные сайты не должны быть транзитными для трафика

iBGP

R1 R2 R1

router bgp 65511

neighbor 192.168.4.10 route-map NO-TRANSIT-AS out

!

ip as-path access-list 10 permit ^$

!

route-map NO-TRANSIT-AS permit 10

match as-path 10

Site 1 Site 2


router eigrp 200

eigrp stub connected summary

DMVPN

Campus

EIGRP

DMVPN

iBGP

Dual-carrier сайты Stub routing стабильность, меньше ресурсов, проще конфигурация

Stub routing только локальные и суммарные маршруты анонсируются предотвращается транзит через spoke сайт

Stub Routing – улучшение стабильности сети и предотвращение транзита

R1 R1

EIGRP


Internet MPLS VPN

DMVPN

EIGRP (200)

Логический интерфейс /32 всегда UP

Используйте loopback интерфейсы как:

router-id

snmp-server trap-source Loopback0

ip ssh source-interface Loopback0

ip pim register-source Loopback0

ip tacacs source-interface Loopback0

ntp source Loopback0

Не забыть анонсировать Loopback !

interface Loopback0

ip address 10.255.251.201 255.255.255.255

router bgp 65511

bgp router-id 10.255.251.201

network 10.255.251.201 mask 255.255.255.255

neighbor 192.168.3.22 remote-as 65401

Loopback

router eigrp 200

network 10.255.0.0 0.0.255.255

eigrp router-id 10.255.251.201

All Loopbacks


MPLS VPN

DMVPN

Internet

EIGRP (200)

eBGP

EIGRP (100)

R1 R2

interface Loopback0

ip address 10.5.48.254 255.255.255.255

router bgp 65511

bgp router-id 10.5.48.254

network 10.5.52.0 mask 255.255.255.0

network 10.5.53.0 mask 255.255.255.0

network 192.168.3.20 mask 255.255.255.252

aggregate-address 10.5.48.0 255.255.248.0 summary-only


no auto-summary

interface Loopback0

ip address 10.5.48.253 255.255.255.255

router eigrp 200

network 10.4.34.0 0.0.1.255

network 10.5.0.0 0.0.255.255

passive-interface default

no passive-interface Tunnel10



interface Tunnel10

ip summary-address eigrp 200 10.5.48.0

255.255.248.0

BGP

summary

Анонсировать loopback-интерфейсы при суммаризации

Суммарные анонсы одинаковые на R1 и R2

Основной канал рабочий оба loopback-интерфейса достижимы через основной канал

Анонс суммарных маршрутов через оба канала лучший путь через основной канал

EIGRP

summary


MPLS VPN

DMVPN

Internet

EIGRP (200)

eBGP

R1 R2

interface Loopback0

ip address 10.5.48.254 255.255.255.255

router bgp 65511


network 10.5.52.0 mask 255.255.255.0

network 10.5.53.0 mask 255.255.255.0

network 192.168.3.20 mask 255.255.255.252



no auto-summary

interface Loopback0

ip address 10.5.48.253 255.255.255.255

router eigrp 200

network 10.4.34.0 0.0.1.255

network 10.5.0.0 0.0.255.255





interface Tunnel10


255.255.248.0

EIGRP

summary

Сбой основного канала резервный канал рабочий оба loopback-интерфейса достижимы через резервный канал

EIGRP (100)


MPLS VPN

DMVPN

Internet

EIGRP (200)

eBGP

R1 R2

interface Loopback0

ip address 10.5.48.254 255.255.255.255

router bgp 65511


network 10.5.52.0 mask 255.255.255.0

network 10.5.53.0 mask 255.255.255.0

network 192.168.3.20 mask 255.255.255.252



no auto-summary

interface Loopback0

ip address 10.5.48.253 255.255.255.255

router eigrp 200

network 10.4.34.0 0.0.1.255

network 10.5.0.0 0.0.255.255





interface Tunnel10


255.255.248.0

EIGRP

summary BGP

summary

Сбой канала между R1 и R2

Основной канал рабочий оба loopback-интерфейса достижимы через основной канал

Анонс суммарных маршрутов через оба канала лучший путь через основной канал

Однако! R2 loopback будет недостижим трафик от HQ сайта через основной канал на R1 не достигнет loopback R2

EIGRP (100)


MPLS VPN

DMVPN

Internet

EIGRP (200)

eBGP

Используйте “LAN” протокол маршрутизации для анонса R2 loopback к R1 (и R1 loopback к R2)

R1 R2

interface Loopback0

ip address 10.255.253.203 255.255.255.255

router eigrp 100

network 10.255.253.203 0.0.0.0


interface Loopback0

ip address 10.255.251.203 255.255.255.255

router eigrp 100

network 10.255.251.203 0.0.0.0


EIGRP

summary BGP

summary

Взаимная информированность о Loopback-интерфейсах

EIGRP (100)


MPLS VPN

DMVPN

Internet

EIGRP (200)

eBGP

BGP

EIGRP

EIGRP

EIGRP

router bgp 65511

bgp router-id 10.255.251.203

network 10.255.251.203 mask 255.255.255.255

network 10.255.253.203 mask 255.255.255.255

router eigrp 200

network 10.255.0.0 0.0.255.255

redistribute eigrp 100 route-map LOOPBACK-ONLY


eigrp stub connected summary redistributed

ip access-list standard R1-LOOPBACK

permit 10.255.251.203

route-map LOOPBACK-ONLY permit 10

match ip address R1-LOOPBACK

R1 R2

Оба loopback интерфейса должны быть явно указаны в BGP конфигурации

Правили синхронизации в BGP анонс через R1 loopback R2 только если он подтвержден EIGRP

Если канал между R1 и R2 нарушен loopback R1 доступен через R1, loopback R2 доступен через R2

Двусторонняя редистрибьюция требуется на R2, но только loopback интерфейсы должны редистрибьютится от LAN в WAN

EIGRP

summary BGP

summary

Решение проблемы доступности loopback R2 при аварии на канале R1-R2

EIGRP (100)

Summary Routes Make Two-

Way Redistribution Unnecessary


Управление устройством через шифрованные средства

SSH and HTTPS – использовать безопасные (шифрование) протоколы

Небезопасные средства выключить – Telnet, HTTP

Для управления устройством NMS

SNMP(v2c) should be configured for both a read-only and a read-write community string

snmp-server community cisco*7^%# RO

snmp-server community cisco123^&*% RW

ip domain-name cisco.local

ip ssh version 2

no ip http server

ip http secure-server

line vty 0 15

transport input ssh


Управление устройством (SSH and HTTPS) контролируется централизованной системой AAA

Основная система TACACS+ , резервная – локальная база на устройстве

enable secret c1sco123

service password-encryption

!

username admin password c1sco123

aaa new-model

aaa authentication login default group tacacs+ local

aaa authorization exec default group tacacs+ local

aaa authorization console

ip http authentication aaa

tacacs-server host 10.4.48.15 key SecretKey123$#@%


Troubleshooting a network event требует корреляции между разными устройствами (switches and routers)

Обеспечьте синхронизацию времени и временной зоны с NTP сервером

Configure console messages, logs, and debug output to provide time stamps

SiSi SiSi

SiSiSiSi

SiSiSiSi

SiSiSiSi

NTP Server IP Addr: 10.4.48.17

ntp server 10.4.48.17

!

clock timezone PST -8

clock summer-time PDT recurring

!

!

service timestamps debug datetime msec localtime

service timestamps log datetime msec localtime


Важно осуществлять суммаризацию на уровне распределения/ядра центрального сайта в сторону “Edge WAN” и в сторону “campus & data center”

В сторону “Edge WAN” анонсировать также default

Суммаризация уменьшает потребление BW, CPU, memory; ускоряет сходимость

10.4.0.0/16 – подсеть центрального сайта

10.5.0.0/16 – подсеть удаленных сайтов

MPLS B MPLS A

Campus/

Data Center

Summaries

(10.4.0.0/16)

+

Default

(0.0.0.0/0.0.0.0)

Summary

(10.5.0.0/16)


Administrative distance – выбор лучшего маршрута для одинаковых подсетей (маршрутов)

Разные протоколы маршрутизации – разные AD

Выбор лучшего маршрута для разных протоколов маршрутизации

Диапазон administrative distance 1 – 255 Приоритет у минимального значения

Метрики – выбор между одинаковыми протоколами маршрутизации

Протокол маршрутизации

Default

Distance

Connected Interface 0

Static Route 1

EIGRP Summary Route 5

BGP external (eBGP) 20

EIGRP internal 90

OSPF 110

IS-IS 115

RIP 120

EIGRP External 170

BGP Internal (iBGP) 200

Unknown 255


10.0.14.0/24 10.0.14.0/25 10.0.14.0/24

EIGRP OSPF OSPF

2 идентичных маршрута

EIGRP Internal = 90

OSPF = 110

router#show ip route 10.0.14.0 255.255.255.0 longer-prefixes

10.0.0.0/8 is variably subnetted, 16 subnets, 3 masks

O IA 10.0.14.0/25 [110/40] via 10.0.67.6, 00:02:02, Ethernet0/1

D 10.0.14.0/24 [90/358400] via 10.0.37.3, 2d12h, Ethernet0/0

Как происходит

определение лучшего

маршрута ?

Сравниваются только

идентичные маршруты (с

одинаковой длиной маски)

Одинаковые маршруты с

разной длиной маски -

неидентичные маршруты

Маршруты с минимальным

значением AD находятся в

таблице маршрутизации

1 неидентичный маршрут


weight parameter should always be used to influence BGP routing decision !

BGP Prefers Path with: Highest Weight (default value of weight is 0 and the range is from 0 to 65535)

Highest Local PREF

Locally originated via network or aggregate BGP

Shortest AS_PATH

Lowest Origin type

IGP>EGP>INCOMPLETE

Lowest MED

eBGP over iBGP paths

Lowest IGP metric to BGP next hop


EIGRP использует композитную метрику

EIGRP Metric = 256*([K1*Bw + K2*Bw/(256-Load) + K3*Delay]*[K5/(Reliability + K4)])

Bandwidth [Bw] – минимальная BW на всем пути

Delay – суммарная задержка на всем пути

Load (1-255)

Reliability (1-255)

MTU (minimum along path)

По умолчанию: (K1=K3=1; K2=K4=K5=0)

EIGRP Metric = 256 * (bandwidth + delay)

Delay parameter should always be used to influence EIGRP routing decision !


BGP AS = 65511

MPLS A

AS 65401

DMVPN Hub

Router

DMVPN 1

EIGRP (100)

MPLS CE Router

EIGRP

EIGRP

eBGP

WAN Distribution

Layer

D 10.5.48.0/21 [90/xxxxx] via 10.4.32.18

10.5.48.0/21

Remote Site

10.4.32.18

Mutual Route Redistribution

Вариант неправильного выбора основного маршрута (через DMVPN) при Dual-Path дизайне

eBGP маршруты редистр. в EIGRP 100 как внешние маршруты с AD = 170

Если EIGRP AS для центрального сайта = EIGRP AS DMVPN сети путь через DMVPN (Internet) приоритетнее (AD = 90) чем через WAN (MPLS)

EIGRP

eBGP


BGP AS = 65511

MPLS A

AS 65401

DMVPN Hub

Router

DMVPN 1

EIGRP (200)

MPLS CE Router

EIGRP

BGP

eBGP

WAN Distribution

Layer

D EX 10.5.48.0/21 [170/34304] via 10.4.32.2

EIGRP

EIGRP

10.5.48.0/21

Remote Site

10.4.32.2

MPLS CE router#

router eigrp 100

default-metric 1000000 10 255 1 1500

EIGRP исп. bandwidth и delay метрики в случае идентичности prefix и AD

Если маршруты от обоих WAN источников = equal-cost paths исп. EIGRP delay для правильного выбора пути (через MPLS)

DMVPN hub router#

router eigrp 100

redistribute eigrp 200

Вариант правильного выбора основного маршрута (через MPLS) при Dual-Path дизайне

Разные EIGRP AS процессы для контроля над маршрутной информацией: - EIGRP AS100 – HQ, - EIGRP AS200 – DMVPN туннель

Маршруты EIGRP 200 редистр. в EIGRP 100 D EX (AD = 170)


D EX 10.5.48.0/21 [170/xxxx] via 10.4.32.1

DMVPN Hub

Router

DMVPN 1

EIGRP (200)

EIGRP

BGP

eBGP

WAN Distribution Layer

EIGRP

EIGRP

10.4.32.1

D EX 10.5.48.0/21 [170/xxxx] via 10.4.32.18

10.4.32.18

В случае сбоя WAN-канала, MPLS CE использует альтернативный путь к remote сайту через distribution layer (EIGRP route)

Маршрут удаленного сайта редистр. в BGP с weight = 32768

MPLS CE Router

Нужно ли контролировать маршрутную информацию при Dual-Path дизайне ?

10.5.48.0/21

Remote Site

BGP AS = 65511

MPLS A

AS 65401


D EX 10.5.48.0/21 [170/xxxx] via 10.4.32.1

DMVPN Hub

Router

DMVPN 1

EIGRP (200)

EIGRP

BGP

eBGP

WAN Distribution

Layer

EIGRP

EIGRP

10.4.32.1

D EX 10.5.48.0/21 [170/xxxx] via 10.4.32.18

10.4.32.18

После восстановления WAN-канала, MPLS CE получает BGP уведомления о маршрутах удаленного сайта

Какой из 2-х BGP-маршрутов окажется в таблице маршрутизации ?

MPLS CE Router

B 10.5.48.0/21 [20/0] via 192.168.3.2

192.168.3.2

Маршрут через WAN Distribution !

X


10.5.48.0/21

Remote Site

BGP AS = 65511

MPLS A

AS 65401


DMVPN Hub

Router

DMVPN 1

EIGRP (200)

EIGRP

BGP

eBGP

WAN Distribution

Layer

EIGRP

EIGRP

10.4.32.1

После восстановления WAN-канала, distribution layer маршрут останется в таблице из-за BGP weight 32768 > 0

MPLS CE Router

CE-1#show ip bgp 10.5.48.0 255.255.248.0

BGP routing table entry for 10.5.48.0/21, version 1293

Paths: (3 available, best #3, table default)

Advertised to update-groups:

4 5

65401 65401, (aggregated by 65511 10.5.48.254)

192.168.3.2 from 192.168.3.2 (192.168.100.3)

Origin IGP, localpref 100, valid, external, atomic-aggregate

Local

10.4.32.1 from 0.0.0.0 (10.4.32.1)

Origin incomplete, metric 3584, localpref 100, weight 32768, valid, sourced, best

eBGP route

(no weight

defined)


10.5.48.0/21

Remote Site

BGP AS = 65511

MPLS A

AS 65401


router eigrp 100

distribute-list route-map BLOCK-TAGGED-ROUTES in

default-metric [BW] 100 255 1 1500

redistribute bgp 65511

route-map BLOCK-TAGGED-ROUTES deny 10

match tag 65401 65402

route-map BLOCK-TAGGED-ROUTES permit 20

Проводить настройку атрибутов (weight)

neighbor 10.4.142.2 weight 35000

Использовать iBGP

При редистр. BGPEIGRP маршруты содержат

Route tag самой последней AS

Использовать route-map для блокировки WAN

маршрутов при редистрибьюции BGPEIGRP

(MPLS маршруты всегда известны через iBGP)

MPLS B

AS 65402 MPLS A

AS 65401

Campus/

Data Center

EIGRP routes

from

distribution

layer iBGP


Варианты решения


Трафик данных + критические приложения

Централизация ресурсов Cloud-based IT services и cloud computing

Безопасность целостность, конфиденциальность, доступность

Internet + crypto MPLS + crypto

Голос + видео: one-to-many (i.e., Internet broadcast) and many-to-many (i.e., conferencing)


Поддержка IPSec-ом только IP Unicast

Возможность GRE инкапсулировать Broadcast и Multicast, динамические протоколы

маршрутизации

Один GRE интерфейс (своя подсеть) на HUB для каждого SPOKE

Все туннели должны быть предварительно настроены

Используются статический IP-адреса SPOKE для установления туннеля

Добавление SPOKE требует конфигурации HUB

Spoke-to-spoke траффик через HUB

Пример конфигурации для Hub:

1 интерфейс/sub-интерфейс для 250 spokes 250 интерфейсов

7 строк для каждого из 250 spokes 1750 строк

Подсеть 4 IP адреса для каждого из 250 spokes 1000 адресов


Один mGRE интерфейс (одна подсеть) на HUB для всех SPOKE

Динамически создаваемые туннели между SPOKE

Используются динамические IP-адреса (DHCP) SPOKE для установления туннеля

(через NHRP), HUB (Static IP) Поддержка NAT

Добавление SPOKE не требует конфигурации HUB

Spoke-to-spoke траффик через HUB или напрямую

Пример конфигурации для Hub:

1 интерфейс для 250 spokes 1 интерфейс

Конфигурация (вкл. NHRP) для 250 spokes 15 строк

Все 250 spokes в одной подсети 250 адресов


DMVPN это:

Туннельная технология, Internet – как WAN транспорт

Next Hop Resolution Protocol (NHRP) – протокол, создающий распределенную БД

соответствия туннелей интерфейсов (внутренних) и реальных IP-адресов

(внешних)

Multipoint GRE туннельный интерфейс – множество туннелей GRE и IPSec на

одном физическом интерфейсе

Выгоды

Производительность, масштабируемость

Организация full-mesh (spoke-to-spoke) по требованию

Упрощенная и уменьшенная конфигурация

Простота внедрения - "Zero-touch” HUB внедрение при добавлении spoke

Уменьшение latency и сохранение BW


Объекты (HUB, SPOKE)

Типы туннелей

IP-адресация


Регистрация SPOKE (NHC) на HUB (NHS) – одинаковый ID, key в DMVPN облаке

Обмен туннельными и внешними адресами

Объекты (NHRP Mapping table)

NHRP cache – holdtime

Установленииe GRE-туннеля HUB-SPOKE


Обмен маршрутной информацией через туннель между SPOKE и HUB

Формирование таблиц маршрутизации, соседства outbound interface + IP next hop

CEF FIB + CEF Adj NHRP int NHRP Mapping для IP next hop

на SPOKE большая таблица маршрутизации SUMM route from HUB актуальность

SUMM route from HUB или default to SPOKE

От HUB к SPOKE NHRP redirect (c указанием destination IP подсети)


SPOKE NHRP resolution запрос для destination IP подсети

SPOKE (c destination IP подсети) resolution ответ со своим IP

Control и Multicast трафик - через HUB

Unicast трафик - SPOKE-to-SPOKE


Maximum transmission unit (MTU) = 1500 байт; > MTU IP fragmentation

IP fragmentation влияние на производительность (CPU, memory)

Потеря 1 fragment из datagram вся IP datagram пересылается

Динамические методы определения MTU – блокировка устройствами безопасности

Регулируйте TCP maximum segment size (MSS) на WAN-маршрутизаторе:

ip mtu 1400

ip tcp adjust-mss 1360 (IP заголовок = 20 байт + TCP заголовок = 20 байт)

MSS - the maximum amount of data that a host is willing to accept in a single TCP/IP datagram

MTU 1400

Tunnel Setting (AES256+SHA) Recommended MTU

GRE/IPSec (Tunnel Mode) 1400 bytes

GRE/IPSec (Transport Mode) 1400 bytes

GRE+IPsec


Подключение к HUB через Internet Edge

Доступность соседей по туннелю – default маршрут

Для SPOKE – от ISP

Для HUB – static на FW (FW – от ISP)

DMVPN HUB Internet Edge (NAT или routable IP)


При HUB-and-Spoke топологии и централизованном Internet-доступе

необходимо через туннель анонсировать default для SPOKE

Анонс Default: WAN Dist HUB SPOKE (через EIGRP)

Второй default на HUB (необходим с улучшенной AD)

Разрыв туннеля (нет default на FW)


2 типа VRF на HUB:

Global VRF – для маршрутизации внутри частной сети и web-browsing

INET-PUBLIC VRF – для организации туннеля

Второй default на SPOKE через туннель (необходим с улучшенной AD)

Разрыв туннеля (нет default от ISP)


2 типа VRF на HUB и SPOKE:

Global VRF – для маршрутизации внутри частной сети и web-browsing

INET-PUBLIC VRF – для организации туннеля

В каждом VRF свой default


GET VPN это:

Tunnel-less технология на базе Group Domain of Interpretation (GDOI) протокола

(RFC 3547), позволяющего организовать end-to-end шифрования для full-mesh

топологии на базе домена безопасности

Частная сеть (MPLS) – как WAN транспорт

Выгоды

Создание высокомасштабируемой full-mesh топологии без построения peer-to-

peer туннелей

Централизованное управление членами домена и общими политиками

шифрования (для всех членов домена)

Упрощенная конфигурация (нет туннелей, нет оверлейных протоколов

маршрутизации)

Обеспечение отказоустойчивости на основе протокола маршрутизации и statefull

KS

Уменьшение latency и эффективное использование BW (репликация multicast в

IP WAN сети) эффективная работа multicast -приложений


Key servers (KSs) - encryption policies, such as interesting traffic, encryption

protocols, security association, rekey timers

Group Members (GMs) – удаленные устройства

Cooperative (COOP) KSs – синхронизация между KS

GDOI (RFC 3547) – распространение политик и ключей от KS к GM

Group security association – общая для всех участников домена


Key Server (control plane) Validate Group Members Manage Security Policy Create Group Keys Distribute Policy/Keys

MPLS B MPLS A

GM GM

GM

GM GM GM

GM

GM

GM GM

KS KS

Group Member (data plane) Encryption Devices Route Between Secure/

Unsecure Regions Multicast Participation


MPLS B MPLS A

GM GM

GM

GM GM

GM

GM GM

KS priority

100

KS Cooperative Protocol

Traffic Encryption Key (TEK)

Group Policy (SA и др.)

RFC3547: Group Domain of Interpretation (GDOI)

Key Encryption Key (KEK)

KS priority

75


Шаг 1:

GM регистрируется через GDOI (IKE) на KS

KS аутентифицирует и авторизует GM (pre-shared или PKI)

Обмен ключами для осуществления шифрования

Шаг 2: Data Plane Encryption

GM обмениваются шифрованным трафиком, используя ключи шифрования

Шифрование с сохранением оригинальных заголовков (“IPSec transport Mode”) применения QoS, traffic engineering

Шаг 3: Переодическое обновление групповых ключей

KS ответственный за обновление KEK и TEK до expire (Multicast или unicast)

GM1

GM2

GM3 GM

4

GM5

GM6

GM7

GM8

GM9

KS

GM1

GM2

GM3 GM

4

GM5

GM6

GM7 GM8

GM9

KS

GM1

GM2

GM3 GM

4

GM5

GM6

GM7

GM8

GM9

KS


Clear-text Receve-only SA

Внедрение KS в режиме Receive-only

SA’s (трафик не шифруется)

GM регистрируется на KS получает

политики безопасности и ключи

Режим мониторинга работы control-

plane GET VPN без задействования

data-plane GET VPN


Полная настройка на всей сети

control-plane GET VPN

Clear-text Receve-only SA

Normal SA

Проверка корректности работы

control-plane GET VPN

Упрощение перехода к GET VPN

в рамках всей сети сеть

готова, только тогда переход


Выбор на основе priority (до 8 в группе)

GM при регистрации выбирает доступный KS

Синхронизация политик безопасности,

ключей, информации о зарегистрированных

GM

Primary распространяет политик

безопасности и ключи

Security Policy


DMVPN GETVPN

Сетевая инфраструктура Public Internet Transport Private IP Transport

Сетевая топология Hub-Spoke and Spoke-to-

Spoke (Site-to-Site)

Any-to-Any

(Site-to-Site)

Маршрутизация +

Отказоустойчивость

Динамическая

маршрутизация поверх

туннеля + резервный

туннель

Динамическая

маршрутизация в IP

WAN + Stateful KS

Шифрование Peer-to-Peer шифрование Групповое

шифрование

IP Multicast Репликация Multicast на

HUB-е

Репликация Multicast в

IP WAN


SBA (Design Zone for Smart Business Architecture)

Customer access: http://www.cisco.com/go/sba

Partner access: http://www.cisco.com/go/sbachanne

http://www.cisco.com/go/sba

http://www.cisco.com/go/sbachannel


Software Module

Cisco Network

Support Dashboard

Cisco Global

Support DB

24/7 Мониторинг сети

Инвентаризация

Нагрузка

Производительность

Ошибки

Сбои

Автоматизированные уведомления

об инцидентах по электронной почте

Полуавтоматическая диагностика

Автоматическая подготовка информации

Доступность сервисов

Инвентаризация

Версионность

Бреши в защите

Filed Notices

И, конечно, ТАС, новые версии ПО, замена

оборудования.

Thank you.

Лучшие практики и рекомендуемые дизайны по построению...

Technology

Transcript of Лучшие практики и рекомендуемые дизайны по построению...