Как решить проблему до открытия кейса в ТАС?

74
Дмитрий Леонтьев Инженер центра технической поддержки Cisco TAC (Russia) Март 10, 2016 Как можно решить проблему до открытия сервисного запроса в Cisco TAC Cisco Support Community Expert Series Webcast

Transcript of Как решить проблему до открытия кейса в ТАС?

Page 1: Как решить проблему до открытия кейса в ТАС?

Дмитрий Леонтьев

Инженер центра технической поддержки Cisco TAC (Russia)

Март 10, 2016

Как можно решить проблему до открытия сервисного запроса в Cisco TAC

Cisco Support Community

Expert Series Webcast

Page 2: Как решить проблему до открытия кейса в ТАС?

Вебинар на русском языке

Апрель 12, 2016

Во время презентации эксперт Cisco TAC Михаил Щекотилов рассмотрит ключевые аспекты архитектуры VCS/Expressway. После этого в режиме живого демо он покажет основные инструменты и техники для диагностики проблем.

VCS/Expressway архитектура и

диагностика

https://supportforums.cisco.com/ru/event/12914616

Михаил Щекотилов

Page 3: Как решить проблему до открытия кейса в ТАС?

Как стать активным участником? Легко!

• Создавайте документы, пишите блоги, загружайте

видео, отвечайте на вопросы пользователей.

• Вклад оценивается на основе таблицы лидеров

• Также оценивается количество документов, блогов

и видео, созданных пользователем.

• Вклад оценивается только по русскоязычному

сообществу, не включая рейтинг, набранный в

глобальном Cisco Support Community.

Премия "Самый активный участник Сообщества Поддержки Cisco"

Page 4: Как решить проблему до открытия кейса в ТАС?

Оцени контент

Ваши оценки контента дают возможность атворам получать баллы.

Хотите чтобы поиск был удобным и простым? Помогите нам распознать качественный контент в Сообществе. Оценивайте документы, видео и блоги.

Пожалуйста, не забывайте оценивать ответы пользователей, которые щедро делятся своим временем и опытом

https://supportforums.cisco.com/ru/community/4926/pomoshch-help

Page 5: Как решить проблему до открытия кейса в ТАС?

10 марта – 25 марта 2016

Сессия «Спросить Эксперта» с Дмитрием Леонтьевым, Александром Чевердой и Сергеем Никитиным

Получить дополнительную информацию, а также задать вопросы эксперту в рамках данной темы Вы можете на странице, доступной по ссылке: https://supportforums.cisco.com/community/russian/expert-corner Вы можете получить видеозапись данного семинара и текст сессии Q&A в течении ближайших 5 дней по следующей ссылке https://supportforums.cisco.com/community/russian/expert-corner/webcast

Page 6: Как решить проблему до открытия кейса в ТАС?

Конкурс “Как можно решить проблему до открытия сервисного запроса в Cisco TAC”

10 марта в 13:00 мск

Мы предлагаем Вам принять участие в конкурсе после проведения вебкаста, который так и будет называться

«Как можно решить проблему до открытия сервисного запроса в Cisco TAC»

• Первые три победителя получат фирменный куб Cisco-TAC

• Ответы присылайте на [email protected]

• Задание конкурса будет размещено сегодня после проведения

вебкаста

Page 7: Как решить проблему до открытия кейса в ТАС?

Скачать презентацию Вы можете по ссылке:

https://supportforums.cisco.com/ru/document/12930631

Спасибо, что присоединились к нам сегодня!

Page 8: Как решить проблему до открытия кейса в ТАС?

Присылайте Ваши вопросы! Используйте панель Q&A, чтобы задать вопрос.

Наши эксперты Сергей и Александр ответят на них.

Сегодняшняя

презентация включает

опросы аудитории

Пожалуйста, примите

участие в опросах!

Page 9: Как решить проблему до открытия кейса в ТАС?

Дмитрий Леонтьев

Инженер центра технической поддержки Cisco TAC (Russia)

Март 10, 2016

Cisco Support Community Expert Series Webcast

Как можно решить проблему до открытия сервисного запроса в Cisco TAC Примеры, рекомендации и инструменты

Page 10: Как решить проблему до открытия кейса в ТАС?

Вопрос 1

Как вы решаете возникающие с оборудованием проблемы?

1. Самостоятельно, потому что у меня нет контракта на поддержку

2. Открываю запрос на поддержку и решаю с помощью Cisco TAC

3. Самостоятельно, несмотря на то что у оборудования есть контракт на поддержку

Page 11: Как решить проблему до открытия кейса в ТАС?

Cодержание

• Классификация проблем

• Как попытаться самостоятельно определить источник проблемы

• Механизмы, которые можно использовать для траблшутинга

Page 12: Как решить проблему до открытия кейса в ТАС?

• Крэш устройства

• Высокая загрузка CPU

• Утечка памяти

• Нерабочая конфигурация

• Неработающий модуль/устройство

• «Ложные» проблемы

• Прочие проблемы

Классификация проблем

Page 13: Как решить проблему до открытия кейса в ТАС?

Крэш устройства

Page 14: Как решить проблему до открытия кейса в ТАС?

Самостоятельно установить причину крэша довольно сложно. Однозначно причину крэша могут указать только инженеры Cisco TAC. Шаги которые нужно выполнить перед открытием кейса в Cisco TAC:

1. Проверить актуальность версии операционной системы, установенной на устройстве

2. Проверить наличие ресурсов устройства для выполнения всех сконфигурированных задач

3. Собрать файлы, созданные в результате крэша для анализа в Cisco TAC

Крэш устройства или модуля

Page 15: Как решить проблему до открытия кейса в ТАС?

Проверьте версию OS, установленную на устройстве

------------------ show version ------------------

Cisco IOS Software, IOS-XE Software (X86_64_LINUX_IOSD-ADVIPSERVICES-M), Version

12.2(33)XNC2, RELEASE SOFTWARE (fc1)

Technical Support: http://www.cisco.com/techsupport

Copyright (c) 1986-2009 by Cisco Systems, Inc.

Compiled Sat 25-Jul-09 09:52 by mcpre

...

Uptime for this control processor is 4 hours, 58 minutes

System returned to ROM by reload

System image file is "bootflash:/asr1000rp2-advipservices.02.03.02.122-33.XNC2.bin"

Last reload reason: PowerOn

Проверка актуальности версии OS

Page 16: Как решить проблему до открытия кейса в ТАС?

EOL/EOS

Page 17: Как решить проблему до открытия кейса в ТАС?

EOL/EOS

Page 18: Как решить проблему до открытия кейса в ТАС?

EOL/EOS

Milestone Definition Date

End-of-Life Announcement Date The date the document that announces the end of sale and

end of life of a product is distributed to the general public.

April 24, 2009

End of Planned SW Maintenance Release Date The last date that Cisco Engineering may release a software

maintenance release in Cisco IOS XE Software Release 2.3.

After this date, maintenance rebuilds and software-fix support

will be provided only through rebuilds of Cisco IOS XE

Software Release 2.4 or later.

July 4, 2009

End-of-Sale Date The last date to order the product through Cisco point-of-sale

mechanisms. The product is no longer for sale after this date.

November 27, 2009

Last Ship Date:

OS SW

The last-possible ship date that can be requested of Cisco

and/or its contract manufacturers. Actual ship date is

dependent on lead time.

January 15, 2010

End of Software Maintenance Support (EoSWM) Date The last date that Cisco Engineering may release any final

software maintenance releases or bug fixes. After this date,

Cisco Engineering will no longer develop, repair, maintain, or

test the product software.

February 27, 2010

Last Date of Support The last date to receive service and support for the product.

After this date, all support services for the product are

unavailable, and the product becomes obsolete.

November 27, 2014

HW = Hardware OS SW = Operating System Software App. SW = Application Software

Page 19: Как решить проблему до открытия кейса в ТАС?

EOL/EOS

Page 20: Как решить проблему до открытия кейса в ТАС?

Можно использовать Cisco Feature Navigator для проверки времени жизни и поддержки для оборудования, установленного в вашей сети

Проверка EOL с помощью Feature Navigator

Page 21: Как решить проблему до открытия кейса в ТАС?

Проверка EOL с помощью Feature Navigator

Page 22: Как решить проблему до открытия кейса в ТАС?

Проверьте на какую нагрузку расчитано ваше устройство. Эту информацию можно найти на сайте cisco.com. Например, для ASR1000 указано сколько максимально маршрутов IPv4 и IPv6 может поддерживать маршрутизатор с определенным размером оперативной памяти.

Cisco ASR 1002-X Integrated Route Processor Product Specifications

http://www.cisco.com/c/en/us/products/collateral/routers/asr-1000-series-aggregation-services-routers/data_sheet_c78-441072.html

Проверка наличия ресурсов устройства

Performance With 4-GB memory:

● Up to 500,000 IPv4 or 500,000 IPv6 routes

With 8-GB or 16-GB memory:

● Up to 1,000,000 IPv4 or 1,000,000 IPv6 routes - 8 GB Memory

● Up to 3,500,000 IPv4 or 3,000,000 IPv6 routes - 16 GB Memory

Page 23: Как решить проблему до открытия кейса в ТАС?

Проверка наличия ресурсов устройства Memory options ● Cisco ASR 1002-X ships with 4-GB memory by default. It can be upgraded to 8- or 16-GB

memory.

● Cisco ASR 1002-X has 4 DRAM memory slots, which can take either 2- or 4-GB DRAM each.

● When shipped with 4-GB DRAM (M-ASR1002X-4 GB), 2 slots are filled with 2 GB each.

● When shipped with 8-GB DRAM (M-ASR1002X-8 GB), 4 slots are filled with 2 GB each.

● When shipped with 16-GB DRAM (M-ASR1002X-16 GB), 4 slots are filled with 4 GB each.

Page 24: Как решить проблему до открытия кейса в ТАС?

Redundancy обычно используется для обеспечения отказоустойчивости устройства. При выходе из строя одного из компомнентов, управление передается второму и устройство продолжает работать Маршрутизаторы ASR1001, ASR1001-X, ASR1002, ASR1002-X, ASR1004 не поддерживают Hardware Redundancy, потому что в них нельзя установить второй модуль RP.

Software Redundancy позволяет запустить два образа IOSd поверх Linux, но при этом расходуется в два раза больше памяти.

Software redundancy как причина недостатка памяти

Reliability and availability ● No route-processor hardware redundancy

● Software redundancy available (requires software redundancy license and 8-GB memory)

Page 25: Как решить проблему до открытия кейса в ТАС?

• Распределение памяти определяется архитектурными особенностями. Вручную нельзя изменить распределение памяти.

• ASR1001, ASR1001-X, ASR1002-X используют одну память для всех подсистем RP, ESP, SIP

Распределение памяти на ASR1000

RP and Physical Memory Memory Allocated to IOSd

(w/o IOSd redundancy enabled)

Memory Allocated to Kernel and other

processes

RP1 (4GB) 1.7GB 2.3GB

RP2 (8GB) 4.2GB 3.8GB

RP2 (16GB) 10GB 6GB

ASR 1001 – 4GB 1.4GB 2.6GB

ASR 1001 – 8GB 4GB 4GB

ASR 1001 – 16GB 7GB 9GB

Page 26: Как решить проблему до открытия кейса в ТАС?

Router#show process memory output

Processor Pool Total: 1695268496 Used: 362330804 Free: 1332937692

lsmpi_io Pool Total: 6295088 Used: 6294116 Free: 972

Router#show version

cisco ASR1002 (2RU) processor with 1655643K/6147K bytes of memory.

6 Gigabit Ethernet interfaces

32768K bytes of non-volatile configuration memory.

4194304K bytes of physical memory.

7798783K bytes of eUSB flash at bootflash:.

Пример распределения памяти для ASR1002

Page 27: Как решить проблему до открытия кейса в ТАС?

Router#show process memory output

Processor Pool Total: 3905088960 Used: 2876800024 Free: 1028288936

lsmpi_io Pool Total: 6295128 Used: 6294296 Free: 832

Router#show version

cisco ASR1002-X (2RU-X) processor with 3813739K/6147K bytes of memory.

6 Gigabit Ethernet interfaces

32768K bytes of non-volatile configuration memory.

8388608K bytes of physical memory.

6684671K bytes of eUSB flash at bootflash:.

Пример распределения памяти для ASR1002-X

Page 28: Как решить проблему до открытия кейса в ТАС?

#show running-config

...

redundancy

mode sso

#show version

...

cisco ASR1004 (RP2) processor with 1575783K/6147K bytes of memory.

...

8388608K bytes of physical memory.

#show running-config

...

redundancy

mode none

#show version

...

cisco ASR1004 (RP2) processor with 3015264K/6147K bytes of memory.

Как отключить Software Redundancy

Page 29: Как решить проблему до открытия кейса в ТАС?

Если случился крэш, необходимо собрать данные для анализа в ТАС:

• Файлы crashinfo, которые создаются в bootflash:

30 284541 Oct 29 2013 01:18:29 +00:00

/bootflash/crashinfo_RP_00_00_20131029-021826-MSK

• Файлы core, которые создаются в bootflash/core: или harddisk/core:

603 237026144 Oct 29 2013 01:21:23 +00:00

/harddisk/core/asr1.krasnodar_RP_0_linux_iosd-imag_25494.core.gz

• Вывод show tech

Данные для анализа крэш в ТАС (ASR1k)

Page 30: Как решить проблему до открытия кейса в ТАС?

Если случился крэш, необходимо собрать данные для анализа в ТАС:

• Файлы crashinfo, которые создаются в sup-bootdisk и slavesup-bootdisk:

------------------ show sup-bootdisk: all ------------------

4 385809 Aug 16 2015 01:02:52 +03:00 crashinfo_SP_20150816-010252-EET

• Файлы crashinfo, которые создаются в bootflash и slavebootflash:

------------------ show slavebootflash: all ------------------

15 .. crashinfo 36EF29DF 4DA218 32 412009 Aug 24 2015 13:09:49

+03:00 crashinfo_RP_20150824-130949-EET

• Вывод show tech

Данные для анализа крэш в ТАС (Sup720)

Page 31: Как решить проблему до открытия кейса в ТАС?

Высокая загрузка CPU

Page 32: Как решить проблему до открытия кейса в ТАС?

Основная команда для получения информации о высокой загрузке CPU это show process cpu sorted.

Router#show process cpu sorted

CPU utilization for five seconds: 0%/0%; one minute: 0%; five minutes: 0%

Красный – процент общей загрузки CPU

Синий – процент загрузки CPU, которыйвызван прерываниями

При этом, процент загрузки CPU процессами можно посчитать по формуле:

Процент загрузки CPU процессами = Общая загрузка CPU

– Загрузка CPU прерываниями

Причины высокой загрузки CPU

Page 33: Как решить проблему до открытия кейса в ТАС?

Высокая загрузка CPU для ASR1K – это очень редкое событие. Обработкой транзитного трафика занимается подсистема QFP, в обход CPU, а CPU занимается обработкой трафика control-plane, которого в нормальной ситуации обычно довольно немного.

Если нагрузка на CPU достигла 100% и не опускается, то в такой ситуации легче определить, что является причиной. В любой момент времени мы можем собрать нужную нам статистику.

Если же нагрузка возникает на короткое время, то нужно сторожить эти моменты, чтобы собрать данные. Но это не всегда возможно отследить.

Причины высокой загрузки CPU

Page 34: Как решить проблему до открытия кейса в ТАС?

EEM (Embedded Event Manager) – встроенный компонент операционных систем Cisco IOS, XE, XR и NX-OS, который облегчает жизнь администратора, позволяя отслеживать и классифицировать события, которые происходят на маршрутизаторах, а также обеспечивать уведомления для этих событий. EEM позволяет автоматизировать задачи, выполнять расширения и создавать обходные маршруты решения проблем.

EEM использует детекторы событий и выполняет действия для уведомления об этих событиях.

https://supportforums.cisco.com/document/117596/cisco-eem-basic-overview-

and-sample-configurations

Embedded Event Manager

Page 35: Как решить проблему до открытия кейса в ТАС?

Детекторы событий EEM:

1) SNMP – мониторинг объектов SNMP. 2) Syslog – реагирует на появление различных сообщений syslog, при этом можно использовать регулярные выражения для поиска совпадений. 3) Counter (счетчик) – мониторит и реагирует на превышение значений счетчиков на интерфейсах. 4) События CLI – отслеживается CLI ввод с помощью регулярых выражений. 5) None – этот детектор событий используется для тестирования скриптов EEM с помощью команды "event manager run". 6) Timers (таймеры) - (Countdown, watchdog и CRON) 7) События IP SLA и Netflow.

Embedded Event Manager

Page 36: Как решить проблему до открытия кейса в ТАС?

Действия EEM:

1)Отсылает сообщения email

2)Выполняет команды cisco

3)Генерирует SNMP trap

4)Перегружает маршрутизатор

5)Генерирует приоритетные сообщения syslog

6)Переключается на резервный модуль в системах с избыточностью и

отказоустойчивостью

7)При наступлении события запрашивает системную информацию (sh

tech, sh proccess cpu history и т.д.)

Embedded Event Manager

Page 37: Как решить проблему до открытия кейса в ТАС?

Пример использования EEM (Embedded Event Manager)

event manager applet capture_cpu

event snmp oid 1.3.6.1.4.1.9.2.1.56 get-type next entry-op ge entry-val

80 exit-time 180 poll-interval 30

action 1.01 cli command "enable"

action 1.02 syslog msg "TEST IN PROGRESS FOR CPU 80%"

action 1.03 cli command "show clock | append

bootflash:cpuinfo.log"

action 1.04 cli command "show platform software status control-processor

br | append bootflash:cpuinfo.log"

action 1.05 cli command "show process cpu sorted | append

bootflash:cpuinfo.log"

Автоматический сбор статистики

Page 38: Как решить проблему до открытия кейса в ТАС?

Если нагрузку на CPU создает трафик, который попадает на control plane, то можно собрать трассу, проанализировать ее и сделать выводы о том насколько данный трафик легитимен

#monitor capture cisco control-plane both

#monitor capture cisco buffer circular size 100

#monitor capture cisco match any

Запустить сбор трассы, когда трафик присутствует.

#monitor capture cisco start

Остановить сбор трассы через некоторое время:

#monitor capture cisco stop

Выгрузить с ASR трассу на TFTP сервер командой

#monitor capture cisco export tftp://<IP-addr of TFTP

server>/cisco.pcap

Определение трафика, загружающего CPU

Page 39: Как решить проблему до открытия кейса в ТАС?

Анализ собранной трассы с помощью WireShark

Page 40: Как решить проблему до открытия кейса в ТАС?

(config)#process cpu threshold type total rising 80 interval 5 falling 70 interval 5

------------------ show logging ------------------

%SYS-1-CPURISINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr): 79%/1%, Top 3

processes(Pid/Util): 600/56%, 276/18%, 9/1%

%SYS-1-CPUFALLINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr) 54%/4%.

------------------ show process cpu ------------------

600 2189846 10615550 206 0.00% 0.09% 0.08% 0 BGP Router

276 979745 3229937 303 0.00% 0.03% 0.01% 0 IP RIB Update

9 5353819 390447 13712 0.00% 0.17% 0.20% 0 Check heaps

Определение процессов, загружающих CPU

Page 41: Как решить проблему до открытия кейса в ТАС?

Захват пакетов с помощью netdr выполняется контроллером MSFC CPU. Это самое близкое место, в котором вы можете захватить пакеты на MSFC для того чтобы определить какой трафик передается (punted) в MSFC/RP CPU. Для супервизоров Sup720 и Sup32 имеется возможность захватывать пакеты, идущие в RP или SP. Команда netdr может быть использована для захвата пакетов, передаваемых в обоих направлениях (Tx и Rx) при программной обработке (software-switching).

6500-2#debug netdr cap rx and-filter source-ip-address 10.10.10.2

destination-ip-address 10.100.101.10

6500-2#sh netdr cap

A total of 4096 packets have been captured

The capture buffer wrapped 0 times

Total capture capacity: 4096 packets

Анализ трафика на супервизорах 720

Page 42: Как решить проблему до открытия кейса в ТАС?

------- dump of incoming inband packet -------

interface Vl10, routine mistral_process_rx_packet_inlin, timestamp 00:00:11

dbus info: src_vlan 0xA(10), src_indx 0xC0(192), len 0x40(64)

bpdu 0, index_dir 0, flood 0, dont_lrn 0, dest_indx 0x380(896)

10020400 000A0000 00C00000 40080000 00060468 0E000040 00000000 03800000

mistral hdr: req_token 0x0(0), src_index 0xC0(192), rx_offset 0x76(118)

requeue 0, obl_pkt 0, vlan 0xA(10)

destmac 00.15.C7.26.FB.80, srcmac 00.00.01.00.06.00, protocol 0800

protocol ip: version 0x04, hlen 0x05, tos 0x00, totlen 46, identifier 0

df 0, mf 0, fo 0, ttl 100, src 10.10.10.2, dst 10.100.101.10

tcp src 0, dst 0, seq 0, ack 0, win 0 off 5 checksum 0x265C

https://supportforums.cisco.com/ru/document/125971

Анализ трафика на супервизорах 720

Page 43: Как решить проблему до открытия кейса в ТАС?

Вопрос 2

Вебинары по каким темам вам было бы интересно послушать?

1. Отдельный вебинар про EEM (Embedded Event Manager)

2. Вебинар про мультикаст

3. Вебинар про общую методологию траблшутинга

Page 44: Как решить проблему до открытия кейса в ТАС?

Утечка памяти

Page 45: Как решить проблему до открытия кейса в ТАС?

Данная категория проблем не решается без открытия сервисного запроса в TAC. Перед открытием сервисного запроса необходимо собрать статистику о том, какой процесс виновен в том, что память заканчивается. Отслеживать, кто расходует память можно с помощью скриптов, команд CLI и опроса по SNMP.

MallocLite Memory Leaks Troubleshooting http://www.cisco.com/c/en/us/support/docs/routers/2900-series-

integrated-services-routers/117517-trouble-malloclite-00.html

Memory Leak Detector

http://www.cisco.com/c/en/us/td/docs/ios-xml/ios/sys-mem-

mgmt/configuration/15-s/sysmemmgmt-15-s-book/sysmemmgmt-mem-

leak.pdf

Утечки памяти

Page 46: Как решить проблему до открытия кейса в ТАС?

ASR 1000 Series Router Memory Troubleshoot Guide

http://www.cisco.com/c/en/us/support/docs/routers/asr-1000-

series-aggregation-services-routers/116777-technote-product-

00.html

Полезные команды для поиска утечек памяти:

Router#show process memory sorted

Router#show proc mem <PID>

Router#show memory debug leaks chunks

Утечки памяти

Page 47: Как решить проблему до открытия кейса в ТАС?

Нерабочая конфигурация

Page 48: Как решить проблему до открытия кейса в ТАС?

Если настроенный механизм не работает как ожидалось, не выполняется функционал, попробуйте проверить поддерживается выбранный механизм для вашей версии OS на вашем оборудовании.

Проблемы с конфигурацией

Page 49: Как решить проблему до открытия кейса в ТАС?

Object groups for ACL

Page 50: Как решить проблему до открытия кейса в ТАС?

Object groups для ACL

Использование object-group в access-control list в IOS-XE возможно, начиная с версии 3.12S. Использование в более ранних версиях невозможно, даже если команды присутствуют в конфигурации.

Page 51: Как решить проблему до открытия кейса в ТАС?

Если вы воспользовались документацией, размещенной на сайте cisco.com, но обнаружили, что там содержатся ошибки, то в этом случае необходимо открыть сервисный запрос в Cisco TAC и инженеры создадут document DDTS для внесения исправления в документ или его удаления.

Некорректная информация в документах на cisco.com

Page 52: Как решить проблему до открытия кейса в ТАС?

Неработающий модуль/устройство

Page 53: Как решить проблему до открытия кейса в ТАС?

При обновлении версии IOS не забывайте обновлять программное обеспечение для модулей, называемое Firmware. Проблемы с которыми можно столкнуться при расхождении версий IOS и Firmware:

• Некорректная диагностика работы модулей. Диагностика может показывать проблемы у работающего модуля и наоборот, у проблемного модуля будет отображаться рабочее состояние.

• После очередного обновления IOS, устройство перестанет загружаться, если Firmware осталось старым.

Важность обновления Firmware модулей

Page 54: Как решить проблему до открытия кейса в ТАС?

Релизы ROMmon для каждого модуля ------------------ show platform ------------------

......

Slot CPLD Version Firmware Version

--------- ------------------- ---------------------------------------

0 14011701 15.4(2r)S

1 14011701 15.4(2r)S

R0 13092401 15.2(1r)S

R1 13092401 15.2(1r)S

F0 12071700 15.3(1r)S

F1 12071700 15.3(1r)S

http://www.cisco.com/c/en/us/td/docs/routers/asr1000/release/notes/asr1k_rn_rel_notes/asr1k_rn_sys_req.html#pgfId-3201398

Page 55: Как решить проблему до открытия кейса в ТАС?

Шаг 1 (Опциональный) Выполните команду show platform или show rom-monitor slot для каждого из модулей RP, ESP и SIP, для просмотра текущего номера релиза ROMmon.

Шаг 2 Если образ ROMmon не был скопирован на маршрутизатор, скопируйте файл PKG на файловую систему bootflash: или usb[0-1]: с помощью команды copy source-location destination-location.

Шаг 3 Выполните команду dir file-system для проверки того что файл ROMmon скопирован в определенную директорию.

Шаг 4 Выполните команду upgrade rom-monitor filename location all для того чтобы начать обновление образа ROMmon, где location - это путь к файлу ROMmon.

Шаг 5 Сообщения об обновлении будут отображаться на экране консоли. После того сообщения закончат появляться и появится приглашение маршрутизатора, введите команду reload для перезагрузки маршрутизатора.

Обновление ROMmon

Page 56: Как решить проблему до открытия кейса в ТАС?

Шаг 6 Если автоматическая загрузка маршрутизатора не задана конфигурационным регистром config-register 0x2102, введите команду boot filesystem:/file-location в режиме ROMmon для того чтобы загрузить образ Cisco IOS XE, где filesystem:/file-location - это местоположение файла образа. Обновление ROMmon для всех элементов маршрутизатора закончится только после как загрузится образ Cisco IOS XE.

Шаг 7 Выполните команду enable для перехода в привелегированный режим после завершения загрузки маршрутизатора.

Шаг 8 Выполните команду show platform или команду show rom-monitor slot для каждого модуля RP, ESP и SIP маршрутизатора для проверки того что версия ROMmon обновилась.

http://www.cisco.com/c/en/us/td/docs/routers/asr1000/rommon/rommon.html

Обновление ROMmon

Page 57: Как решить проблему до открытия кейса в ТАС?

Ложные проблемы

Page 58: Как решить проблему до открытия кейса в ТАС?

Иногда на маршрутизаторах серии ASR1000 загорается индикатор CRIT (на фотографии ниже). Это выглядит как ошибка, которая заставляет волноваться инженеров в эксплуатации которых находится ASR1000.

Индикатор CRIT

Page 59: Как решить проблему до открытия кейса в ТАС?

В случае, если вы столкнулись с этой проблемой, предлагается сначала выполнить проверку по нижеследующему сценарию. Довольно часто, обнаруживается, что интерфейс сконфигурирован, но кабель к нему не подключен или он по какой-то причине находится в состоянии down/down. Другими словами, с интерфейса убрана команда shutdown, которая задана по умолчанию, но по какой-то причине находится в состоянии down,

например, не подключен физический кабель, притивоположная сторона в состоянии down или не установлен трансивер.

Индикатор CRIT

Page 60: Как решить проблему до открытия кейса в ТАС?

Можно легко проверить эти предположения. Проанализируйте вывод команды show running, уделив внимание тому есть ли в конфигурации на интерфейсах команда shutdown. Затем проанализируйте состояние интерфейса в выводе команды show interfaces.

Индикатор CRIT

Page 61: Как решить проблему до открытия кейса в ТАС?

Router#show running

....вывод удален...

interface GigabitEthernet0/0/0

ip address 10.10.10.1 255.255.255.0

negotiation auto

!

interface GigabitEthernet0/0/1

no ip address

shutdown

negotiation auto

Индикатор CRIT

Page 62: Как решить проблему до открытия кейса в ТАС?

Router#show interfaces

....вывод удален...

GigabitEthernet0/0/0 is down, line protocol is down

....вывод удален...

GigabitEthernet0/0/1 is administratively down, line protocol is down

....вывод удален...

Индикатор CRIT

Page 63: Как решить проблему до открытия кейса в ТАС?

Router#show facility-alarm status

System Totals Critical: 1 Major: 0 Minor: 0

Source Severity Description [Index]

------ -------- -------------------

GigabitEthernet0/0/0 CRITICAL Physical Port Link Down [1]

xcvr container 0/0/1 INFO Transceiver Missing [0]

xcvr container 0/0/2 INFO Transceiver Missing [0]

Именно это является причиной того, что загорается индикатор CRIT. Данное поведение системы является предопределенным и не является багом, ошибкой или нарушением работоспособности устройства.Так как маршрутизаторы серии ASR1000 довольно часто используются провайдерами Интернет-сервисов, которые должны сразу узнавать, если кабель по той или иной причине отключается. Для провайдеров Интернет-сервисов любое отключение может вызвать нарушение в работе сотен или тысяч клиентов, следовательно является критичным.

Индикатор CRIT

Page 64: Как решить проблему до открытия кейса в ТАС?

Погасить индикатор можно двумя способами. Можно перевести интерфейс, который явился причиной того что загорелся индикатор CRIT в состояние “admin down”, до тех

пор пока к интерфейсу не будет подключен линк. Сделать это можно выполнив команду “shutdown” для данного интерфейса. Этот метод является предпочтительным. Второй способ – это просто игнорировать ошибку, хотя это нежелательно, если вы конечно не планируете через несколько минут подключить линк к интерфейсу и перевести его в состояние “up”. Этот метод менее предпочтителен, так как в это время может

возникнуть другая проблема, но уже горящий индикатор CRIT не покажет этого.

Выполнение команды clear facility-alarm, которая может сбросить ошибку, рекомендуется выполнять только после того как интерфейс переведен в одно из состояний “admin down” или “up”. В противном случае индикатор загорится снова

через несколько секунд. Если интерфейс находится в правильном состоянии индикатор CRIT погаснет автоматически.

Как погасить индикатор CRIT

Page 65: Как решить проблему до открытия кейса в ТАС?

При работе с супервизором SUP2T также можно столкнуться с ситуацией, когда индикатор System загорается оранжевым цветом. Что делать в этой ситуации ?

System LED Amber

Page 66: Как решить проблему до открытия кейса в ТАС?

------------------ show environment ------------------

switch 1 power-supply 1:

switch 1 power-supply 1 fan-fail: OK

switch 1 power-supply 1 power-input: AC high

switch 1 power-supply 1 power-output-mode: high

switch 1 power-supply 1 incompatible with fan: OK

switch 1 power-supply 1 power-output-fail: OK

switch 2 power-supply 1:

switch 2 power-supply 1 fan-fail: OK

switch 2 power-supply 1 power-input: AC high

switch 2 power-supply 1 power-output-mode: high

switch 2 power-supply 1 incompatible with fan: OK

switch 2 power-supply 1 power-output-fail: OK

System LED Amber

Page 67: Как решить проблему до открытия кейса в ТАС?

------------------ show environment ------------------

environmental alarms:

system minor alarm on switch 1 power-supply 1 power-output-fail

(raised 10w2d ago)

system minor alarm on switch 2 power-supply 1 power-output-fail

(raised 10w2d ago)

Ошибка появилась 72 дня назад – возможно проводились какие-то работы и блоки питания были отключены.Если проблема будет периодически происходить, то надо будет поменять блоки питания по RMA, если это одноразовая проблема, то можно игнорировать. Погасить индикатор можно физической переустановкой блоков питания (вынуть и вставить обратно).

System LED Amber

Page 68: Как решить проблему до открытия кейса в ТАС?

Вопрос 3

Какие проблемы вы успешно решали самостоятельно:

1. Крэш устройства

2. Высокая загрузка CPU

3. Утечка памяти

4. Нерабочая конфигурация

5. Неработающий модуль/устройство

6. «Ложные» проблемы

7. Другие проблемы

Page 69: Как решить проблему до открытия кейса в ТАС?

Отправьте свой вопрос сейчас! Используйте панель Q&A, чтобы задать вопрос.

Эксперты ответят на Ваши вопросы.

Page 71: Как решить проблему до открытия кейса в ТАС?

Мы также предоставляем Вашему вниманию Сообщества на других языках!

Если Вы говорите на Испанском, Португальском или Японском, мы приглашаем Вас принять участие в Сообществах:

Русское http://russiansupportforum.cisco.com

Испанское https://supportforums.cisco.com/community/spanish

Португальское https://supportforums.cisco.com/community/portuguese

Японское https://supportforums.cisco.com/community/csc-japan

Китайское http://www.csc-china.com.cn

Если Вы говорите на Испанском,

Португальском или Японском, мы

приглашаем Вас принять участие на

Вашем родном языке

Page 72: Как решить проблему до открытия кейса в ТАС?

Технические семинары в клубе Cisco Expo Learning Club

http://ciscoclub.ru/events

Page 73: Как решить проблему до открытия кейса в ТАС?

Пожалуйста, участвуйте в опросе

Спасибо за Ваше внимание!

Page 74: Как решить проблему до открытия кейса в ТАС?