CERNET 主干网运行报告

内蒙古高校数字化校园建设研讨会 ,2007.11.20

CERNET 主干网运行报告

赛尔网络有限公司CERNET 网络中心

网络运行部李信满

2007 年 11 月 20 日

内蒙古高校数字化校园建设研讨会


主要内容

• CERNET 主干网最新进展• CERNET 主干网络运行状况


CERNET 骨干网带宽的发展

年份主干带宽1994 年 64K 专线1997 年 4M 卫星线路2000 年 155M SDH 专线2002 年 2.5G DWDM

2004 年 2.5G/5G DWDM

2005 年 2.5G/5G/10G DWDM

2007 年 5G/10G/20G DWDM

从 1994 年 CERNET 成立到 2006 年，主干带宽增加 30万倍


CERNET 主干网拓朴图


国际互联线路升级

APANFLAG

TEIN2

DRAGONTAP

622Mbps

100Mbps100Mbps

HARNET 155MbpsKOREN

155Mbps

TANET100Mbps

CERNETUS HK155Mbps 2.5Gx2

2.5G

总国际带宽 5G 多


国内互联现状

CNC 1G+6x155M+600MUNI 1GCST 1GCRS 3Getc.

CERNET

北京交换中心

UNICMCSTGW….. 2.5G

2G

8x155M+1G

CT

CT

1G CMCT: 中国电信UNI: 中国联通CNC: 中国网通CM: 中国移动CST: 中国科技网CRS: 中国铁通

上海

北京

UNI

1G

UNI

1G

总国内互联带宽在 15G 多

广州

2.5GCNC

1G


主干网最新进展综述• 国际升级

– 1.5G 5G• 国内互联升级

– 铁通增加 1G– 中国电信增加 2G

• CERNET 主干升级– 长春 : 2.5G 5G– 沈阳 : 7.5G 10G– 成都 : 7.5G 10G– 西安 : 5G 7.5G– 南昌 : 155M 2.5G– 石家庄 : 155Mx3 2.5G– 太原 : 155Mx3 2.5G– 乌鲁木齐 : 155Mx3 2.5G– 北京到武汉、武汉到广州第二个 10G


CERNET 主干网现状概述• 主干网总带宽约 450G

– 10G 线路： 10 条– 2.5G 线路： 46 条– 155M 线路： 45 条

• 节点带宽情况– 地区中心全部 >= 10G– 带宽超过 2.5G 的节点： 28 个– 所有省节点 >= 155M, 除拉萨、西宁、海口外 >=2x155M

• 主干网核心路由器台数： 120 台• 全网主干节点数： 38 个节点 (36 个城市 )• 网络用户数 : 2000 万• 国际出口带宽： > 4G• 国内互联带宽： > 15G• 世界最大的国家级学术网，国内前三大互联网


CERNET 主干网升级规划 (06 年 3月 )

上海

沈阳

大连

长春

哈尔滨

北京

郑州西安

武汉

合肥

杭州

广州

成都

天津

重庆

济南

厦门

长沙

南京

福州

兰州

银川

太原

拉萨

南宁

深圳

桂林

南昌

石家庄

青岛

呼和浩特西宁

乌鲁木齐

贵阳

昆明

海口

10G

4x2.5G

2x2.5G

2.5G4x155Mnx155M


CERNET 主干网规划

呼和浩特北京

郑州西安

武汉

合肥

上海

南昌杭州

广州

成都

沈阳

南宁

天津

福州

重庆

济南

大连

长春

哈尔滨

长沙

南京

厦门

兰州

深圳

石家庄乌鲁木齐

拉萨

青岛

海口

太原

西宁

桂林

昆明

贵阳

银川

40G10G2.5G租用


NOC 短信通知平台• 由 NOC 开发，基于 Linux/FreeBSD 和短信网卡 , 支持手工及事件、程序

触发的自动发送模式；有 Web 界面，可实时发送短信，将故障通知的时间由原来的不确定性固定为 7x24 小时的实时通知！

• 从 2006 年 4 月 1 日始，主干网的网络故障 ( 发生与恢复 ) 等信息实时发送给 38 个节点的 NOC 技术负责人，便于及时了解、处理网络事件

• 平均每月发出的短信数为 2100 多条

0

500

1000

1500

2000

2500

3000

3500

4月 5月 6月 7月 8月 9月 10月 11月 12月


故障管理系统 TTS

• 基于 Web 界面及 MySQL 数据库

• 实时记录、跟踪故障产生、处理、关闭的全过程

• 提供丰富的查询、统计 , 报表生成、打印功能等


NOC 值班消息中心

• 开发并应用了基于主动报警方式的消息中心– 集中的消息中心，适于值班员处理– 可汇集各种消息及告警来源，支持手动、自动方式– 支持各种操作系统– 主动、丰富的报警方式– 即时消息功能

• 故障发现时间大大缩短


网络运行异常检测与报警工具

• 网络正常状态描述（ baseline）• 网络异常检测

– 流量异常– 包数量异常– 路由异常– 机房温度异常– CPU利用率异常– ……


网络性能管理

• 性能管理是网络管理五大功能（ FCAPS）之一，网络建设完成后，除基本的故障管理外，性能管理非常重要– 网络升级规划：何时升级线路和设备等– 确保网络可用性和性能– 测量和报告网络性能，确保符合 SLA 和 QoS 的要求– 可以更好地理解、管理网络– 对网络进行优化

• 主动网络管理的要求：不能被动地等待问题的发生和用户的抱怨


网络性能管理方法

• 网络性能度量– 延时、抖动、丢包率、可用率和带宽利用率等

• 性能测试步骤与性能– 数据采集– 网络正常行为描述– 制定可接受的网络性能阈值– 监控，比较与报告– 网络调整与性能优化

• 所需的基本技术或工具– SNMP, sniffer/netflow– Ping, traceroute, mrtg, iperf, wget etc.


延时 (delay/latency)

• 延时 =传播延时 + 串行化延时• 传播延时是信息通过传输介质时产生的延时，每

1000 公里光纤增加 6ms– 比如北京到广州的来回距离约 5000 公里， CERNET

主干网从北京到广州的延时在 34ms左右，是正常的• 串行化延时是信息通过中间设备时产生的延时，通常是由

于设备上的排队、处理和交换引起的，通常小于 1ms ，但负担较重的路由器特别是防火墙，串行化延时会较大

• 对网络语音应用较好的延时应小于 100ms

• 测量工具： ping/traceroute


抖动 (Jitter)

• 延时的变化称为抖动，产生原因：– 可变的队列长度– 包经过的路径不同 (如负载均衡等）

• QoS 技术的采用可能会产生较大的抖动• 抖动对大部分应用没有影响，但对多媒体实时应用的影响较大

• 为了消除网络抖动的影响，通常应用系统需要采用缓冲（ Jitter Buffer）来做平滑

• 对 VOIP 应用可容忍的抖动范围为 20-30ms

• 简单计算： Ping: J1 = abs(t2-t1), J2=abs(t3-t2), ….


丢包率

• 丢包产生的原因– 传输链路或硬件设备引起的 CRC错– 链路拥挤或队列满（ tail drop or RED/WRED)– 路由改变（暂时丢包）或黑洞路由– 接口故障或路由器故障– 错误配置的 ACL– ... ...

• 既使 1% 的丢包，也会对网络应用的性能产生重要影响

• 测量工具： ping


带宽利用率

• 决定何时进行线路升级• 通常商业 ISP 在线路利用率到达 35% 时就要升级• 对 CERNET 主干网，线路升级的前提是线路利用率达到 70%

• 测量工具 : mrtg, snmp, telnet etc


网络可用率

• 网络可用率 = 网络可用时间 / 总时间• 是 IP层的可达性• 99.9%: 一个月的断网时间不能超过 45分钟• 99.99%: 一个月的断网时间不能超过 5分钟• 大部分运营商的网络可用率为 99.9% ，部分可以达到 99.

99%• 通常网络设备的可用率在 99.99%以上，链路的可用率在

99.9%以上

• 目前 CERNET 主干网的平均可用率超过 99.9%


每秒包数量（ PPS）

• PPS对网络设备的性能（如路由器 CPU）影响很大，因此影响网络的延时与抖动等，如 Nachi病毒爆发时的情景

• PPS对 DOS/DDOS攻击的测量非常简捷– 通常千兆以太网的 PPS 可能在 10 万个包左右（ basel

ine），如果突然升到 20 万个，很可能发生了攻击

• 测试工具： show interface, snmp tools etc.


设备 CPU 与内存

• CPU使用率最好不要超过 30% ，否则一有攻击时，设备将变得很脆弱


CERNET分布式性能监控系统架构

Agent

PoP

Agent

PoP

Agent

PoP

Agent

国家中心

显示

……

Core

AccessCore

Access

Core

Access

Access

Core

38 个节点


主干网 38 个节点延时排序


主干网 38 个节点 7609 CPU排序


主干网 38 个节点机房温度排序


38 节点主干线路利用率排序


38 节点网络抖动排序


38 节点网络可用率（ 4 月份）

38 节点月平均网络可用率为 : 99.98%


西安和乌鲁木齐节点带宽利用情况

西安 2x2.5G:

乌鲁木齐 3x155M:


呼和浩特节点主干线路利用情况

流量情况

温度情况


SLA 和 QoS

• SLA: Service Level Agreement, 服务质量协议• SLA是网络运营商与用户之间签定的协议， SLA

定义了提供的服务质量：包括带宽利用率、延时、丢包、抖动等

• QoS是 SLA 在技术方面的体现

商业

SLA

技术

QoS


SLA 实例 : Level 3

延时

丢包

可用率

抖动带宽保证


SLA 实例 : Sprintlink

DelayPacket

lossAvailability Jitter

North America 55 ms 0.30% 99.90% 2 ms

Europe 44 ms 0.30% 99.90% 2 ms

Asia 105 ms 0.30% 99.90% 2 ms

South pacific 70 ms 0.30% 99.90% 2 ms

Continental US

(Peerless IP)55ms 0.1% n/a 2 ms


CERNET 主干网 SLA

SLA参数指标网络可用率 > 99.9%

网络延时 < 150ms

网络丢包率 < 0.1%

网络抖动 < 6ms

带宽利用率 < 70%


CERNET NOC

• 定义：所有运行维护和管理 CERNET 网络的工作人员• 职责：负责运行和管理 CERNET 主干网、地区网、省级网，确保线路

的畅通，机器、设备的稳定运行，路由的正常管理与维护等，保证整个网络的稳定、安全可靠和高效地运行。

• 任务：– 故障管理 : 故障的发现、报告、定位及排除– 配置管理：配置修改、版本控制、保证 IP 路由正确性– 性能管理：服务质量保证、网络性能统计与分析、异常流量监控– 计费管理： netflow/sniffer ，基于国际入流量的计费模型– 安全管理： CCERT ，网络攻击及病毒的预防、应急处理

• 组织活动– 每周 38 个节点的网络视频会议 – CERNET 主干网运行工作会议


CERNET NOC组织结构

NOC 主管专家

CERNET 网络中心 NOC

地区中心 NOC 地区中心 NOC 省主节点 NOC……


CERNET 主干节点 NOC 主任名单• 北京大学王竹威• 北京邮电大学张晓冬• 西安交通大学丁会宁• 电子科技大学李育强• 华南理工大学叶昭• 华中科技大学贺聿志• 东南大学吴剑章• 上海交通大学周子豪 • 东北大学温占考• 天津大学鹿凯宁• 河北师范大学刘宏忠• 太原理工大学武江• 内蒙古大学许智君• 青海师范大学黄科军• 兰州大学陈文波• 宁夏大学余秀雅• 新疆大学刘胜全• 重庆大学唐学文

• 云南大学杨勇• 贵州大学高鸿峰• 西藏大学安宝坤• 广西师范大学邓剑锋• 广西大学刘宁• 海南师大刘元鼎• 深圳大学江魁• 中南大学黄家林• 郑州大学陈刚• 中国科技大学张焕杰• 山东大学张健• 中国海洋大学李璐• 浙江大学俞宏知• 南昌大学段小荣• 福州大学赖伟堂• 厦门大学陈晓筹• 大连理工大学于广辉• 吉林大学玄光哲• 哈工大吴刚


每周 NOC视频会议


2007 年 CERNET 主干网运行工作会议

• 2007 年 6 月 27至 28 日在海南三亚举办• 共 36 个节点的 NOC 人员参加会议• 会议除技术与经验交流外 ,还对主干网的管理进行了研讨


实行主动式网络管理• 主动式网络管理– 在用户发现故障之前先发现– 在用户抱怨之前先解决掉

• 实现主动式网络管理的因素– 人 : 态度、能力、方法– 工具 : 简单实用的网络管理系统（基本自己开发）

基于 WEB ，方便访问与管理实时报警：手机短信，语音报警精细化管理 : 基于流的管理

• 运行人员要求 PPP (Positive, Persistent, Perfect)

主动积极，坚持不懈，追求卓越！


CERNET 网络运行中心

• 实行全年不间断网络运行服务和技术支持– 365×24小时运行值班– 365×24小时技术主管呼叫响应 (24小时手机响应 )– 热线电话 : 010-62784048– Email: [email protected]

• 国家网络中心 NOC 人员 (13人）初级网络管理人员 : 5 (CCNA) 中级网络管理人员 : 6 (CCNP) 高级网络管理人员： 1 (CCIE) 网络运行主管 : 1


CERNET 网络运行中心


最新的科研

• CERNET2 is Pure IPv6, 全世界唯一• Softwire(IPv4 over IPv6), RFC4925• SAVA,真实源地址体系结构• IVI ， IPv4/IPv6无缝访问 (stateless end-to-end

translation)• 用 IP 地址直接标识用户、服务等• IPv6 网管、应用等


谢谢

CERNET 主干网运行报告

Documents

Transcript of CERNET 主干网运行报告