Ia20120118 sayama

SINET4におけるSINET4におけるマルチレイヤネットワークの運用

大学共同利用機関法人大学共同利用機関法人

情報・システム研究機構

国立情報学研究所佐山純一、青木道宏、鷹野真司

© 2012 National nIstitute of Informatics 1

説明内容

SINET4の概要SINET4の概要

• SINETの歩み

• 高信頼化機能の紹介

アーキテクチャの概要と運用アーキテクチャの概要と運用

• アーキテクチャの概要

• マルチレイヤネットワークの運用

• L1オンデマンドサービスL1オンデマンドサビス

• L2オンデマンドサービス


SINETの歩み

87 －－－－ 92 －－－－－ 02 －－－－ 07 08 09 10 11 12 13 14 15 16 17 －

研究・教育活動を支援する“情報ライフライン”（800以上の利用）

パケット交換網（X.25）クローズドネットワーク

▲1987.1

S （タネ）

▲1992.4 先端研究のための“超高速ネットワーク環境”

スーパーSINET

SINET（インターネット）

ネットワーク統合とサービスの多様化

▲2002.1

SINET3

☆ネットワークの経済的高速化

☆サービスの多様化（継続）と利便性向上

▲2007.4

SINET3

SINET4

最先端学術情報バックボーン

▲2011.4

☆サビスの多様化（継続）と利便性向上

☆エッジノードの高安定化

☆加入機関間の通信環境格差の解消

☆上位レイヤサービスの支援・展開

SINET4（5年間)

次期学術情報ネットワーク


ネットワークへの要求条件

【SINET4への要求条件】【最先端リソース】【通信の特徴】

ユーザ要望等をベースに、要求条件の徹底的な洗い出しから検討を開始

高度測定装置・センサー

最先端大型実験装置大容量データ転送

大容量DBアクセス

高速接続先端的研究分野の創出・進展をドライブ

マルチレイヤスーパーコンピューター

超臨場感メディア装置

大容量学術デタベ

大容量DBアクセス

高精細映像伝送マルチVPN各種VPNにより共同研究を協力サポート

マルチレイヤ任意のレイヤ（IP, Ethernet, L1）をサポート

大容量学術データベース

最先端学術サービス装置

人的リソース

共同研究環境形成

国際通信

柔軟なサビスの高度化

各種より共同研究を協力サポ

リソースオンデマンドオンデマンドで帯域やVPN設定を可能に

人的リソス柔軟なサービスの高度化

ユーザ要望により特有のサービスを提供

加入機関都合によるノド非ノド校も経済的高速化

【ユーザからの要望等】

加入機関都合によるノード停止の回避

非ノード校も経済的高速化が図れるアーキテクチャ

エッジノードの保守性向上ノード未整備県の解消

エッジノードの高安定化

学術基盤格差の解消


上位レイヤサービスの展開上位レイヤサービスの展開

海外研究ネットワークとの相互接続

北米、欧州およびアジア向けに回線を用意して、相互接続環境を担保

ISP向けは、国内でトランジット。商用IXとも接続


ネットワークの高速化・高信頼化

北海道－九州を縦断する40Gbpsベースの超高速・高信頼バックボーン

ノード配備の抜本的な見直しによる高速化と全ノードのデータセンタへの配備

コア・エッジ回線は全て二重化回線コア回線間はマルチループの冗長化構成コア・エッジ回線は全て二重化回線、コア回線間はマルチルプの冗長化構成

図は平成23年度末の構成

コアノード(8)

コア回線

エッジ回線エッジノード(42)

加入機関(≧700)

ッジ回線

アクセス回線

：コア回線（40Gbps）

：コア回線（10Gbps）ア回線（10Gbps）

：エッジ回線（2.4Gbps）

：エッジ回線（40Gbps）

：エッジ回線（10Gbps）米国・欧州


：コアノード

：エッジノードアジア

SINET4の高信頼化設計

SINET4では、以下のネットワーク設計を実施。

(1) データセンターへの機器配備

(2) 二重化回線（エッジ回線、コア回線）(2) 重化回線（ッジ回線、コア回線）

(3) 迂回路設定（コアノード間）

(4) 論理サービスネットワーク毎の高信頼化機能

（ルティングシグナリング高信頼プロトコル等）（ルーティング、シグナリング、高信頼プロトコル等）

(3) 迂回路

(4) 論理サービスネットワーク毎の高信頼化機能

データセンター選定基準

①任意のキャリアの回線サビスの利用が可能

(2)二重化回線

の高信頼化機能

コアノド

①任意のキャリアの回線サービスの利用が可能

②任意の事業者の各種機器類の設置が可能

③計画停電による電源供給休止なし

コア

ノード

④停電時でも、非常用電源供給装置から10時間以上継続して給電可能

⑤阪神・淡路大震災クラスに耐える耐震性コアノード

ジ

⑤阪神・淡路大震災クラスに耐える耐震性

⑥24時間365日セキュアに入退館管理を実施

⑦申請後2時間以内に担当者の緊急入館が可能

© 2012 National nIstitute of Informatics 8(1) データセンタ－

エッジノード ⑧各大学等を適切に収容可能な位置

（参考）SINET4の高信頼性

エッジ回線、コア回線は全て二重化し、かつ、ネットワークとして冗長経路を確保

エッジノード、コアノードは全てDCに設置し、地震や停電への耐性を確保

東日本大震災時にも、上記の設計が功を奏し、バックボーンとしてサービス断は発生しなかった。東日本大震災時にも、上記の設計が功を奏し、バックボンとしてサビス断は発生しなかった。

弘前大学

東日本大震災時の影響回線は全て異経路二重化

：両系切断

：被災回線

北見工業大学

北海道大学

札幌仙台金沢

山形

東北大学

弘前

北見

郡山

東日本大震災時の影響

(1) 回線一部切断したが迂回路で持ち堪えた両系切断（両系の回復は1カ月以上）

仙台東京回線札幌仙台

弘前：現用系

：予備系

両系切断

：停電

東京

茨城

・仙台－東京回線・仙台－金沢回線

片系切断（数日間片系運用）・仙台－札幌回線・札幌－東京回線

栃木

茨城

新潟

長野

静岡

・札幌－東京回線・仙台－弘前回線・仙台－山形回線・仙台－郡山回線

(2) ノド

ノードは全てDC設置

弘前：DC

山梨

群馬

埼玉

神奈川

(2) ノード停電したが非常用電源で持ち堪えた・仙台DC （約96時間）・山形DC （約28時間）・弘前DC （約17時間）

札幌仙台


千葉調布

地震、停電への耐性を確保

アキテクチャの概要と運用アーキテクチャの概要と運用


SINET4の提供サービス一覧

世最先端ビ群提供を継続するもオデドビなどを拡定

サービスメニュー SINET4 備考

E/FE/GE (T) ◎

世界最先端のサービス群の提供を継続するとともに、オンデマンドサービスなどを拡張予定。

提供インタフェース GE (LX) ◎

10GE (LR) ◎

インターネット接続 ◎

IPv6 ◎ native/dual stack/tunnel

L3サビス

IPv6 ◎ native/dual stack/tunnel

マルチホーミング ◎

フルルート提供 ◎

IPマルチキャスト ◎L3サービス

L3VPN ◎

アプリケーション毎QoS ◎

IPマルチキャスト (QoS) ◎

L3VPN (Q S) ◎L3VPN (QoS) ◎

L3VPN (マルチキャスト) 予定

L2サービス

L2VPN/VPLS ◎

L2VPN/VPLS (QoS) ◎L2サビス L2VPN/VPLS (QoS) ◎

L2オンデマンド予定

L1サービス L1オンデマンド ◎

パフォーマンス計測/改善 ◎ スループット/RTT情報提供、性能改善ソフト提供（予定）


ユーザ支援サービストラフィック利用状況 ◎ 個別にSINET利用推進室にお問合せください

商用クラウド接続 ◎

※ その他のサービスも検討中

SINET4のアーキテクチャ

NWの高速化：ネットワーク構成の見直しやダークファイバ＋WDM技術などにより経済的に高速化

サービスの多様化：SINET3のアーキテクチャを継承し、リソースオンデマンド機能等を強化・拡張

エッジ高安定化：エッジノード・コアノードともにデータセンターへ設置

格差の解消：アクセス系の高速化を非ノド校も展開ノド未設置県の解消格差の解消：アクセス系の高速化を非ノード校へも展開、ノード未設置県の解消

上位レイヤ展開：上位レイヤサービスを支援するインタフェースやサービス共通プラットフォームを整備

上位レイヤサービス

コア回線（40Gをベス）

SINET3

10G 40Gコアノド

L1ｵﾝﾃﾞﾏﾝﾄﾞ機能ﾘｿｰｽｵﾝﾃﾞﾏﾝﾄﾞ機能、ｻｰﾋﾞｽ共通ﾌﾟﾗｯﾄﾌｫｰﾑ、等

コアノード（エッジ機能含む）

8拠点(ﾃﾞｰﾀｾﾝﾀｰ)

エッジ回線（2 4G～40G）

（40Gをベース）12 拠点

（ﾃﾞｰﾀｾﾝﾀｰ）

10G～40Gコアノード

広域LAN/Bフレッツ

構造変更

光ｱｸｾｽ網等

（エッジ機能含む）

エッジノード42拠点

(ﾃﾞｰﾀｾﾝﾀｰ)

（2.4G～40G）

62 拠点

1G～20G

エッジノード

ッツ

H23年度末

アクセス回線（1G～40G）

ノード校

ノード校

ノード校

62 拠点（ノード校）

10M～1G

ダークファイバ＋WDM技術

H23年度末


約700拠点（ﾕｰｻﾞ拠点）

630強拠点（非ノード校）

加入機関

加入機関

加入機関

加入機関

加入機関

加入機関

加入機関

加入機関

非ノード

校

非ノード

校

非ノード

校

非ノード

校

非ノード

校

バックボーン構成～ネットワーキング方式～

多様なサービス（VPN、リソースオンデマンド、マルチレイヤ、マルチキャスト等）を単一バックボーン上で実現するために、SINET3のアーキテクチャを踏襲。

論理ルータ機能やL1スイッチ機能を用いてサービス毎の論理ネットワークを構築。

リソース（帯域、VPN）オンデマンド制御機能などの先端機能に関してはＮＩＩ独自で開発。

加入機関装置リソース

IPルータ

IPv4/IPv6

L3VPN

data IP Ether

L3

L2SW

data IP Ether IPv4/IPv6

: 論理ルータリソス

オンデマンド制御サーバ

data IP EtherVLAN data IP

data IP MPLSd t IP EthVLAN

EtherVLAN

EtherVLANL3VPN

L2VPN/VPLS

L2ｵﾝﾃﾞﾏﾝﾄﾞ

data Ether

L2data Ether

L2VPN/VPLS

L3VPN

帯域は無瞬断変更可能

data EtherVLAN

data IP MPLS

data EtherVLAN MPLS

data EtherVLAN MPLS

data EtherVLAN

data IP EtherVLAN

EtherVLAN

EtherVLAN

EtherVLAN


L2/L3用パ

L2OD

/ パ

で変更可能 data EtherVLAN MPLSdata EtherVLAN EtherVLAN


L1SW L1SW

L2/L3用パス

L1

40G/10Gbps40G/10G/2 4Gbps

L1VPNL2/L3用パス


L1SW L1SW 40G/10Gbps40G/10G/2.4Gbps

エッジノードコアノード

マルチレイヤネットワクの運用マルチレイヤネットワークの運用


マルチレイヤネットワークの運用2

シンプルなネットワーク設計

• 1パターンノードの構成を覚えると、他のノード構成をだいたいイメージできる

• ノード単位でネットワーク構成図をvisioにより管理

物理接続単位でのユーザ管理

• ノード毎に内部DB及びExcelを利用して管理• ノード毎に内部DB及びExcelを利用して管理

VLAN単位でのサービス管理

• Excelを利用して管理

SINET4の構想、設計から調達まで運用メンバーが関わっている

単一バックボーンで実現しているため、基本IPv4/IPv6でバックボーン管理


監視運用方法

監視対象となる機器は次通り監視対象となる機器は次の通り

IPルータ（GWルータ)、L1SW、L2SW(小型L2SW)、WDM、監視ルータ、サーバ

アクセス系L2ODサーバ

監視用ルータ

L1ODｻｰﾊﾞ

全体監視センタ

NE-OpS(サーバ)

NE-OpS(ｸﾗｲｱﾝﾄ)

IPﾙｰﾀ・L2監視

監視・制御網

NII

監視用ルータ

ＩＳＤＮ網

アクセス系監視センタ

WDM監視

監視用ルータ

エッジDC コアDC コアDC

STM256/64STM256/64/16

監視用ルータ

ISDN回線

監視用ルータ監視用ルータ

監視制御網ＩＳＤＮ網

L1SW

加入機関

L2SW

L1SW

L2/L3用パス L2/L3用パス L2/L3用パス

IPルータ

GW

WDM

WDM

小型L2SW

L1SW

IPルータ GW

ルータ

L2SW


WDM

IPルータ、L2SWの監視運用

IP タ L2SW 監視は通常時はバクボ経由 i やを利用実施する IPルータ、L2SWの監視は、通常時はバックボーン経由でpingやsnmpを利用して実施する

L2ODサーバ

監視用ルータ

L1ODｻｰﾊﾞ


NE-OpS(サーバ)



監視・制御網

NII

監視用ルータ

ＩＳＤＮ網


STM256/64STM256/64/16

監視用ルータ

ISDN回線



L1SW

加入機関

L2SW

L1SW


IPルータ

GW

WDM

WDM

小型L2SW

L1SW

IPルータ GW

ルータ

L2SW



WDM

IPルータ、L2SWの監視運用（障害時）

バクボ経由監視がNG なた場合は監視制御網経由 CLI ベ監視を行障バックボーン経由での監視がNGになった場合は、監視・制御網経由でCLIレベルで監視を行い、障害対応を実施する。

L2ODサーバ

監視用ルータ

L1ODｻｰﾊﾞ


NE-OpS(サーバ)



監視・制御網

NII

監視用ルータ

ＩＳＤＮ網


STM256/64STM256/64/16

監視用ルータ

ISDN回線



L1SW

加入機関

L2SW

L1SW


IPルータ

GW

WDM

WDM

小型L2SW

L1SW

IPルータ GW

ルータ

L2SW



WDM

L1SWの監視運用

L1 イ監視は監視制御網を介 NE O Sサバが行う L1スイッチの監視は、監視・制御網を介してNE-OpSサーバが行う。

L1オンデマンド制御も、監視・制御網を利用して行う。

L1オンデマンドによる障害発生時は、基本、翌営業日の日中帯に対応する。


監視用ルータ

L1ODｻｰﾊﾞ


NE-OpS(サーバ)



監視・制御網

NII

監視用ルータ

L1オンデマンド制御


STM256/64STM256/64/16

監視用ルータ監視用ルータ監視用ルータ

監視制御網

L1SW

加入機関

L2SW

L1SW


IPルータ

GW

WDM

WDM

小型L2SW

L1SW

IPルータ GW

ルータ

L2SW


WDM

装監視監視制御網を介監視う

WDM装置の監視運用

WDM装置の監視は、監視・制御網を介してWDM監視クライアントで行う。

拠点機関のWDM装置は、対向のDC設置WDM装置を介して監視・制御を行う。

アクセス系WDM監視

監視・制御網ＩＳＤＮ網

系監視センタ

監視

監視用ルータ

監視・制御



STM256/64STM256/64/16

監視用ルータ監視用ルータ監視用ルータ

L1SW

IPタ

W

加入機関

M

L2SW

L1SW

小型 L1SW


ルータ

GWルータ

WDM

WDM

L2SW

IPルータ

M

L2SW

加入機関

小型L2

M

中継局

W W© 2012 National nIstitute of Informatics 20

WDL2

SW

WD

DM

DM

監視制御網のバックアップ体制

監視用ルータ間は、OSPFによる動的ルーティングを実施

広域LANの計画作業・障害時は、自動的にISDN網を利用した監視・制御を用いる

L2ODサーバ

監視用ルータ

L1ODｻｰﾊﾞ


NE-OpS(サーバ)



NII

監視用ルータ

アクセス系監視センタ

WDM監視

監視用ルータ

監視・制御網（広域Ether網）ISDN網

監視用router

御広

監視用router

コアDC エッジDC

L1SW-1 L2SW L1SW-1 L2SWMX960

拠点機関

WDM

中継局WDM

WDM

WDM


WDM 小型L2拠点機関

小型L2

WDM

WDM

オンデマンドサビス等オンデマンドサービス等


L1オンデマンドサービス

オンデマンドでレイヤ1のエンドツーエンドパス（臨時専用線）を提供するサービス

ユーザは、シンプルなWeb画面で、接続対地、開始・終了時間、帯域、経路オプション等を指定して、L1パスの予約を要求要

L1オンデマンドサーバは、ユーザからの予約受付、パスの経路計算、等を行い、指定時間にNE-OpSに対してパス設定・開放を要求（必要に応じて、L2/L3サービス用パスの帯域を変更）

NE-OpSはL1SWにパス設定を要求し、L1SW間の通信（GMPLS利用）によりL1パスが確立 NE OpSはL1SWにパス設定を要求し、L1SW間の通信（GMPLS利用）によりL1パスが確立

接続対地、開始・終了時間、帯域等を指定

L1ｵﾝﾃﾞﾏﾝﾄﾞﾞ

ユーザ

TL1

NE-OpS

ｻｰﾊﾞ

CORBAL1パス設定・開放要求L2/L3サービス用パスの帯域変更要求 L1SWに対して指示

監視・制御網

GMPLSで LCASで

IPルータ IPルータ

GMPLSでL1パス設定

LCASで帯域変更 L2SWL2SW


L1SWL1SW L1SW L1SW

L2/L3サービス用パス

L1パス

On-demand

(10GE)

L1OD用バックボーン帯域設定

L1ODサービスでは、リンク毎に下記の2つのパラメータを設定し、帯域を調整している。

• デフォルト帯域：常に利用可能な帯域、即日利用は事前予約分を引いた範囲で利用可能

• 利用可能最大帯域：事前予約すれば利用可能な最大の帯域（定めた時間帯注)で異なる）

実際の割り当て帯域は、ユーザからの事前予約要求（要求総帯域）に基づき、以下の通りとなる。

• 要求総帯域がデフォルト帯域を超えない場合：デフォルト帯域を割り当て

• 要求総帯域がデフォルト帯域を超える場合：定めた時間帯における最大の要求帯域を割り当て

：L1OD用のデフォルト帯域

LCASは、定められた時間帯の始点と終点でのみ動作させる。

注）定めた時間帯• 平日08:00～22:00平日22 00 08 00

：L1OD用に利用可能な最大帯域

用デォ帯域

：実際のL1OD用割り当て帯域

: LCAS起動 L1ODユーザからの事前予約要求（要求総帯域）

• 平日22:00～08:00• 土日・祝日• イベント日

L1ODサービス用帯域

L2/L3サービス用帯域


月火水木金土日

L2/L3 サービストラフィックL2/L3サビス用帯域

L1ODユーザ予約画面例

(a) 対象VPN選択

(b) 対象ノード選択プルダウンで選択

(c) 時間指定 5分単位で指定

(d) 物理ポート帯域帯域： 150Mbps単位

(d) 物理ポト、帯域、経路ｵﾌﾟｼｮﾝ選択経路：

•最小遅延経路•最大帯域経路•同時経路制約（複数パスの場合）

(e) 確認画面

（複数パスの場合）


L2オンデマンドサービス(トライアル実施予定)

オンデマンドでレイヤ２のVPN（多対地のメリットを有するVPLS）を提供するサービス。

ユーザは、Web画面で、接続対地、開始・終了時間、帯域等を指定して、VPNを予約。

ネットワーク側ではパスの経路計算等を行い、指定時間にVPN設定を実施。

ユーザポートとユーザVLAN-IDはユーザが選択し、ネットワーク内で付与するVLAN-IDはネットワーク側で自動的に選択。

接続対地、（ユーザVLAN-ID)、開始・終了時間、帯域等を指定

L2VPNｵﾝﾃﾞﾏﾝﾄﾞｻｰﾊﾞ

• 機器設定情報取得• L2パス設定• QoS指定VLAN-W

VLAN ：ユーザVLANタグ

：NW内VLANタグ

帯域等を指定

ユーザ端末

NETCONF

インバンド制御インバンド制御•NW内VLANタグを付与•ユーザVLANタグは置換

L2OD-LSL2OD-LS

サービス多重

VLAN多重L2OD-LS間MPLSパス

data EtherVLAN data VLAN13 EtherEtherVLAN-W VPN-W RSVP C data EtherVLAN-W data EtherVLAN

サービス多重

サービス非多重

data EtherVLAN-Xdata EtherVLAN

dataEther data EtherVLAN-Y data EtherVLAN-Y

data VLAN13 EtherEther

data VLAN13 EtherEther

VLAN-X

VLAN-Y

data EtherVLAN-X

data EtherVLAN-Y data EtherVLAN-Y dataEther

data EtherVLANVPN-X RSVP C

VPN-Y RSVP C


L2SW 小型L2SWIPルータL2SW IPルータ小型L2SW

data EtherVLAN data EtherVLAN-Z data EtherVLAN-Z data VLAN13 EtherEtherVLAN-Z data EtherVLAN-Z data EtherVLAN-Z dataEtherVPN-Z RSVP C

商用クラウドサービスを活用した大学等のプライベートクラウド構築へのサポート

SINET VPN(L2)サービスを活用し、商用クラウドサービスを用いたセキュアなプライベートクラウドの構築をより便利に実現。

• クラウドサービス（メールサービス、ストレージサービス等）提供業者がSINETへ直接接続できる枠組を新た構築（ただ業者 SINET 接続申請手続きが必要）枠組みを新たに構築（ただし、業者のSINETへの接続申請手続きが必要）。

• 加入機関の契約したクラウドサービスと加入機関をVPN(L２)接続し、セキュアサービスを実現。

参考URL:http://www.sinet.ad.jp/service/other/cloud_services

クラウドサービス提供業者のA大学

クラウドサビス提供業者の商用データセンター

A大学が契約している業者のクラウド

SINETのVPN（L2)で接続（学内LANと同等の扱いが可能）業ラ

サービス

B大学が契約して

B大学いる業者のクラウドサービス

SINETのVPN(L２）で接続


SINETのVPN(L２）で接続

ご清聴ありがとうございましたご清聴ありがとうございました


Ia20120118 sayama

Documents

Transcript of Ia20120118 sayama