ホワイトボックススイッチで挑むオール DCI 100G化

楽天株式会社

クラウドプラットフォーム部

藤井博貴

2

自己紹介

⚫ 名前: 藤井博貴 (Hiroki Fujii) CCIE #54014

⚫ 所属: 楽天株式会社

⚫ 主な仕事内容: 楽天市場や ID/ポイントなど

社内共通システムの NW設計/構築/運用

⚫ 経歴: 2012 - 日系 SIer

2014 - 外資系 SIer

2018 - 楽天 (日…外資系?)

⚫ 最近ハマっていること: OSS 勉強、ゴルフ

3

今こそ100G回線で DCIだ！

いつも通り、A社とB社から100G搭載機器の見積書もらいまーす

もっとコスト削減考えて、ホワイトボックススイッチで EVPN接続だ！

メインDCI (DC間接続)の議論にて

… (導入期日まであと2カ月)

4

背景

既存 DCIネットワークの課題

◼高コストなIT資産

◼ WAN回線帯域幅の限界

◼拠点間L2ファブリック接続

◼非効率的なネットワーク構成 (Active-Standby)

◼ベンダー独自技術使用のため互換性無し

http://imcreator.com/free/business/gamestorming-workshop

5

2カ月後…

6

先ず結論

安心してください、動いてますよ！

https://www.photo-ac.com/main/detail/471281?title=%E5%96%9C%E3%81%B6%E3%82%B9%E3%82%AD%E3%83%B3%E3%83%98%E3%83%83%E3%83%89%E5%A4%96%E5%9B%BD%E4%BA%BA%E7%94%B7%E6%80%A7

7

マイグレ開始後のDCIトラフィック by Grafana

既存回線

新規回線 (100G)

8

基本設計

EVPN プロトコル

データプレーン（Overlay） VXLAN

コントロールプレーン MP-BGP

UnderlayeBGP

(IPv6 Link-Local Address)

9

検証環境構成図

10

#3 SW1 #3 SW2

#1 SW1 #1 SW2

#3 RT1

#1 RT1 #1 RT2

拠点 #3

拠点 #1

100G

#2 SW1 #2 SW2

#2 RT1 #2 RT2

#4 SW1 #4 SW2

#4 RT1

物理構成図

拠点 #4

拠点 #2

11

#3 RT1

#1 RT1 #1 RT2 #2 RT1 #2 RT2

#4 RT1

#3 SW1 #3 SW2

#1 SW1 #1 SW2

拠点 #3

拠点 #1

eBGP

#2 SW1 #2 SW2

#4 SW1 #4 SW2

論理構成図 - Underlay

LP

LP LP

LP LP

LP LP

LP

拠点 #4

拠点 #2

12

#3 RT1

#1 RT1 #1 RT2 #2 RT1 #2 RT2

#4 RT1拠点 #3

拠点 #1

MP-BGP

論理構成図 - Overlay

拠点 #4

拠点 #2

#3 SW1

#1 SW1

#4 SW1VTEPVTEP

VTEP

#2 SW1

VTEP

#3 SW2

#1 SW2 #2 SW2

#4 SW2VTEPVTEP

VTEP VTEP

13

苦労したこと

https://www.flickr.com/photos/thomasleuthard/8597609828/sizes/l/

14

苦労したこと - ホワイトボックススイッチ向け

✓最適なDCIネットワーク構成の模索

Before After

15

苦労したこと - ホワイトボックススイッチ向け

✓回線障害発生時の経路最適化

#3 RT1と#4 RT1間 P2P接続

低速

16

苦労したこと - ホワイトボックススイッチ向け

✓回線障害発生時の経路最適化

#3 SW1と#4 SW1間 WAN回線断

低速

17

苦労したこと - ホワイトボックススイッチ向け

✓回線障害発生時の経路最適化

低速

緑色トラフィックが迂回 (低速回線経由)

18

苦労したこと - ホワイトボックススイッチ向け

✓回線障害発生時の経路最適化

#3 SW1と#4 SW1のダウンリンクを自動シャットダウン

低速

19

苦労したこと - ホワイトボックススイッチ向け

✓CLI設定と /etcファイル設定の連携

✓動作判断 (仕様? バグ?)

- VXLANカプセル化用の内部インターフェース確保

- VRFと EVPN紐づけの制約 (mLAG構成へ変更)

- Overlay BGP アップデートパケット送信不可

- Port-Channel 障害時の影響範囲

20

苦労したこと - 100G回線向け（シングルモード）

100G回線向け（シングルモード）

✓物理層エラー解消 (bitエラー)

光ケーブル清掃実施

21

学んだこと

https://www.photo-ac.com/main/detail/1857959?title=%E6%9C%AC%E3%80%80%E3%83%93%E3%82%B8%E3%83%8D%E3%82%B9%E3%80%80%E5%8B%89%E5%BC%B7%E3%80%80%E9%9B%BB%E7%90%83

22

ホワイトボックススイッチ向け

✓OSアーキテクチャーの理解(特に daemonの動作）

✓ハードウェアパーツの互換性確認

✓十分な検証期間の確保

100G回線向け（シングルモード）

✓ケーブル、光コネクタフェルール端面 SFPクリーナー保持

✓回線事業者との連携の重要性

全体を通して

✓ Linuxサーバ経験＋ルーティング、スイッチングの基本的な知識

学んだこと

23

まとめ

次世代DCIネットワークの特徴

➢スーパー低コストでの全拠点間100G化

➢スーパー効率的なネットワーク構成 (ECMP+ Active-Active)

➢スーパー充実したポート種類 (10G,25G,40G,100G)

➢スーパー柔軟なサービス提供可能 (L2/L3同時接続)

➢スーパーシンプル、且つ頑丈なネットワーク

➢スーパー容易な運用自動化 (Configuration as Code)

24

2019/01 2019/03 2019/06 TBD

東日本100G化

オペレーション

自動化

西日本100G化

DCI TE

Underlay SR

Overlay QoS, IPv6

2019/12

メインDC間400G化

DCI 中長期ロードマップ

http://imcreator.com/free/transportation/the-endless-road