本当は恐いビッグデータとネットワークの深～い関係...

ビッグデータとネットワークの深～い関係ビックデータ時代に耐えうるデータセンターとは？

ブロケードコミュニケーションズシステムズ株式会社

システムエンジニアリング本部

システムエンジニア

中本滋之

1 © 2014 Brocade Communications Systems, Inc.

Agenda

•ビックデータのトレンドとネットワークインフラの課題

•ビックデータを支えるファブリック

•ストレージ専用ネットワークのすすめ

•導入事例

•まとめ

© 2014 Brocade Communications Systems, Inc. 2

ビッグデータのもたらす価値

• PC,モバイル端末の普及

• 回線の高速化

• 半導体の性能向上

• 単位性能当りのコスト削減

• 多様なデバイスの電子化(ICカード、音楽プレイヤ、デジタルカメラ,ETC)

• 端末利用者層の拡大

高精度な予測に基づくビジネス展開

大量の情報処理 ITコストの効率化多様な情報の解析

•リアルタイム •ストリーム


ビックデータのトレンド

• IoT

• 過去の事象の発見

• ストレージ上の情報の解析

• バッチ指向。

• Query 駆動: 静的データに対するクエリの発行

• 現在(もしくは直近)の事象の発見

• 流れているデータを(ストアされる前に)解析

• 低遅延、リアルタイム指向

• データ駆動 : 流れるデータに対するフィルタ

5

リアルタイムに BIGDATA を扱うとは？ストリームコンピューティング

従来の処理ストリームコンピューティング

Real-time Analytics

© 2014 Brocade Communications Systems, Inc.

6

リアルタイム + ビッグデータの課題

基盤は一体どこまで拡大するのか？

超分散環境の構成管理・運用はどうする？

リアルタイム＋

ビッグデータ基盤 DWH

Stream data

Social/Open data

• リアルタイム処理の要求 • ソースとなるデータ量が爆発

アプリケーション単位での可視化は？

効率のいい性能維持方法は？


ビッグデータ(Hadoop)用インフラの考察

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 7

効率的な帯域確保が困難

パケット消失

増えたデバイスの管理負荷増大

ビッグデータの特性

バースト性リアルタイムトラフィック

予測できない拡張

Optimized Resource 機器の有効利用

Smart Management 運用負荷の低減

問題点ソリューション

Simple Network シンプルネットワーク

増え続ける大量のサーバ間トラフィック

拡張計画が困難

トラブルシューティングの複雑さ

•固定構成

•ヘアピン型トラフィック

•スパニングツリー

•ループ障害

•個別の機器管理


従来のネットワークの課題

従来の階層型アーキテクチャ

Core

A

ggre

gation

Acc

ess

50% VLAN ACL QoS

ヘアピンループ障害

データセンタ・ファブリックによる課題の解消

9

Realtime/BIGDATA For Services

Simple/Autonomous For computing

Fabric


ビッグデータを支えるファブリック

10 © 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only

11

DATA CENTER FABRICs 高性能（広帯域・低遅延）

シンプル安心

高ROI/低TCO

Ethernet Fabric

リアルタイム処理とリソース最適化のための基盤技術

Fiber Channel Fabric

ビッグデータ処理とリソース最適化、

アプリケーション可視化のための基盤技術


そもそもファブリックとは？

• “ファブリック”とは布地・生地のこと

• IT では、スイッチにより構成されるネットワーク全体を表す。

11/10/2014 12

ファブリック布地・生地


データセンタ・ファブリック技術の系譜

13

ファブリック技術の特長 • 自律的：プラグ&プレイネットワーキング • 広帯域：アクティブ・アクティブパス • 低遅延：ハードウェア処理 • 高可用性：フロー制御による順列保証 • 高信頼性：障害時の収束時間の極小化

I/O チャネル技術

Fibre Channel Fabric 技術

Ethernet Fabric 技術


オープンネットワーク技術

(Ethernet)

Dat

a C

ente

r SA

N

Fibre Channel

Brocade 6520 Switch Brocade 6510 Switch

Dat

a C

ente

r LA

N

Ethernet/IP

Brocade VDX 6740/6740T/6740T-1G/6730

Brocade DCX 8510 Backbones

Brocade ICX Series

Brocade 6505 Switch

Brocade VDX 8770 Brocade MLXe Series

Traditional Ethernet (L2/3)

Ethernet Fabric (L2/3)

Brocade Blade Server Switches

製品ポートフォリオデータセンタ向け製品から抽出

14

Fiber Channel Fabric

ストレージ等のリソースエリアネットワーキングに最適 →ファブリック


データセンター・ネットワークで No.2!!

IDC Japan レポート

15

日本国内データセンター・ネットワーク

インフラ市場ベンダシェア

出典: IDC Japan, 2013年9月「国内データセンター向けネットワーク機器市場 2012年の分析と2013年～2017年の予測」（J13010107）

対象製品:

Ethernet switch

Layer 4–7 switch

WAN Application Delivery

Fibre Channel switch

“ブロケードは、データセンター向けネットワーク機器ベンダーとして、市場動向を左右するベンダ” - IDC Japan

国内データセンターのイーサネット・スイッチ市場でもNo.2!! - IDC Japan

31.4%

Brocade 30.2%

7.9%


• 自由なスイッチの接続と簡単スケールアウト

• スイッチ間リンクは設定不要

• 複数リンクの自動アグリゲーション

• 複数経路の自動バランシング

• ループ排除のためのSTPの設定不要

2013/1/29 Enterprise Cloud Management Forum © 2013 Brocade Communications Systems, Inc. 16

シンプルネットワーク(Simple Network)

fabric port

edge port

ネットワークデバイス

サーバストレージ

RBridge ID = 1

RBridge ID = 3

RBridge ID = 2

RBridge ID = 4

RBridge ID = 5

ポート属性の設定

設定の必要がないポート

ループの心配がなく設定項目も少ない

機器の有効利用(Optimized Resource)

• アクティブ・アクティブマルチパスによる全帯域活用

• バーストトラフィック対応の深いダイナミックバッファ

• スイッチ間リンクの中をフレームレベルでロードバランシング

次世代の帯域管理と帯域効率を実現 (FC技術のEthernetへの転用)


投資を無駄にしない

自社ASICによるフレームベース、ロードベースの負荷分散

5G 5G 5G

VDX

VDX

15G

深いダイナミックバッファ


運用負荷の低減(Smart Managemnet) １ファブリック内の全物理スイッチを、論理的に1台として管理・設定が可能

Virtual IP

CLI

運用管理者オーケストレーションツール

API Open stack Restful API Netconf Openflow ...

ロジカルシャーシの主な特長

• 最大48台の物理スイッチ

• 1つの設定ファイル

• 各種APIをサポート

• 管理工数、運用負荷低減

オペレーションの簡略化と自動化

Virtual IP ログイン

VDX

VDX VDX VDX VDX


VDX

VDX VDX VDX VDX


show xxx configuration

管理スイッチのフェイルオーバー

showコマンド、コンフィグを一台のスイッチから実行

ファブリック内の全てのスイッチを一台のスイッチからアップグレード

各スイッチへのログイン、 showコマンド等も可能

VDX VDX VDX VDX


ロジカルシャーシ : 自律と一元管理の共存

VCS ファブリックの導入

• ファブリック形成プロトコルの手順:

• RBridge ID, VCS ID の設定

• デバイスポートの設定

• 冗長化(vLAG)設定

• 必要であれば VLAN 設定

シンプル！

© 2014 Brocade Communications Systems, Inc. ITインフラサミット 2014 20

VCS設定コマンド(全てのスイッチにログインする必要なし) sw0# vcs rbridge-id 3 vcsid 1 logical-chassis enable

sw0# vcs logical-chassis enable rbridge-id 2-3 default-config

sw0# conf t

sw0(config)# interface Port-channel 1

sw0(config-Port-channel-1)# vlag ignore-split

sw0(config-Port-channel-1)# switchport の設定

sw0# conf t

sw0(config)# interface TenGigabitEthernet 1/0/7 (ポート7の場合) sw0(conf-if-te-1/0/7)# channel-group 1 mode on type standard

RBridge ID = 1

RBridge ID = 2

RBridge ID = 3

必要な冗長化チャネルの分だけ(RBID1,3)

vLAGで使用するインタフェースだけ

vLAG

vLAG vLAG


ポート・オンデマンド(POD)、キャパシティー・オンデマンド(COD) で実現する超スモールスタート

VDX6740/6740T 48x10G, 4x40G

8x10G port

8x10G port

8x10G port

16-port CoD

16-port CoD

16-port CoD

必要なタイミングでPOD

によるアップグレードが可能

8ポート 10GPOD

16ポート COD

ライセンスベースアップグレードの採用により、初期導入コストを抑制

2x40Gport

2x40Gport 2ポート 40GPOD

VDX6740T-1G 48x1G, 4x40G

2x40Gport

2x40Gport

2ポート 40GPOD

実際のポートアサインはダイナミック実際のポートアサインはダイナミック

• Fibre Channel Fabric

• 簡単に構成、スケールアウト

• 低遅延がオールフラッシュアレイ(XtreamIO)の高IOPSを活用

• OLTPからOLAPまで広範囲にカバー

• Ethernet Fabric

• 簡単に構成、スケールアウト

• ノード分散、高スループット構成を単一ネットワークで構成

• スケールアウトストレージ・分散ストレージにベストマッチ


Fabric を使う利点

Result Set

Hadoop, GlusterFS,

その他分散サービス

Hadoop Data Nodes, Streams Filter nodes

ストレージ専用ネットワークのすすめ


共有ネットワークは、ストレージに向いていない？

•ストレージは、厳密なSLA (IOPS、スループット、応答時間)により管理されている。

•ほとんどの場合、共有ネットワーク上には、一般用途のネットワークトラフィックにより占められている。

•共有ネットワークでは、SLAを満たせない。

•ネットワークチームは、概してストレージに気をかけていない。


アプリケーションが性能を満たさない場合でも、どうすることもできない。

• 特性の異なる様々なワークロード

• 単一のドメイン（運命共同体）

• 運用には、個別のワークロードオーナ間の調整が必須。

• 人手を介した作業によるミスが、ストレージへのインパクト。

• パフォーマンスを確保するために複雑なQoSを設定する必要がある。また、その設定が不完全であるリスクも。

• アプリケーションの性能が落ちた場合もしくは停止した場合の切り分けが困難。

• VLANでストレージトラフィックを分割しても、帯域は、共有されており、予測が困難。

共有ネットワークの課題

IP Storage

Data Center IP LAN

Servers

IP Core & Campus

LAN

© 2014 Brocade Communications Systems, Inc. Proprietary Information 25

ストレージ専用ネットワークはいかがでしょう？

• サービスレベルの確保

• 障害ドメインの分離

• コントロール範囲の独立

• ストレージトラフィックへの十分な帯域の確保。

• IP LAN 管理者との調整が不要。

• 自動化。容易なデプロイ。

• 予測可能なパフォーマンス。

Storage

Data Center IP LAN

Servers

IP Core

Storage Network

IP Core &

Campus


ストレージネットワークはストレージの一部

スケールアウトNAS と IP ストレージネットワーク

サーバー

ヘッドを追加して規模を拡大

ネットワークも自動化されて、無停止で規模を拡張できることが求められる。

フロントエンド IPネットワーク


スケールアウト分散ストレージ

サーバーベースのストレージ

ネットワークがバックプレーンに

サーバー + ストレージノード

スケールアウトスケールアウト

自動化、広帯域、バースト耐性

© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only

28

導入事例


ビッグデータ処理の事例

• 課題

• 自社エンジニアでも構築可能なネットワーク基盤により、システム全体費用に対して30%を占める構築費用を内製化し、システム全体のコスト効率の追求

• ソリューション

• Hadoopサーバ群を束ねるL2ネットワークをVCSファブリック化

KDDI Hadoop 基盤

Brocade Data Center Innovation Seminar - 2013/2/6 © 2013 Brocade Communications Systems, Inc. 30

Hadoop ファブリック

http://www.brocadejapan.com/news/20120807

「Brocade VDXシリーズは、STPの排除以外に設定や運用を自動化する機能が備わっています。実際、今回のプロジェクトでは想像以上のシンプルさでネットワークの構築が完了し、従来に比べて約2割のコスト削減を実現できました」 KDDI株式会社技術統括本部プラットフォーム開発本部プラットフォーム技術部長石倉雅巳氏

• アクセス分析とリコメンデーションのためのリアルタイム・ビッグデータ処理基盤

• 4000台の Hadoop/Storm サーバによる超大規模分散システム

リアルタイム・ビッグデータ処理の事例 Yahoo! Japan Hadoop/Storm/DWH 基盤

http://www.brocadejapan.com/news/20140403

「Hadoop間通信に加えてデータバックアップなど、サーバー間で生じる“東西トラフィック”が増えてきた。イーサネットファブリックなら、サーバーをスケールアウトしやすい（村越氏）」


ファブリック導入ユーザからみる効果 VDXユーザアンケートの結果

削減できた

削減できた 74.1%

削減できた 81.5%

ネットワークの設定・運用工数サービス化にかかる時間

74.1%のお客様がサービス化にかかる時間削減を実感

81.5%のお客様が設定・運用工数削減を実感

まとめ

33

まとめ

• ビックデータのトレンドは、リアルタイム＆ストリーム

• ビックデータに最適なネットワークは、Fiber Channel も Ethernet もファブリック!!

• Simple Network

→ループの心配がなく設定項目も少ない

• Optimized Resource

→投資を無駄にしない

• Smart Management

→オペレーションの簡略化と自動化

• ストレージネットワークは独立ネットワークで

• ファブリックは、信頼と実績のブロケード 34 © 2014 Brocade Communications Systems, Inc.

Simple

Smart Optimized

Brocadeお悩み相談Café開催中！毎日オープン

35 © 2014 Brocade Communications Systems, Inc.

• 「ビッグデータ」と「クラウド」に最適な IT インフラを設計・構築したい方のための「お悩み相談 Café 」です。直近の疑問や課題の解決から、10 年後を見据えたデータセンター・アーキテクチャ設計のヒントまで、業界経験と専門知識豊富なブロケードのエキスパートが、最新技術、運用効率化、TCO 削減などの視点から皆さまのお悩みにお答えします。ぜひお気軽にお越しください。おいしいコーヒーと共にお待ちしています。

♦Brocadeお悩み相談Caféはこちら♦

♦お悩みキーワード♦ 仮想化/VMware連携ファブリック/ネットワーク自動化 Hadoop/分散ストレージSDN/OpenDaylight等 NFV/仮想ルータ&LB等OpenStack/データセンター自動化

Thank You


本当は恐いビッグデータとネットワークの深～い関係...

Technology

Transcript of 本当は恐いビッグデータとネットワークの深～い関係...