菅野 貴志 / Takashi SuganoSenior Solution Architect2015.09.30

Software Definedが再定義するストレージ – OpenStackデファクト標準ストレージ Ceph

Customer Ready 2

Storage in OpenStack

Customer Ready3

OpenStack ストレージの課題● 複雑化するストレージの要件

– ブロック & オブジェクト ストレージ– テナントにより異なる SLA や機能、性能、コスト要求

● OpenStack 変化のスピードへの追従– どの技術、どのベンダーを選択するのが最善なのか？

Customer Ready4

Software Defined アプローチの潮流● アーキテクチャーを統一

– 一つのストレージ プールで、ブロックもオブジェクトも扱う

● SLA ごとにディスクを選択可能– SSD or HDD 、内蔵 or 外部、 FC or iSCSI or …

● スモールスタートして、必要に応じてスケールアウト– ROI を高めるためには当然

● 構築〜運用〜監視の自動化– Linux ツールや Web サービスを API 経由でフル活用

DevOps サイクルをまわす

Customer Ready5

OpenStack ユーザーの利用状況

OpenStack Superuser, User survey identifies leading industries and business drivers for OpenStack adoption

Customer Ready 6

Software Defined Storage

Customer Ready7

分散ブロック／オブジェクトストレージ

スケールアウト ファイル／オブジェクト ストレージ

● オブジェクト ストレージ● OpenStack ● 仮想化● etc.

● Big Data● HPC● 仮想化● ファイルサーバー● アーカイブ● etc.

Red Hat ストレージ製品Software-Defined 、オープンソース

Customer Ready8

Ceph アーキテクチャー

● RADOS – 核となるオブジェクト　　　　ストレージ基盤

– 高信頼性、自己修復、分散型をテーマとした論文の理論を実装し、その後、起業

– OSD – データの読み書きを担う、自身や　　他 OSD の状態監視

– Monitor – Ceph クラスター階層マップを管理● LIBRADOS

– RADOS 機能に直接アクセスするライブラリ● RBD

– RADOS をブロックストレージとして見せる● RGW

– S3, Swift 等 Ceph ネイティブ「でない」　API 用のゲートウェイ

Customer Ready9

Ceph 構成例 – 500+TB クラスター● 大まかなサイジング目安

– 管理ノード x1

– Monitor ノード : OSD ノード = 1 : 20 ( 3~, odd#)

– OSD ノード● VCPU: OSD# / 2● RAM: 1TB = 1GB● JBOD (RAID)● 1 SSD for journal write /

5 Disks● Disk# = OSD#

Ceph monitor x3

● CPU: 6c/2s ● RAM: 128GB● HDD: SATA 500GB x2 (OS)● HDD: SAS 6TB x20 (OSD)● SSD: 128GB x4● NIC: 1GbE x1, 10GbE x4

500 / (6*20*.85) * 3 = 15 nodes (replica 3)

Customer Ready10

OpenStack と Ceph の組み合わせ

● Ceph ストレージ プールですべてをカバー– ブロック ストレージ (Cinder, Glance, Nova と RBD 連携 )

– オブジェクト ストレージ (Swift を代替 or S3)

● Cinder, Glance, Nova (qemu) のネイティブ ドライバー– OpenStack リリースに同梱– Librados 実装で高パフォーマンス– Copy-on-Write で高速イメージ複製– 効率的な Live Migration

– RGW 経由で Keystone とも連携

Customer Ready11

事例 — 国内有名私大● 学内クラウド

● OpenStack Cinder / Glance のバックエンドとして Ceph を採用

● デル様と連携のもと、構築を実施中– PowerEdge 20+ ノード– 10 xN ~ 200 PB ストレージプール

Customer Ready12

事例 — CERN 欧州原子核研究機構● 研究者、学生向けの研究インフラをクラウドで提供

– 2013 年に本番稼働、大半のサービスは移行済み● ３ペタバイト Ceph クラスター● 4 つのストレージ オプションを提供

– 標準／高 IOPS (x5) ／クリティカルデータ／ NetApp

● 高い耐障害性を証明– 週次〜月次のディスク障害、２度のサーバーダウン、

部分停電 2014/10 、ルーター障害 2015/03

– ↑すべてデータ破損なし

“１０ペタバイトまでは、 Ceph は「ちゃんと」動くよ！”→最新バージョンでさらに改善

Customer Ready13

事例 — Yahoo!

● 統一オブジェクト ストレージ基盤– COS – Cloud Object Store

– 250+B objs! 年率 25% Up

– Flickr で採用– Mail, Video, Tumblr へ拡大予定

● 品質改善へ高い貢献– Ceph は LGPL ライセンス– RadosGW の性能上ボトルネック

を解消するコードを寄贈、等

Customer Ready 14

Wrap Up

Customer Ready15

本日のまとめ● 複雑化するストレージ要件は、ソフトウェア アーキテクチャーで統一● 足もとのディスクは、コスト／パフォーマンスを考慮して組み合わせる● Ceph は OpenStack のデファクト標準ストレージ● コミュニティ／企業の支持による DevOps サイクルが確立されている

次のステップとして…● Ceph Test Drive – jp-redhat.com/storage

– AWS 上で利用できるハンズオン環境（要 AWS アカウント）● Red Hat 認定トレーニング – Coming soon!

– OpenStack Administration III

Customer Ready 16

THANK YOU