Ignite 2017 落穂拾いStorage編

Takekazu Omi

takekazu.omi@kyrt.in

2017/10/18 R1.0.0

『落穂拾い』（仏: Des glaneuses）

1857年

ジャン＝フランソワ・ミレー作

kyrt inc 22017/10/18

どこから - https://myignite.microsoft.com/

Sessionを検索

https://myignite

.microsoft.com

/sessions

kyrt inc 32017/10/18

概要見るのは良いけど、パワポや動画をダウンロードするのが面倒

kyrt inc 42017/10/18

Get-IgniteSession.ps1

Igniteセッションをダウンロードするスクリプト、2017対応済み

https://gallery.technet.microsoft.com/Ignite-2016-Slidedeck-and-296df316

お勧め（全部落とすと290GBほどある） セッションタイトル(-Title)を指定する、パワポのみにする(-

NoVideos)

Title は、 -ilike “*$Title*”でマッチ

kyrt inc 52017/10/18

ありがとう Michel！

kyrt inc 62017/10/18

Azure Blob Storage: Scalable,

efficient storage for PBs of

unstructured data

BRK2256

非構造化PBデータのためのスケーラブルで効率的なストレージ

https://myignite.microsoft.com/sessions/54932

2017/10/18 kyrt inc 7

Azure エコシステムと Blob Storage

Azureサービス間でのBlob

の幅広い統合

多くのシナリオを可能に

kyrt inc 82017/10/18

https://myignite.microsoft.com/sessions/54932 P12

改善事項1. 耐久性と可用性（Durable & Available）

2. セキュア＆コンプライアンス（Secure & Compliant）

3. 管理性とコスト効率（Manageable & Cost Efficient）

4. スケーラブル＆パフォーマンス（Scalable & Performant）

5. オープンで相互運用可能（Open & Interoperable）

kyrt inc 92017/10/18

kyrt inc 102017/10/18 https://youtu.be/YTkrHKIVzyI?t=25m20s

ZRS（現）

LRS と同様に レプリカを3つ保持

１つまたは 2 つのリージョン内のデータセンター間で非同期的にデータをレプリケート

制限

汎用ストレージ アカウントのブロック BLOB のみ

ZRS アカウントには、メトリックまたはログ機能が無い

kyrt inc 112017/10/18

https://docs.microsoft.com/ja-jp/azure/storage/common/storage-redundancy#zone-redundant-storage

新しいZRS

Zone Redundant Storageの拡張

1. ３つの異なった、 Availability Zonesへの同期コミット

2. Strongly consistent で、3箇所の異なったData

center buildings に書き込む

3. public preview が今年の終わり、GAが来年を予定

4. Availability Zone の進み方で変更されるかも

5. Blobだけで無く、Table,File,Queueもサポート（？）

kyrt inc 122017/10/18

ZRS更新まとめ

新ZRSでは同期レプリカが別AZに配置

現ZRSは非同期レプリカがリージョン内別DCに配置※別AZはリージョン内別DCに配置を意味

新ZRSでは、Table、Queue、Fileをサポート

現ZRSより汎用的。但しセッション内で言及なし

kyrt inc 132017/10/18

Storage Service Encryption（SSE)２つのパターンの暗号化をサポート

1. New –デフォルトで全てのアカウントで、MS Key管理の暗号化有効に、Coming soon（済み）

2. New - Customer 管理の暗号化キー In Preview

kyrt inc 142017/10/18

New - “Secure Transfer”

New - “Secure Transfer”

オプションで、 HTTPS only

に設定可

ARM Policy で設定

Azure Security Center

でモニタリング

kyrt inc 152017/10/18

New - Firewalls and Virtual Networks

特定のAzure VNETまたは外部インターネットIPアドレス範囲へのアクセスに制限可

Public Preview のアナウンス

kyrt inc 162017/10/18

New - AAD Authentication and RBAC

現行ではARM経由でStorage Resouce Providerにアクセスする時は、AAD, OAuth, RBACが効く

Blob Storage REST APIに、AAD,Oauthサポートを追加

RBACとの統合は、コンテナスコープのみ

On Roadmap

kyrt inc 172017/10/18

New - Immutable (WORM) Storage

機能概要

書込、変更、削除、保護

Retention-interval based policy

Audit logging

全部のblob tiers (hot, cool, archive)でサポート

Feature Benefits

SEC 17a-4(f) compliance

Legal hold support

低コストな compliance archives

Immutably store hot and cold data in a single storage account

kyrt inc 182017/10/18

New - Data Protection – Soft Delete

事故による削除からのりリカバリー

設定項目Number of days to retain (max: 365)Can be turned off

Blob levelDeleteBlob呼び出しによりエントリが生成

GA: H1 CY18

Future: Object Versioning

kyrt inc 192017/10/18

Tiered Object Storage

Hot Tier

Txコスト最小

Cool Tier

低容量コスト

New - Archive Tier

最小容量コスト

kyrt inc 202017/10/18

Blob REST API

New - Archive Storage

New Storage Tier – Archive Storage

長期保存データ向け、Cold storage

Offline data –読み出しレイテンーは時間単位

Storage Tiers 間で一貫したAPI

Blob REST APIによるアクセス

Archive tier でもメータデータは常にオンライン

kyrt inc 212017/10/18

New - Blob Level Tiering Blob-Level Tiering（ブロブ レベルティアリング） とは

個々のブロブはTier間を移動可能 すべてのTierが同じストレージアカウントに入る

New API to set blob tier: SetBlobTier サービスからはすぐにAck が返る

Get APIs (GetBlobProperties and ListBlobs) は現在のtireと archive status を返す New headers "x-ms-access-tier” and “x-ms-archive-status”

Future: Automated Lifecycle Management

kyrt inc 222017/10/18

Archive Storage まとめ

容量コストが低い

読み出すのは時間がかかる（メタデータは別）

バックアップやディザスタリカバリのデータセット向け

独自リテンションの実装ができるBlob単位でTierを変更できるので

kyrt inc 232017/10/18

kyrt inc 242017/10/18

kyrt inc 252017/10/18

日本の予定は不明

New - Storage Account Scalability

Storage Accountスケールターゲットを増加

1. 500TB → 5 PB storage capacity

2. 20K → 50K Requests/sec

3. 20Gbps → 50Gbps Bandwidth

More coming in late CY17 & CY18

kyrt inc 262017/10/18

Block Blob:最大 ５TBへ拡張

Large Block Blobs

Single Blob max increased 25x to 5TB

書き込みスループットの改善

Small Block Blobs

read latency の改善 blobs <4MB

kyrt inc 272017/10/18

New - Azure Storage Events

データ変更イベントが拾える PutBlob, PutBlockList, DeleteBlob

kyrt inc 282017/10/18

その他

Azure Data Box PREVIEW

AzCopy on Linux

Blobfuse FUSE adapter for Linux

Storage Metrics/Logs - Azure Monitor

Integration PREVIEW

kyrt inc 292017/10/18

Archive Storageとか、

どうなっているの？

kyrt inc 302017/10/18

Inside Microsoft Azure datacenter

hardware and software architecture

with Mark Russinovich

BRK3203

Inside Microsoft Azure datacenter

ハードウェアとソフトウェアアーキテクチャhttps://myignite.microsoft.com/sessions/54962

2017/10/18 kyrt inc 31

顧客データPB～EBへ

Storage System

EBからZBへ

継続的なコスト低減Gen4で0.005

kyrt inc 322017/10/18

クラウドでのstorage テクノロジーの進歩

kyrt inc 332017/10/18

HDD

Tape

SSD

$$$$

$$$

$

Access latency

Data

tem

pera

ture

μs ms seconds hours

Hot

Frozen

Tape Storage

Azure Archival storage for blobs ではTape

システムを利用

IBM TS3500

kyrt inc 342017/10/18

https://youtu.be/1yUZ81dCqBg?t=53s

https://www.ibm.com/us-en/marketplace/ts3500

クラウドでのstorage テクノロジーの進歩

kyrt inc 352017/10/18

HDD

Tape

$$$

$

Access latency

Data

tem

pera

ture

μs ms seconds hours

Hot

Frozen

Pelican

$$

SSD

$$$$

pelican

Microsoft Researchで研究

テープライブラリをサポートするのに十分な大きさではないリージョンのアーカイブストレージに展開予定

かなり良いコスト効率を実現

kyrt inc 362017/10/18

基本的な仕組み

1ラックに、多くのストレージと、幾つかのcompute サーバー(2台)を入れる

PCIe でラック全体に

必要なHDDのみに電源を供給する最大ディスクの8％

1152 HDD/522U

kyrt inc 372017/10/18

Project Pelican

https://www.microsoft.com/en-

us/research/project/project-pelican/

kyrt inc 382017/10/18

次世代ストレージ

2017/10/18 kyrt inc 39

Project Silica

kyrt inc 402017/10/18

https://youtu.be/Lv8fDiTNHjk?t=1h1m13s

DNA – Project Palix

kyrt inc 412017/10/18

https://youtu.be/Lv8fDiTNHjk?t=1h3m50s

ストレージもいろいろありますね

終kyrt inc 422017/10/18