20180124_ソフトウェアテストを効率的に実施するためのデータの仮想化と自動化とは？...

ソフトウェアテストを効率的に実施するためのデータの仮想化と自動化とは？

株式会社インサイトテクノロジービッグデータ・ソリューション事業部

益秀樹

ブラウザセンサー情報UGC/UGM

常時ネット接続＝新規サービスの需要

SNS ブログ位置情報画像/動画生体情報

趣味・嗜好思想・信条関心事

行動パターン

信仰・宗教

健康状態

旅行予定

移動経路行動範囲

検索閲覧履歴

いつでも

どこからでも

即座に

シェアリングエコノミーをめぐる環境

シェアライド民泊ペット預かり家事代行

競合に対する優位性＝スピード

有識者検討会

リサーチ＆プロトタイプ

法律の整備

サービスローンチ

Ver.2 Ver.3

認可社会の動き

サービス提供者の動き

新しいビジネスモデル

競合

競合 M&A

https://bankinnovation.net/2017/07/bofa-and-chase-pull-ahead-of-wells-in-mobile-user-growth/

アメリカがうらやましい？

https://bankinnovation.net/2017/08/partnership-is-the-only-way-smaller-banks-can-compete-on-mobile/

武装が必要ですよね

という事で自動化です

システムの仮想化と自動化

サーバプール

ネットワークプール

ストレージプール

Orchestrator

Provisioning

リクエスター

指令

システムの仮想化と自動化

commit test

fix commit test

commit test

Deploy

デモ環境の説明

プッシュフック

フェッチ

コピー

実行

結果

• Fizz Buzz• Fizz：３で割り切れる数字

• Buzz：５で割り切れる数字

• FizzBuzz：3でも５でも割り切れる数字

fizzbuzz table

• “Fizz” “Buzz” “FizzBuzz”の文字列チェック

• 出現数をカウント

１～200の間の出現回数

• Fizz :53

• Buzz :27

• FizzBuzz :13

• 処理の最後にfizzbuzzテーブルを更新

1回目の処理：成功

2回目の処理：失敗

デモパターン１の説明

• Fizzの条件テスト

• Buzzの条件テスト

• FizzBuzzの条件テストfizzbuzz table

FizzBuzz

デモパターン２の説明

1. DBデータのクリーンナップ

2. Fizzの条件テスト

4. Buzzの条件テスト

6. FizzBuzzの条件テスト

fizzbuzz table

FizzBuzz

デモパターン３の説明

同時実行 fizzbuzz table

FizzBuzz

fizzbuzz table

2. Buzzの条件テスト

2. FizzBuzzの条件テスト

製品のリリースまで

RFI/RFP

要件定義

基本設計

詳細設計

実装コードレビュー

単体テスト

統合/結合テスト

システムテスト

受入テスト検証

製品のリリースまで

RFI/RFP

要件定義

基本設計

詳細設計

実装コードレビュー

単体テスト

統合/結合テスト

システムテスト

受入テスト検証

データ仮想化

&自動化

プッシュ

フック

フェッチ

コピー実行

結果

実行

結果

リフレッシュ

とは

DELPHIXエンジン

アプリケーション

ファイル

データベース

ソースシステム

SHARED DATA

CHANGED DATA

データ仮想化システムテストや開発での利用

データ仮想化ソフトウェアアプライアンスです

インジェスト

リフレッシュ

テスト環境の申請の流れ

環境提供までの待ち時間

単体テスト環境

本番DB環境のコピーを申請

統合テスト環境

品質管理環境

開発環境

システム管理者DB管理者

各種リソースの確認

領域の確認と切り出し

ファイルシステムの構成

バックアップファイルのコピー

DBのリカバリー

DBのパラメータ調整

環境の引き渡し

数日の待ち時間

ストレージ管理者

セキュリティの確保

テスト環境の申請の流れ

単体テスト環境

統合テスト環境

品質管理環境

開発環境

システム管理者DB管理者

各種リソースの確認

領域の確認と切り出し

ファイルシステムの構成

バックアップファイルのコピー

DBのリカバリー

DBのパラメータ調整

環境の引き渡し

ストレージ管理者

セキュリティの確保

数分Delphix

デモ ~プロビジョニング~

同時実行 fizzbuzz table

FizzBuzz

fizzbuzz table

再掲

同時実行fizzbuzz table

FizzBuzz

Buzzfizzbuzz table

fizzbuzz table

block pointerblock pointerblock pointer

開発 QA 受入テスト

App Data Files

✓ 重複排除✓ 圧縮✓ 仮想化により領域追加消費なし✓ ユニークなブロックマッピング技術

0.3 TB

実データブロック

Delphixの仕組みソースターゲット

App Data Files

✓ 重複排除✓ 圧縮✓ 仮想化により領域追加消費なし✓ ユニークなブロックマッピング技術

0.3 TB

Delphixの仕組みソースターゲット

ソース

App Data Files

ターゲット

Delphixの仕組み

NFSmount

0.3 TB

App Data Files

0.3 TB

NFSmount

Copy-on-write

更新

変更blockを時間管理

ソースターゲット

Delphixの仕組み

開発

NFS, iSCSImount

テスト

品質保証(QA)

DELPHIXエンジン

App Binaries, Files

DB Binaries, Files

Database

ソースシステム(本番環境など)

SHARED DATA

CHANGED DATA

高圧縮同期/差分情報コピー

（元データの1/3~1/4）

物理容量を消費せず仮想環境を複数複製

任意の時刻でプロビジョニング

自動で継続的なマスキング

コアテクノロジー仮想化システムテスト＆開発

独立した環境（1人に1システム）

仮想環境作成が数分で完了

物理環境へのプロビジョニング

(V2P)も可能

エンドユーザーによるセルフサービスも可能

デモ ~セルフサービス~

Delphixの仕組み開発 QA 受入テスト

NFSmount

高機能ストレージとの違い

Oracleアイランド

高機能ストレージ（共有ストレー

ジ）

Writable Snapshot

高機能ストレージとの違い

Oracleアイランド

高機能ストレージ（共有ストレー

ジ）

Writable Snapshot

DELPHIXエンジン

データ仮想化システム

テストや開発での利用

インジェスト

アプリケーション

ファイル

データベース

Delphixの機能

過去

未来

完全セルフサービス

デモ ~複数のOracleとセルフサービス~

顧客事例

注文入力資材管理

注文入力

資材管理

顧客事例

注文入力

資材管理

注文入力

資材管理

本番データとテストデータ

SHARED DATA

テスト

DELPHIXエンジンApp Binaries, Files

DB Binaries, Files

Database

CHANGED DATA

本番データをテストに？仮想化システムテスト＆開発

SHARED DATA

テスト

DELPHIXエンジンApp Binaries, Files

DB Binaries, Files

Database

CHANGED DATA

本番データをマスキング仮想化システムテスト＆開発

Data Masking

SHARED DATA

DELPHIX

CHANGED DATA

仮想化システム

Masked Data

SHARED DATA

テスト

DELPHIXApp Binaries, Files

DB Binaries, Files

Database

CHANGED DATA

本番データをマスキング仮想化システムテスト＆開発

Data Masking

Replication

データマスキングアルゴリズムの種類Delphixのデータマスキングは複数のアルゴリズムから選択できます

アルゴリズム説明

Secure Lookup 一貫した方法でマスク値を割り当てます。

Segmented Mapping 部分定義に基づいてデータを置換します。例）ACCOUNT NUMBERの初めの数桁はオリジナルのままのデータを保持し、残りの部分を乱数で置換。

Mapping 元データを順番に、ルックアップテーブルに予め設定している値にマップしてマスク値を決定。

Binary Lookup Secure Lookupアルゴリズムに近いが、全ファイルが特定のカラムにストアされているときのみ使用。

Min/Max データベースの値が指定された範囲の中にあることを確認することに利用。例えば年齢99歳以上という個人の特定を妨げます。

Tokenization ランダムに生成されたトークンデータと置換。トークン化環境でのみ使用することを想定。

Data Cleansing 元データがマスキングの前に標準的なフォーマットに置換することができます。たとえば、「Ariz」、「Az」、「Arizona」はすべて「AZ」に置換するようなことができます。

Free Text Redaction このアルゴリズムはフリーテキストのカラムを編集またはマスクします。ホワイトリストやブラックリストを使ってマスクする・しないを決定します。このアルゴリズムを使うには事前の相応の設定が必要になります。

不可逆

可逆

デモ ~データマスキング~

まとめ

データの仮想化と自動化で

快適なテスト・開発環境を実現しましょう

記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。

ご清聴ありがとうございました

20180124_ソフトウェアテストを効率的に実施するためのデータの仮想化と自動化とは？...

Technology

Transcript of 20180124_ソフトウェアテストを効率的に実施するためのデータの仮想化と自動化とは？...

進化とハイブリッド化...TOCICO認定ｼﾞｮﾅ、TRIZﾌﾟﾗｸﾃｨｼｮﾅｰ 長谷川 公彦 進化とハイブリッド化 2010（c）kimihiko hasegawa 発表の概要

化学とマイクロ・ナノシステム研究会誌 Vol.6, No.1 (2007) 化学とマイクロ･ナノシステムpark.itc.u-tokyo.ac.jp/kitamori/CHEMINAS/pdf/kaisi6-1.pdf · 化学とマイクロ・ナノシステム研究会誌

オンセットアークの構造化 と 背景 電場の変化

「オタク」とは何か 「おたく」と「オタ ク」／「オタク文化」 … · 「オタク＋文化」 文化にとって重要なこととは？ 「文化」の義で必ず引用されるのがイギリ

化学とマイクロ・ナノシステム学会誌 Vol.13, No.2 (2014) 化学と …park.itc.u-tokyo.ac.jp/kitamori/CHEMINAS/pdf/kaisi13-2.pdf · 化学とマイクロ・ナノシステム学会誌

【13-C-3】 RIA 開発をとりまく技術の進化と環境の変化

フラクタル音楽 〜可視化と可聴化の世界〜

精神分析の 長期化と短期化

マルチモーダルコモンセ ンス知識の構築 · 式知（客観知）とに分け，これらの暗黙知と形式知とを共同 化・表出化・連結化・内面化という4

20161213_FinTech時代に求められるDB開発とセキュリティ by 株式会社インサイトテクノロジー 阿部健一

化学とマイクロ・ナノシステム研究会誌 化学とマイクロ･ナ …cheminas.chips.jp/wp-content/uploads/2017/12/kaishi10-1.pdf化学とマイクロ・ナノシステム

キッズクラブ通信 95 - ehc-hyogo.net · ※※※※ 詳詳詳詳しいししいいしい内容 内内容容内容は ははは、、、、自然自自然然自然と ととと文化文文化化文化の

WantedlyとNew Relicとサイト高速化

OpenFlow と ネットワーク仮想化

化学とマイクロ･ナノシステム...化学とマイクロ･ナノシステム 化学とマイクロ･ナノシステム研究会誌 Journal of the Society for Chemistry

「村文化と地域活性化」...“마을문화와 지역활성화” 「村文化と地域活性化」 - 대한민국 전라북도 진안군 백운면2006-2007년과 그 이후

キャッシュ・メモリの 高性能化と低消費電力化

20151228_マイナンバー対応、情報漏洩対策にアクセスコントロールとカラムベースのデータ暗号化ソリューション by 株式会社インサイトテクノロジー

PCサーバPRIMERGYと仮想化ソフトウェアVMware … · PCサーバPRIMERGYと仮想化ソフトウェアVMware vSphere/VMware Viewで ... オフィス端末 （シンクライアント化）

Kochi U - ヒトの進化とヘテロクロニー...ヒトの進化とヘテロクロニー ヒトの進化の原動力はネオテニーとする説 ボルク, L. （1926） 胎児化説

進化とハイブリッド化...TOCICO認定ｼﾞｮﾅ、TRIZﾌﾟﾗｸﾃｨｼｮﾅｰ長谷川公彦進化とハイブリッド化 2010（c）kimihiko hasegawa 発表の概要

オンセットアークの構造化と背景電場の変化

「オタク」とは何か「おたく」と「オタク」／「オタク文化」 … · 「オタク＋文化」文化にとって重要なこととは？「文化」の義で必ず引用されるのがイギリ

【13-C-3】　RIA 開発をとりまく技術の進化と環境の変化

フラクタル音楽〜可視化と可聴化の世界〜

精神分析の　　長期化と短期化

マルチモーダルコモンセンス知識の構築 · 式知（客観知）とに分け，これらの暗黙知と形式知とを共同化・表出化・連結化・内面化という4

20161213_FinTech時代に求められるDB開発とセキュリティ by 株式会社インサイトテクノロジー阿部健一

化学とマイクロ・ナノシステム研究会誌化学とマイクロ･ナ …cheminas.chips.jp/wp-content/uploads/2017/12/kaishi10-1.pdf化学とマイクロ・ナノシステム

キッズクラブ通信 95 - ehc-hyogo.net · ※※※※ 詳詳詳詳しいししいいしい内容内内容容内容はははは、、、、自然自自然然自然とととと文化文文化化文化の

OpenFlow とネットワーク仮想化

化学とマイクロ･ナノシステム...化学とマイクロ･ナノシステム化学とマイクロ･ナノシステム研究会誌 Journal of the Society for Chemistry

キャッシュ・メモリの高性能化と低消費電力化

PCサーバPRIMERGYと仮想化ソフトウェアVMware … · PCサーバPRIMERGYと仮想化ソフトウェアVMware vSphere/VMware Viewで ... オフィス端末（シンクライアント化）

Kochi U - ヒトの進化とヘテロクロニー...ヒトの進化とヘテロクロニーヒトの進化の原動力はネオテニーとする説ボルク, L. （1926）胎児化説