【13-D-4】　アナタのアプリ性能改善の秘訣、オラクルが教えます！

<Insert Picture Here>

アナタのアプリ性能改善の秘訣、オラクルが教えます！

日本オラクル株式会社

システム事業統括本部 System & Application Management ビジネス推進本部

セールスディレクター

山岡英明

Copyright© 2009, Oracle. All rights reserved. 2

以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。

また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことは

できません。以下の事項は、マテリアルやコード、機能を提供することをコミットメン

ト（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さ

い。オラクル製品に関して記載されている機能の開発、リリースおよび時期につい

ては、弊社の裁量により決定されます。

* Oracleは、米国オラクル・コーポレーション及びその子会社、関連会社の米国及びその他の国における登録商標で

す。その他のブランドまたは製品は、それぞれを保有する各社の商標または登録商標です。


品質管理から始めるコスト削減

品質コスト（予防コスト＋評価コスト＋失敗コスト）についてお考えですか？


テスト工数の肥大化

• 開発の効率化が進む中– 開発プロセスの効率化

– 開発資産の再利用

– 標準化

• テスト工数は、増加し続けている。– 1％のプログラム修正でも、テストは100％行う必要がある。

– テスト工数は、開発初期段階の何十倍にもなる。


ソフトウェアの品質維持に赤信号

• 開発資産の共有化により、開発は短縮できたが– テストが複雑になる

– 開発初期段階のテストを維持できず

– アプリケーションを継続発展させ、品質維持は困難


コスト削減は、テストにあり

• 今から、注視するべきはテストにあり

– テスト管理による品質向上＋コスト削減（予防コスト）

– 自動化によるコスト削減

＋品質維持（評価コスト）

– 性能管理による、サービス向上＋コスト削減（失敗コスト）


なぜ性能障害は恐ろしいのか

• とにかくコストがかかる– 実運用では再現が難しい

– 修正コストが他の不具合の100倍のケースも

– 開発スケジュールの混乱

• 要件定義から見直しが必要な場合も

– 突然のシステムダウン

• 予想外のユーザアクセスがもたらす性能障害


負荷テストの重要性

• 事前見積もりと、実際の性能が異なる– ブラックボックス

• 使用技術全ての把握は困難

• 積算があてにならない

– 機能性能要因の存在

• 表示機能の一部追加によって大幅に性能劣化

– 品質性能要因の存在

• アウトソーシングしていたモジュールに性能問題


負荷テストとは

ファイア

ウォールクラアント端末

Webサーバ

APサーバ

DBサーバ

ルーター外部

ネットワーク網

ロード

バランサー

大量のアクセスを発生大量のアクセスを発生

例：ロードバランスされたWebサーバ／バックエンドで稼動する

DB、さらには様々なアプリケーション／DBのテーブル構造など

複雑化したシステム全体のパフォーマンスは、計ってみること

で初めてわかる

例：ロードバランスされたWebサーバ／バックエンドで稼動する

DB、さらには様々なアプリケーション／DBのテーブル構造など

複雑化したシステム全体のパフォーマンスは、計ってみること

で初めてわかる

• Webアプリケーションに対して大量のアクセスを発生させ、アプリケーション

やハードウェア(インフラ)の機能が期待通りの性能を満たしているかを検証

するテスト


性能テスト

• 目標スループットの負荷を与えた時のパフォーマンス、システムの振る舞い

を評価し、限界値（限界ポイント）までテストを続け、限界値を見極める

• 一般的な「負荷テスト」は性能テストのこと

応答時間/スループット(page数/秒）

同時接続ユーザ数

スループット

page数/秒）

スループット

page数/秒）

性能限界値性能限界値

ボトルネックボトルネック応答時間応答時間

０増加する


どのシステムがボトルネックと考えられますか?

ユーザ数 →

応答

時間

→

ボトルネック

Webサーバで処理されるページ

APサーバで処理されるページ

DBサーバで処理されるページ

応答時間の遅延が発生

Client Network Device

Web AP DB


ボトルネックを判断するためのマクロ情報

クライアント

(ユーザ)

ネットワーク機器 Webサーバ APサーバ DBサーバ

◆応答時間 ◆スループット

◆CPU使用率

◆メモリ

◆スループット

◆CPU使用率

◆CPU使用率

◆メモリ

◆CPU使用率

◆メモリ

◆ディスクI/O


ボトルネックの現象・要因・対策

性能限界時に顕著に

分かる現象主な劣化要因対策

ネットワーク機器

(FW,LB,IDS,etc)CPU使用率100%帯域使用率100%

物理ボードの処理能力限界

システムバスの処理上限

単純なCPU処理限界

バッファメモリ不足

より高いスペックの機器に

入れ替え

Webサーバ

CPU使用率100%NIC帯域使用率

100%

OSの応答処理能力を超えている

H/Wのスループット上限

サーバの増設

サーバのCPU強化

NIC帯域容量増加等

APサーバ CPU使用率100%

非効率なプログラム・アプリ設計

不適切なヒープ配分

不適切なスレッド数定義

メモリ不足

DBへの接続

プログラムや設計の見直し

ヒープとスレッドのチューニング

H/Wの強化

DBサーバCPU使用率100%DiskI/O増加

非効率なクエリ

不適切なインデックス設定

非効率なテーブル設計

不適切なバッファ・キャッシュの配

分

メモリ不足

SQLクエリの見直し

適切なインデックス設定

テーブル設計の見直し

バッファ・キャッシュのチューニング

H/Wの強化


運用

性能テストを行なわないリスク

• 総合テスト段階で性能問題が発生すると、運用に入れなかったり、不安要素を抱えたままの運用開始に直面

開発フェーズ

要件

定義

要件

定義設計設計開発開発単体テスト

単体テスト

結合テスト

結合テスト

総合テスト

総合テスト

性能不具合

発見!

アーキテクチャの変更が必要なことも・・・


開発の初期段階から性能テストを計画

開発フェーズ

要件

定義

要件

定義設計設計開発開発単体テスト

単体テスト

結合テスト

結合テスト

総合テスト

総合テスト

運用

性能要件

性能要件

テスト計画

テスト計画

性能監視

性能監視ミクロな視点での

性能テスト

ミクロな視点での性能テスト

マクロな視点での性能テスト

マクロな視点での性能テスト

性能問題を開発プロセス全体で考える


性能要件の策定

• 性能要件で考慮する項目– システムを使用する人数

– 同時アクセス数

– 受託開発かパッケージアプリケーションか

• 性能目標の確立– 大同時アクセスユーザ数

– 大処理ページ数/秒

– 主要なページの平均応答時間

– 高負荷時に許容されるエラー率

– システムの性能限界値


システム設計での考慮点

• 性能要件を反映させる– サーバ構成

• サイジングを行なう

– ネットワーク構成

• 性能目標と矛盾がないか確認

– パラメータ値

• 大コネクション数

• JVMヒープサイズ

• ほか

– 性能テストを考慮した設計

• テスト環境

• 必要のないセッション管理

• ほか


システム設計での考慮点

• サーバ構成と性能要件– CPUとスループット

• 目標

2,000PV/秒

• 1台あたりの目標処理数

200PV/秒

– メモリと同時アクセスユーザ数

• 目標

同時1,000ユーザ

• 1セッションあたりのメモリ消費量

– サーバ台数とページの応答時間

• 目標

平均8秒以内

• 処理能力

平均2秒以内

6秒の調整時間


詳細設計での考慮点

• 応答時間のブレークダウン– 単体レベルでの性能目標

• サーブレットの処理時間など

– プロファイラーの選定

• 測定方法の明確化

✍重要なトランザクションは明確な指標を策定する


単体テストフェーズでの性能テスト

• 単体レベルで性能テストを行なわないリスク– 性能要件を満たさないシステム構築が行なわれる

• GCでは解決できないメモリリーク

• パフォーマンスの悪いSQL

• CPUを大量に占有するプログラム

– 後工程で問題が露見して、手戻りが生じる

• 連続処理のシーケンスの不具合

• 並列操作の不具合

• 高負荷時に実行される例外処理が正しく動作しない

☹共通機能で発生したら致命的


結合テストフェーズでの性能テスト

• スケジュール– 性能テストで考慮すべき工数

• スクリプト作成

1日～1週間

• データ準備

1日～3日

• 負荷テストツールのセットアップ

半日

• サーバリソースの取得準備

半日

• 負荷テスト実施

半日～1日

• チューニング/不具合改修

数日

✍性能テストで低2週間は必要



• チーム構成– テスト担当者

• システム構成をよく理解している

• システムアーキテクトを理解している

• テストツールの操作が行える

• 基本的な結果グラフを見て問題点が指摘できる

– アプリケーション開発者

– DBA

– ネットワーク管理者

– システム管理者

– ユーザー(オペレータ)



• テストの準備– 負荷テストツールを理解する

• 仮想ユーザのスクリプト作成

– フリーツールでは十分なシミュレーションができない

– プログラミング必要だと準備工数増加

• 正確な負荷の生成

– その同時ユーザーアクセスは正確?

– ユーザー操作の遅延時間は考慮されている?

• エラーチェック

– HTTPリクエストを単純にシミュレーションしているだけ?

– HTTP 200/OKでもエラー

• 分析データの内容

– ボトルネックが特定できる?



• テストの準備– テスト用データの作成

• ログインを個別に行える

• 十分な検索が行える

• 繰り返しテストが行える



• テストの実施– テストを始める前に、低負荷での接続確認

– 1つのテストは30～60分

– 段階的にユーザ数を上げる

• 100ユーザー大のテストを行う場合は、10ユーザー毎ぐらいで増加

させながら、結果情報を収集すると良い。

• 一度に100ユーザーを接続させるテストを行う場合は、事前に段階的

にテストをして、状況を確認する必要がある。

– ログインの方法

• 毎回?

• 初に1回だけ?

✍遅延時間はしっかりと考慮する



• 結果の分析– ボトルネック検出のための情報収集

• 応答時間とスループットの情報分析が基本

• 各サーバからリソース情報を収集する

– ボトルネックを明確にするには様々の追加試験が必要となる場合もある


総合テストフェーズでの性能テスト

• 目的– 本番と同等のデータを使用して実環境でテストする

– バックエンドの機能も稼働させる

• バッチ

• メール配信

• ファイル転送など

• 結合テストがうまくいっても安心しない– 本番環境になると新たな問題が発生する場合もある

• ネットワーク

• DB

(データ件数、インデックス、実行計画)


ソフトウェアテストは未知の世界

• Webアプリケーションの発展はここ数十年– 未熟なエリア

– いつか当然となるソフトウェア品質

• 性能向上の鍵は負荷テスト

負荷テスト計画

負荷テスト準備

再試験の環境準備仮説に基づく

チューニング

ボトルネック要因の推測

ボトルネック発生の確認

負荷テスト実行



Oracle Application Testingのご紹介


エンピレックスからオラクルへ

• 高い実績と強力なノウハウの継承– 2008年6月

オラクルに統合

– エンピレックスは、Web負荷テストの国内でのトップベンダー

– 年間60件以上のテストコンサルティングの実績

– テストツールe-Loadは過去5年間国内販売数トップシェア

Empirix

e-TEST suite+

ノウハウ

Oracle


ソフトウェアやハードウェアの品質に関わる情報を一元管理することにより、テスト資産の活用、組織

間の効果的な情報共有を実現します。

ソフトウェアやハードウェアの品質に関わる情報を一元管理することにより、テスト資産の活用、組織

間の効果的な情報共有を実現します。

テスト・プロセス管理の簡素化 ~ Oracle Test Manager for Web Applications ~

製品の特徴

・ブラウザアクセスにより

複数拠点からの利用が容易・カスタマイズ可能な

データスキーマを提供・OFTや3rd Partyの

自動化ツールと同期可能・メールによるイベント通知・豊富なレポート

[包括的なテスト管理]

主な用途

・分散しているプロジェクトチームでテスト資産を共有したい。・常に新のテスト状況を確認したい。・機能変更時に影響を受ける他の要件やテストを把握したい。・不具合の多い要件やテストケースを調べたい。・チーム全体がテストプロセスを確認できるよう可視性を高めたい。・自動化ツールと連動しテスト効率を向上したい。

品質管理者開発担当者

テスト資産

テスター

プロジェクト管理者

不具合改修

テスト実施品質・進捗管理

テスト定義

OFT … Oracle Functional Testing for Web Applications


多数のユーザからのアクセスを擬似しWebアプリケーションの性能検証を実現。運用を開始する前に、

アプリケーションの性能問題をあぶりだし、Quality of Experienceの向上を支援します。

多数のユーザからのアクセスを擬似しWebアプリケーションの性能検証を実現。運用を開始する前に、

アプリケーションの性能問題をあぶりだし、Quality of Experienceの向上を支援します。

Webアプリケーションに対する負荷テスト ~ Oracle Load Testing for Web Applications ~

製品の特徴

・GUIによる簡単なスクリプト作成・CookieやHTML内のセッション

データも自動パラメータ化・ユーザ視点のエラーチェック・OS/AP/Network等の性能

データをエージェントレスで収集・見やすい分析グラフ・HTTP(S)/SOAPに対応

[負荷テストの実施]

主な用途

・開発の早い段階から手軽に負荷テストを実施したい。・応答時間の遅延の原因となるサーバを特定したい。・想定していないエラー画面を見落としたくない。・PCだけでなく携帯や専用端末のアプリケーションもテストしたい。

・サーバにモジュールを導入することなく性能を計測したい。・機能テストで作成したスクリプトを活用したい

DBAPWebFW/LB

サーバ性能の計測

QoEの計測仮想ユーザ


WebアプリケーションやWebサービスの品質を確保する短の方法として、テストプロセスの自動化を

実現する、使いやすい機能・回帰テストツールです。

WebアプリケーションやWebサービスの品質を確保する短の方法として、テストプロセスの自動化を

実現する、使いやすい機能・回帰テストツールです。

機能・回帰テストの自動化を実現 ~ Oracle Functional Testing for Web Applications ~

製品の特徴

・プログラミング不要なスクリプト・入出力データをCSVとして

定義するデータ駆動型テスト・豊富なユーザ定義テストを提供・SiebelやPeopleSoftなどの

Oracleアプリケーションに対応・.NETやWebサービスにも対応

・OLT/OTMでスクリプトを共用

[機能・回帰テストの実施]

主な用途

・リリースのたびに行う定型化されたテストを自動化したい。・ブラックボックステストにおける入力値のパターンを増やしたい。・プラットフォームごとに行うテストを省力化したい。・ページ内のリンクや画像が正しく存在しているかチェックしたい。・テストスクリプトの開発ではなく、テストに集中したい。・負荷テストとスクリプトを共有してテストの準備工数を削減したい

SolarisLinuxWindowsVer1.0 Ver1.1 Ver2.0

“1つ”のテストスクリプトを

使用してテストを実施

リリースごとプラットフォームごと入力値ごと

ブラックボックス

OLT…Oracle Load Testing for Web Applications | OTM … Oracle Test Manager for Web Applications


システム変更に影響する評価タスクを、数ヶ月かかる複雑な本番環境であっても、数日単位にまで削

減できます。Database ReplayおよびSQL Performance Analyzerの二つの機能から構成されます。

システム変更に影響する評価タスクを、数ヶ月かかる複雑な本番環境であっても、数日単位にまで削

減できます。Database ReplayおよびSQL Performance Analyzerの二つの機能から構成されます。

データベースの構成変更時のテストを効率化 ~ Oracle Real Application Testing ~

製品の特徴

-Database Replay- ・本番環境で取得した

ワークロードを忠実に再現

・環境の変更による性能差異や

エラー発生の有無を確認

-SQL Performance Analyzer-・本番環境のSQLを再評価

・構成変更による実行計画の

違いと性能への影響を確認

[データベースの負荷テスト]

主な用途

・データベースに焦点をあてた負荷テストを実施したい。・ハードウェアなどの構成変更に対する影響度を検証したい。・データベースのアップグレード、パッチ、初期化パラメータの

変更によるSQL実行計画や統計情報の違いを確認したい

本番環境

※ 次のOracle Database管理製品と併せてより高度な分析が行えます

・Oracle Diagnostics Pack ・Oracle Tuning Pack

ワークロード/SQLを取得

検証環境

Database Replay 本番環境のDB負荷を再現 (ワークロード)

SQL Performance Analyzer SQLの単体テストを実施 (SQL)

AP


：：

8337-6263-1608-0104

1139-4145-6222-3703

6141-5126-0475-8802

4033-6177-0089-6401

7488-2984-1736-7400

CARDNUMBER

5

4

3

2

1

ID

：：

8337-6263-1608-0104

1139-4145-6222-3703

6141-5126-0475-8802

4033-6177-0089-6401

7488-2984-1736-7400

CARDNUMBER

5

4

3

2

1

ID

開発環境、テスト環境およびステージング環境で機密情報をマスキングすることによって、組織がプラ

イバシおよび機密保護法を順守できるように支援します。

開発環境、テスト環境およびステージング環境で機密情報をマスキングすることによって、組織がプラ

イバシおよび機密保護法を順守できるように支援します。

プライバシー・ポリシーに準拠したデータの共有 ~ Oracle Enterprise Manager 10g Data Masking Pack ~

製品の特徴

・主キー/一意/参照整合性制約に

違反することなくデータを置換

・置換の定義情報を残し、同じ

マスク処理を繰り返し実行可能

・マスキングはXML形式で

エクスポート/インポート可能

・マスキング・フォーマットの充実

・高パフォーマンス

[表データの置換]

主な用途

・もっと簡単にテストデータを準備したい・新システム開発時に、既存システムと同等のデータを利用したい

・負荷テストなどに本番データを使用したい・サブシステム追加時に、既存システムへの影響を知りたい・障害調査を行うために開発会社で本番データが必要だが、

個人情報が多く含まれるため提供できない

マスキング

：：

0606-3321-6271-8304

1573-9537-1503-5503

8430-8214-6445-1102

9634-7334-4874-2301

5870-2967-9149-5700

CARDNUMBER

5

4

3

2

1

ID

：：

0606-3321-6271-8304

1573-9537-1503-5503

8430-8214-6445-1102

9634-7334-4874-2301

5870-2967-9149-5700

CARDNUMBER

5

4

3

2

1

ID


Oracle Load Testingがさらに求めやすく

3月24日から新価格に

DBAPWebFW/LB

(仮想ユーザー）

Controller （CPU 1枚）

200 同時ユーザー

のテスト

ライセンス価格の計算

1 CPU x ¥760,900 = ¥760,900 +200 NUP x ¥10,900 = ¥2,180,000 合計 ¥2,940,900

Load Testing for Web Applications Controller

1 CPU = ¥760,900

Load Testing for Web Applications

1 NUP = ¥10、900

（200 NUP から導入可能）


「Oracle Application Testing Suite」性能検証支援サービス

～オラクル・コンサルティングによるテスティング・サービス～

価格 200万円～想定サービス提供期間 10営業日～

基本パッケージの想定範囲テストシナリオ：各10ページのシナリオ、3本以下をサービス開始時に決定計測サーバー：10台以下のサーバーをOS情報のみ取得分析対象の処理の決定、性能要件確認をサービス開始時に実施1つの契約につき、2回のテストショットを想定

ご提供する成果物テスト計画書（試験実施の事前打ち合わせに基づき作成）シナリオスクリプト（事前打ち合わせ、計画書に基づき作成）報告書（大2回の負荷テスト実施よりボトルネックを分析し、報告書作成）

本サービスの適用条件オラクルのサポート・サービスの契約者を前提としております

基本パッケージの対象外のタスクデータベース／アプリケーションの内部動作に関わる詳細解析パフォーマンス・チューニング作業改善案や適用効果の数値的な予測分析

※上記の「基本パッケージの対象外のタスク」や、Webアプリケーション以外の負荷テストについても、実際の

工数に基づいた金額で支援サービスを提供しておりますので、ご相談下さい。

テスティング・サービス基本パッケージの例

カットオーバー後の障害抑止と検証コスト削減を目的として、「Oracle Application Testing Suite」を使っ

たテスト方針の策定と標準化、および、実施をリードします


Oracle Application Testing SuiteOracle Application Testing Suite対応研修コース対応研修コース

コースコース

内容内容

■Load Testing基礎

■負荷テスト実施計画の基礎

■サーバーリソースのモニタリング方法（ServerStats の使い方）

■スクリプトを組み合わせた負荷テスト

受講料受講料定価￥１３８，６００（税込）定価￥１３８，６００（税込）

機能テスト、負荷テストの基礎編機能テスト、負荷テストの基礎編Webアプリケーションの機能テスト（Functional Testing）と負荷テスト（Load Testing ）に関するツール操作を中心に学習して頂けます。また、負荷テスト（Load Testing）

については、負荷テスト実施計画から負荷テスト実施全般に関して学習して頂けます

。Functional Testingによるスクリプトの作成と機能/リグレッションテストや、Load Testingを使用した負荷/拡張性テストの詳しい内容、ServerStatsを使用したアプリケ

ーションのボトルネックの発見について説明いたします。

Oracle Application Testing Suite: Oracle Application Testing Suite: 基礎コース（基礎コース（22日間）日間）

コースコース

内容内容

■Load Testingのアドバンスト技術の習得

■Webサイトのスクリプトの対応方法の理解

■HTTPリクエストの基礎

■失敗しているナビゲーションの見つけ方

■proxy機能

受講料受講料定価￥６９，３００（税込）定価￥６９，３００（税込）

スクリプト編集の応用編スクリプト編集の応用編

ブラウザ操作によって記録されたスクリプトの編集方法について学習していただけま

す。HTTPリクエストの解析とナビゲーション・エディタの全般的な機能およびスクリプ

ト編集について、効果的に学習します。

ナビゲーション・エディタの使用方法ならびにプロキシーレコーダ機能を解説し、実際

にいくつかのWebサイトを使用してどのようにスクリプトを作成するのか習得します。

Oracle Application Testing Suite: Oracle Application Testing Suite: アドバンスコース（アドバンスコース（11日）日）

コースコース

内容内容

■ボトルネック検出に必要な監視項目とその見方

■ボトルネックの検出に必要な分析ポイント

■各種テスト結果グラフからのボトルネック読取り

■Load TestingによるWebアプリの負荷テスト

■代表的なアプリケーションボトルネックの理解

受講料受講料定価￥６９，３００（税込）定価￥６９，３００（税込）

テスト結果分析の実践編テスト結果分析の実践編負荷テスト（Load Testing）

の結果からボトルネックを検出する着眼点について学習

していただけます。結果グラフをどのように読み取るか、また実機を使った負荷テスト

の実施によって効果的にボトルネック特定に必要な方法について学習します。エンジ

ニアが現場でよく遭遇する代表的なアプリケーションボトルネックについて解説いたし

ます。負荷テストの実行とボトルネック検出について実際のマシンで負荷および測定

を実演し、システムの負荷テスト方法をマスターして頂けます。

Oracle Application Testing Suite: Oracle Application Testing Suite: ボトルネック検出コース（ボトルネック検出コース（11日）日）


「招待コード

= 5384」をご利用ください

【13-D-4】　アナタのアプリ性能改善の秘訣、オラクルが教えます！

Documents

Transcript of 【13-D-4】　アナタのアプリ性能改善の秘訣、オラクルが教えます！

【13-D-4】 アナタのアプリ性能改善の秘訣、オラクルが教えます！

Documents

Transcript of 【13-D-4】 アナタのアプリ性能改善の秘訣、オラクルが教えます！

【13-D-4】　アナタのアプリ性能改善の秘訣、オラクルが教えます！

Transcript of 【13-D-4】　アナタのアプリ性能改善の秘訣、オラクルが教えます！