JAWSUG金沢10 - 俺と「AWS外部から観測」

of 22 /22
俺俺AWS 俺俺俺俺俺俺JAWS-UG 俺俺 俺 10 俺俺俺俺 俺俺俺俺俺俺

Transcript of JAWSUG金沢10 - 俺と「AWS外部から観測」

Page 1: JAWSUG金沢10 - 俺と「AWS外部から観測」

俺と「 AWS 外部から観測」JAWS-UG 金沢 第 10 回勉強会

ふぁらお加藤

Page 2: JAWSUG金沢10 - 俺と「AWS外部から観測」

ProfileNameふぁらお加藤 / @PharaohKJBelongToKanazawa.rbJAWS-UG 金沢Job & WorksPhalanXware (Freelancer)OCR system com / .NETISDB-T MFC / Linux C++Social Game PHP / JavaInformation App AngularJS / CakePHPFactory Automation .NET

Page 3: JAWSUG金沢10 - 俺と「AWS外部から観測」

運用における観測のモチベーション提供しているサービスが想定外のタイミングで異常になった場合、なるべく早く通常に戻したい。

Page 4: JAWSUG金沢10 - 俺と「AWS外部から観測」

通常とは?やはり立場が違えば通常は違いますよね?

Page 5: JAWSUG金沢10 - 俺と「AWS外部から観測」

通常の定義提供者からみた通常提供したい内容が「正しく」「使える速度で」提供でき、これらを「構成する要素が全て想定どおり動き」、「望んでいないものは提供していない」こと。

Page 6: JAWSUG金沢10 - 俺と「AWS外部から観測」

通常の定義お客様からみた通常欲しい内容が「正しく」「使える速度で」提供してもらえること。

Page 7: JAWSUG金沢10 - 俺と「AWS外部から観測」

通常に戻したい - 1ゲーム提供サイトから数分間、お客様へのレスポンスが滞ると、強制的に「メンテ中です」となる。原因レポートを提出しないとアプリを再開することはできない。

ゲーム提供サイト

ユーザ

サービスサーバ

Page 8: JAWSUG金沢10 - 俺と「AWS外部から観測」

通常に戻したい - 2不安がったお客様からあらゆる手段で運営に連絡をいただく。お返事は相当がんばらないといけない。なかなか信頼は取り戻せない。

ゲーム提供サイト

ユーザ

サービスサーバカスタマーサポート

ありとあらゆる方法

Page 9: JAWSUG金沢10 - 俺と「AWS外部から観測」

発生したら高コストこのようなことが「お客様からみた異常」が発生するので、時間がかかるとどんどんコストが膨らんでいってしまう。

Series1

Page 10: JAWSUG金沢10 - 俺と「AWS外部から観測」

予想される異常トリガマスタデータの設定ミスアクセス過多乗っ取りハードウェア障害XaaS 障害

Page 11: JAWSUG金沢10 - 俺と「AWS外部から観測」

内部から観測閉じたネットワーク、セグメントといった内部から観測すると、お客様に最終的に提供できているものと違う可能性がどうしてもある。

サービス提供サイト

ユーザ

サービスサーバ

Page 12: JAWSUG金沢10 - 俺と「AWS外部から観測」

外部から観測お客様からみたサービスが異常じゃないかを確認しないといけない。

サービス提供サイト

ユーザ

サービスサーバ

Page 13: JAWSUG金沢10 - 俺と「AWS外部から観測」

お客様にできるだけ近いかたちAWS で構成されたサービスに対しても、お客様から「通常」に見えるかは確認すべき

Page 14: JAWSUG金沢10 - 俺と「AWS外部から観測」

外部・内部から観測あるある• 内部 DNS を使っちゃって、社内からのみアクセスできて異常を目視できない。• 外部からのアクセスで管理者ツールメニュー見えちゃう・・・。• 時限式イベントがでちゃってる、隠しページが隠れてない!隠れたまま!

Page 15: JAWSUG金沢10 - 俺と「AWS外部から観測」

外部観測は手間がかかる・・・結局何を観測すれば?ツール使ってみた例と、やってみた事例を紹介

Page 16: JAWSUG金沢10 - 俺と「AWS外部から観測」

さくらのシンプル監視• プロトコルと FQDN を指定して、簡単な監視をしてくれる。• 月額 21 円。 ( さくらクラウド内部の場合は無料 )

• https で使ってみた。• 現時点では nagios 。 ( アクセスログで確認 )

• Slack と 電子メールで通知がくる。

Page 17: JAWSUG金沢10 - 俺と「AWS外部から観測」

使ってみたSlack の画像

Page 18: JAWSUG金沢10 - 俺と「AWS外部から観測」

他にやった経験• 外部に CI サーバを用意する。• 定期的に実行し、以下を記録し続ける

• トップページダウンロード速度、ハッシュ、サイズ• リンクを辿って 4xx がないか• IMG タグはあってるか• ssh や MySQL などで接続して「失敗する」ことを確認する

サービス提供サイト

CI

サービスサーバ

Page 19: JAWSUG金沢10 - 俺と「AWS外部から観測」

そして得た知見http get が平均から 2 倍ぐらい遅い時間がある。内部観測 zabbix と比較。バッチ処理中にアクセスがあるととか発生していた。DB をスケールアウトして対応。( 見せられる画像がないのでこれは他プロジェクト )

Page 20: JAWSUG金沢10 - 俺と「AWS外部から観測」

外部観測は開発しながらやりましょうサイト、サービス製作者は、レギュレーションを意識しながら製品を作ることができる。みなで「通常」を策定できる。スロウクエリイ、殺すべし!

Page 21: JAWSUG金沢10 - 俺と「AWS外部から観測」

まとめ外部観測の重要性について話した。AWS で作ったサービスを簡単に外部から観測する方法を紹介した。

Page 22: JAWSUG金沢10 - 俺と「AWS外部から観測」

ふぁらお加藤

ご清聴ありがとうございました