会員数180万人のマッチングサービスpairsの急成長を支える技術基盤...

Copyright © 2009-2015 eureka, inc. All rights reserved.

会員数180万人のマッチングサービスpairsの急成長を支える技術基盤 Takuma Morikawa / Eureka, Inc.


訂正

会員数180万人のマッチングサービスpairsの急成長を支える技術基盤


訂正


↓ + 1 0 0 , 0 0 0


1. エウレカについて 2. サービスのスケール～pairs編～ 3. そして伝説へ…

もくじ

エウレカについて

About eureka


で、あんた誰？

・pairsのサーバーサイド全般を担当・エウレカは2014年2月から・お雑煮が好きです

pairsについて

About pairs

F a c e b o o kのソーシャルグラフを活用した O n l i n e D a t i n gサービス

【pairsのシステム特性】現在、月間10億PV・スクリーンビュー超・多対多のSNSなので、ユーザーの登録数に対して、指数関数的に負荷が上がる ⇒ 今日は余裕でも、明日はそうじゃないかも…

・ゲーム並のキャンペーン展開 => キャンペーンの種類によって負荷のアップダウンが激しい・接点0からはじまるコミュニケーションを提供するサービスなので、デリケートな配慮が必要 => 不具合はもちろんちょっとした仕様やUXの配慮の足りなさが、クリティカルになる

サービスのスケール

Scale of service


私が入ってちょうど一年くらい経ちました。（2014年2月～）


入った頃について、少し昔話をします。


あのころのわたし


あのころのわたし

（半年間の F P S 出来事は長いので省略）


あのころのわたし年表

8月（PHPがイヤで）前の会社を退職 9月無職を謳歌する 10月無職を謳歌する 11月現金資産が目減りを始める 12月現金資産がそこをついてくる . . . 1月 g ive me chocolate


あのころのわたし年表

8月（PHPがイヤで）前の会社を退職 9月無職を謳歌する 10月無職を謳歌する 11月現金資産が目減りを始める 12月現金資産がそこをついてくる . . . 1月 g ive me chocolate 2月わけあって、エウレカへJOIN！ ←N e w !


pairsの事例を用いて、サービスの拡大とともに、どのようにシステムをスケールしていったか、ざっくりとお話します。

サービスのスケール


4つのプチストーリー

1) はじめてのリリース編 2) リニューアル編 3) RDB使えますか編 4) FIFO or LIFO編


～はじめてのリリース～

第壱話


はじめてのリリース

ʕº ºʔ（私=森川）　　　　　　（ボス）ʕʘʘʔ


はじめてのリリース：入社日 (2月 )

ʕº ºʔ< 「よろしくお願いいたします。」


はじめてのリリース：入社日 (2月 )

ʕº ºʔ< 「よろしくお願いいたします。」

「緊張しないでくださいね」> ʕʘʘʔ 「席はここです」> ʕʘʘʔ


はじめてのリリース：入社日

ʕº ºʔ< o00(FPS以外のことをするのは久しぶりだな...)



ʕº ºʔ< o00(FPS以外のことをするのは久しぶりだな...) ʕº ºʔ< o00(キーボード無しで人と会話できるだろうか...)



「...というわけでこんな感じで修正お願いします」> ʕʘʘʔ



「...というわけでこんな感じで修正お願いします」> ʕʘʘʔ ʕº ºʔ< 「かしこまりました。」



ʕº ºʔ< o00(...)



ʕº ºʔ< o00(...) ʕº ºʔ< o00(またPHPか...)


はじめてのリリース：一週間くらいして

ʕº ºʔ< （カタカタカタ..）



ʕº ºʔ< （カタカタカタ..） ʕº ºʔ< （git push [enter] 　ターン！！）

←打鍵音



ʕº ºʔ< （カタカタカタ..） ʕº ºʔ< （git push [enter] 　ターン！！） ʕº ºʔ< （しばしドヤ顔。）

←打鍵音



ʕº ºʔ< 「修正終わりました」



ʕº ºʔ< 「修正終わりました」

「お、ありがとう」> ʕʘʘʔ



「では...」> ʕʘʘʔ




「今からリリースしちゃいます」> ʕʘʘʔ




「今からリリースしちゃいます」> ʕʘʘʔ ʕº ºʔ< o00(ええ！さすがC向けサービス。サイクルが早い..)



「80万人が使っているサービスですからね」> ʕʘʘʔ



「80万人が使っているサービスですからね」> ʕʘʘʔ 「一日の売上もX万円ありますから」> ʕʘʘʔ




「軽微なバグも影響が大きいんですよ」> ʕʘʘʔ




「軽微なバグも影響が大きいんですよ」> ʕʘʘʔ 「新規の滞在時間低下は売上に影響ありますし」> ʕʘʘʔ





「既存のDAUが下がると...」> ʕʘʘʔ





「既存のDAUが下がると...」> ʕʘʘʔ

ʕº ºʔ< o00(なんか、わからんけどすごい...)



「森川さんにはリリースも担当してもらいたいので」> ʕʘʘʔ




「ちゃんと手順見てて下さい」> ʕʘʘʔ




「ちゃんと手順見てて下さい」> ʕʘʘʔ

ʕº ºʔ< o00(おお...緊張してきた...)


はじめてのリリース：コードデプロイ

「まあ、簡単なんで！」> ʕʘʘʔ




「まずWebサーバーに入ります...」> ʕʘʘʔ





「$ ssh srv-01」> ʕʘʘʔ





「$ ssh srv-01」> ʕʘʘʔ

ʕº ºʔ< o00(メモメモ...✍)



「そして公開ディレクトリに移動します」> ʕʘʘʔ




「$ cd /path/to っと...」> ʕʘʘʔ




「$ cd /path/to っと...」> ʕʘʘʔ

ʕº ºʔ<「ふむふむ…」



「そこでおもむろに」> ʕʘʘʔ




「$ git pull」> ʕʘʘʔ





「ターン！（エンターキーを叩きつける）」> ʕʘʘʔ





「ターン！（エンターキーを叩きつける）」> ʕʘʘʔ

ʕº ºʔ< o00(えっ)



「remote counting objects...」> bash 「create mode 100644 controller/user.php (100%)」> bash



「remote counting objects...」> bash 「create mode 100644 controller/user.php (100%)」> bash

ʕº ºʔ< o00（あ...）



「さて...」> ʕʘʘʔ




「これで、リリースは終わりです」> ʕʘʘʔ




「これで、リリースは終わりです」> ʕʘʘʔ

( ω ) o00（ぽかーん）



「あっ！あとはapp.confを編集して...と」> ʕʘʘʔ




「$ vi app.conf」> ʕʘʘʔ




「$ vi app.conf」> ʕʘʘʔ

( ω )<「e?」



「ここと...」> ʕʘʘʔ




「この部分を書き換えて下さい。」> ʕʘʘʔ





「ま、1,2行だけなんで」> ʕʘʘʔ





「ま、1,2行だけなんで」> ʕʘʘʔ

( ω )<「」



「2台目も同様に行います」> ʕʘʘʔ



「2台目も同様に行います」> ʕʘʘʔ

「git pull [enter]（ターン）」> ʕʘʘʔ



「書き換えを忘れないようにしないとですね」> ʕʘʘʔ



「書き換えを忘れないようにしないとですね」> ʕʘʘʔ

( ω )<「あ、あの」



「なんですか？」> ʕʘʘʔ



「なんですか？」> ʕʘʘʔ

( ω )<「ロールバックはどうするんですか...？」



「？」> ʕʘʘʔ



「？」> ʕʘʘʔ

（ちっ…git初心者かよ…）> ʕʘʘʔ



「？」> ʕʘʘʔ

（ちっ…git初心者かよ…）> ʕʘʘʔ

（gitさんのスゴサ、教えてやるか…）> ʕʘʘʔ



「git checkout」> ʕʘʘʔ




「あるじゃないですかぁ」> ʕʘʘʔ




「あるじゃないですかぁ」> ʕʘʘʔ

「git reset --hard HEAD^ でもいいですよ」> ʕʘʘʔ



「ただし」> ʕʘʘʔ




「設定ファイルの書き換えは忘れないで下さい」> ʕʘʘʔ




「設定ファイルの書き換えは忘れないで下さい」> ʕʘʘʔ

( ω )<「お、おう...」



正直



しんどい


はじめてのリリース： pa i rs@2014-02

この時のpairsは…


はじめてのリリース： pa i rs@2014-02

■ pairsの登録者数・80万人

■ pairsの売上

・１週間の売上＝年収のx倍くらい


2014年2月頃の開発体制


2014年2月頃の開発体制

一般的…？


・AWSを使用したPHP x MySQL -  非VPCの全てフラットな構成

・デプロイ -  $ git pull

・ロールバック -  $ git checkout

2014年2月頃のpa i rs


・AWSを使用したPHP x MySQL -  非VPCの全てフラットな構成

・デプロイ -  $ git pull

・ロールバック -  $ git checkout

2014年2月頃のpa i rs

やっぱしんどい…


ʕº ºʔ<「…」

はじめてのリリースを終えて…


ʕº ºʔ<「…」 ʕº ºʔ<「また…」



ʕº ºʔ<「…」 ʕº ºʔ<「また…」 ʕº ºʔ<「PHPか…」



～はじめてのリリース～完

第壱話


～リニューアル～

第弐話


リニューアル：入社一ヶ月くらいのある日

「突然ですが」> ʕʘʘʔ




「諸事情により、UIを全部変えます」> ʕʘʘʔ





「なのでPHP、JS、インフラ全てお願いします」> ʕʘʘʔ





「なのでPHP、JS、インフラ全てお願いします」> ʕʘʘʔ

ʕº ºʔ< o00(クレイジー...)


説明しよう！

リニューアル


pairsのインフラとは

リニューアル


AWSのコンポーネントをフル活用した

リニューアル


こんな感じである！

リニューアル


■ Web（App）　・EC2 2台 ■ データベース　・RDS（MySQL）2台 ■ キャッシュ　・Elast iCache（Memcache）2台

当時のpa i rsメインシステム（簡易版）


じゃん！

リニューアル


あれ…

リニューアル


なんだこれ...

全開放...?

ただのLAMPやん

どこにログ保存してるんだ

ユーザー管理したいんだけど

スケーラビリティが...


なんだこれ...

全開放...?

ただのLAMPやん

どこにログ保存してるんだ

ユーザー管理したいんだけど

スケーラビリティが...

しんどい


でも

リニューアル


リニューアルではダウンタイムが取れるので

リニューアル


１から作りなおしました

リニューアル


システム構成図


リニューアル前（簡略版）


リニューアル後（簡略版）



堅牢なセキュリティ！



堅牢なセキュリティ！

詳細な権限設定！


VPC（AWS仮想プライベートクラウド）

EC2-Classic VPC内サブネット共有専用

アプリ間接続インターネット経由プライベート

N/W設計全開放オンプレなみ

セキュリティ SGのみ SG+SubnetごとのACL&private NW


VPC化@pai rs

・EC2-C lass icな構成で稼働していた・VPCに既存のサーバーは追加できない

=> VPCの中にECを新規で作成 ※ 最近は移行ツールができている模様…


VPC化@あたし

・はじめてのVPC（VPC歴 1日）・AWS歴 20日くらい・もちろん、かなりはまる

- Ne tworkACLのレスポンスとか…


IAM（権限管理）

・アプリケーションに詳細なAWS権限を付与できる - V P Cじゃなくても元々できるやつ

・サーバーに詳細なAWS権限を付与できる - ステージングから本番へのアクセス不可とか

- 擬似本番はR e a dだけ許可とか



柔軟なログ収集！



柔軟なログ収集！

そしてデータ可視化！


導入の経緯

a) アプリケーションの高速化を行いたい - 担当者が応答速度を集計するのが手間 - 集計結果もチェックしなければならない

b ) ログのロストを防ぎたい -気軽にW e bの作成・追加・削除を実行したい -証跡を残す（事件や犯罪のログになり得る）


f l uen tdによるログ収集

・いい感じにログ収集してくれます

- 再送機能

- パフォーマンス

- 豊富なプラグイン -> S3への保存も簡単

-> E las t i cSearchへの送信も簡単


Elas t i cSearch

・全文検索エンジン・ luceneクエリ使える・REST APIとJSONでいい感じに操作できる


k ibana

・いい感じにグラフ化できるダッシュボード・Elast icSearchを裏側で利用


連携図


導入の結果

a) アプリケーションの高速化を行いたい　= > 応答速度の可視化　= > 正社員以外にも集計が可能になった

　= > トータルで1秒以上の改善を実行できた

ʕº ºʔo00（アプリのテキストログの集計もしたい…）

Copyright © 2009-2015 eureka, inc. All rights reserved. ブログ記事 http://eure.jp/blog/fluentd_elasticsearch_kibana/

k ibanaとElas t i cSearchによる可視化



内部から死活監視！



外部からパフォーマンス監視！

内部から死活監視！


監視システム Zabb ix

・様々なデータを監視できる -  分間アクセス数・ロック数・登録者数

・しきい値を超えたらアラート

-  メール・チャット・電話 e tc . . . ・しきい値を超えたらアクション実行

-  Apache再起動・DBクエリ抽出


監視システム NewRel i c

・手軽・一般的なサーバーの監視・アプリケーションの監視

-  様々な言語に対応 -  応答速度の内訳を可視化できる

・DB/キャッシュ /アプリ /レンダリング -  アプリエラー率も補足可能



・サーバー監視サービスのインストール => 4行

1.  rpm -Uvh http://yum.newrelic.com/pub/newrelic/el5/x86_64/newrelic-repo-5-3.noarch.rpm 2.  yum install newrelic-sysmond 3.  nrsysmond-config --set license_key=<ライセンスキー> 4.  /etc/init.d/newrelic-sysmond start



・アプリ監視サービスのインストール => 4行

※ PHPの実行を解析するため、性能が劣化します。

1.  yum install newrelic-php5 2.  newrelic-install install 3.  echo “newrelic.license=<ライセンスキー>” >> /etc/php.d/newrelic.ini 4.  /etc/init.d/httpd restart



そして一貫したデプロイ！



そして一貫したデプロイ！

Forever Git Pull！


Cap is t ranoによるデプロイ

・デプロイ＆ロールバック！・全て /特定のサーバーに対して同一作業・意外に色々できます

-  緊急メンテ対応 -  リアルタイムログ監視 -  メールレポーティング


デプロイと監視　～新機能リリース～

1) Capist ranoでデプロイする




2) ʕº ºʔo00（バグ混入）





3) PHPのNot iceエラー上昇！　






4) NewRel icからSlackへ通知







5) （通知で iPhoneが振動する）








6) 起きる（むくり ʕʘʘʔ


デプロイと監視　～新キャンペーン～





2) ʕº ºʔo00（負荷のかかるキャンペーン開始）





3) DBコネクション・ロック待ち上昇　








6) 起きる（むくり ʕʘʘʔ


Slack

・チャットツール・美しさ × IRCの使いやすさ・API操作


Slack 監視用チャンネル


総評

ʕº ºʔ<「VPC化は早めにやってよかった」 ʕº ºʔ<「ログシステムは少し持て余し気味」 ʕº ºʔ<「NewRel ic抜きでデプロイはもはや怖い」 ʕº ºʔ<「Capis t ranoはたまに失敗してかわいい」 ʕº ºʔ<「Slack便利」


～リニューアル～完

第弐話


～ RDB使えますか～

第参話


RDB使えますか

「UIリニューアルも終わり、一段落したね」> ʕʘʘʔ


RDB使えますか


「あとは私がバイオレンスな気分にならぬよう」> ʕʘʘʔ


RDB使えますか



「DBマスターの負荷を下げるだけですね」> ʕʘʘʔ


RDB使えますか



「DBマスターの負荷を下げるだけですね」> ʕʘʘʔ

ʕº ºʔ<「そ、そうですね . . .」


RDB使えますか

「私の見立てでは”足あと機能”が怪しいです」> ʕʘʘʔ


RDB使えますか


「台風が過ぎ去る前に"カタ"をつけてください」> ʕʘʘʔ


RDB使えますか



「さもなくば私が "台風の目"となります」> ʕʘʘʔ


RDB使えますか




ʕº ºʔ<「そ、そうですか . . .」


RDB使えますか




ʕº ºʔ<「そ、そうですか . . .」 ʕº ºʔo00（謎…）


説明しよう！

RDB使えますか


この時pairsは

RDB使えますか


DBマスターの負荷が問題で

RDB使えますか


非常に困っていた

RDB使えますか


・単一サーバ /テーブルに負荷がかかる設計 - 初期のDB設計のまま - シャーディングできず

・スレーブに検索クエリを移し終えていた・マスターは限界までスケールアップ済み・／ (^o^)＼

RDB使えますか


よろしい、ならば… 非RDBだ！

RDB使えますか


新たなデータストアを探して

・ファイルに保存・R e d i s ・M o n g o D B ・C a s s a n d r a ( + x x x万円給料上げて欲しい )

= > p e r l製の掲示板の時代に逆戻り！ = > かわいい。でも今回は様々な要因で除外 = > かわいい。でも運用面倒 = > こわい。


そこで…

RDB使えますか


DynamoDB

RDB使えますか


・簡単にスケールする書き込み負荷・運用の手間なし・見た目はこわいけど根は優しい（・社内のカップルアプリCoup lesでも利用事例あり）

DynamoDB


・ちょっとわかりづらい・JOINするようなデータ集計は難しい・厳密なトランザクションは難しい・AWSから離れられなくなるリスク…

DynamoDBのダークサイド


DynamoDBにした結果…

RDB使えますか


DynamoDBにした結果…

RDB使えますか負荷85-95%

負荷75%以下に


・足あと機能・行動ログ・通知フラグ関連

DynamoDB化の例


メール・プッシュ管理 / お知らせ / つぶやき / ベストマッチ / 投稿フィルタ / キャンペーン管理 / 写真リクエスト

DynamoDB化の予定


・単一ユーザーで完結するデータ取得は向いている・RDBのような集計クエリが使えない

- リアルタイム集計はちょっとN Gプレイ - バッチ処理での解析はできる - ただしプログラムを書く必要あり

DynamoDBをつかってみて


「やはり ”足あと機能 ”でしたね。」> ʕʘʘʔ



「やはり ”足あと機能 ”でしたね。」> ʕʘʘʔ ʕº ºʔ<「はい。そう思ってました。」



「やはり ”足あと機能 ”でしたね。」> ʕʘʘʔ ʕº ºʔ<「はい。そう思ってました。」 ʕº ºʔo00（本当にそうだったとは…）



～ RDB使えますか～完

第参話


～ FIFO or LIFO ～

第四話


「Dynamoのついでに」> ʕʘʘʔ

F IFO



「キュー化もしときましょう」> ʕʘʘʔ

F IFO



「キュー化もしときましょう」> ʕʘʘʔ ʕº ºʔ< o00（ついで…？）

F IFO



「キュー化もしときましょう」> ʕʘʘʔ ʕº ºʔ< o00（ついで…？） ʕº ºʔ< 「わかりました。何使ってもいいですか？」

F IFO


「SQS使って下さい」> ʕʘʘʔ

FIFO


「SQS使って下さい」> ʕʘʘʔ ʕº ºʔ< 「直接SQSで大丈夫ですかね…？」

FIFO


「SQSを」> ʕʘʘʔ

FIFO


「SQSを」> ʕʘʘʔ

「信じましょう」> ʕʘʘʔ

FIFO


・AWSのメッセージキューサービス・MQサーバーの運用をしなくてよい・要件によっては多少注意が必要

・厳密なFIFOにはならない・指定件数取りたい場合は要工夫

SQS


・パフォーマンス / 耐障害性

　 - ローカルでキューイングした方が良いのでは？

　 - TCP接続のコストって大丈夫？

　 - SQSが落ちたらどうしよう

SQSを考える


わたしは、ボスSQSを信じました。

SQS


その結果…

SQS


余裕で捌きました 6万リクエスト / 1h

SQS


・半年以上落ちることもなく安定して動いています

・パフォーマンスも安定しており、スループット課金ではないので、コストを気にしないでもOK

・最悪ロストしてよいデータだけ入れる

SQS後


～ FIFO or LIFO ～完

第四話


「このコードは愛せない」> ʕʘʘʔ

10月頃のある日



「このスキーマは愛せない」> ʕʘʘʔ




「このスキーマは愛せない」> ʕʘʘʔ

「愛が欲しい」> ʕʘʘʔ



「時に、森川さん」> ʕʘʘʔ




ʕº ºʔ<「はい、なんでしょうか」




ʕº ºʔ<「はい、なんでしょうか」

ʕº ºʔ< o00（やべーな、この人 . . .）



「問題です。」> ʕʘʘʔ




「次のうち、もっとも愛くるしいのは」> ʕʘʘʔ




「次のうち、もっとも愛くるしいのは」> ʕʘʘʔ

「どいつ？」> ʕʘʘʔ



「Ruby」> ʕʘʘʔ




「scala」> ʕʘʘʔ





「golang」> ʕʘʘʔ





「golang」> ʕʘʘʔ

「er lang」> ʕʘʘʔ



ʕº ºʔ<「それはもちろん」



ʕº ºʔ<「それはもちろん」 ʕº ºʔ<「日本人だったらやっぱり」



ʕº ºʔ<「それはもちろん」 ʕº ºʔ<「日本人だったらやっぱり」 ʕº ºʔ<「JavaScriptですよね。」



「（俺嫌いなんだよな . . .）」> ʕʘʘʔ




「森川さん」> ʕʘʘʔ





「未来を見ましょう」> ʕʘʘʔ





「未来を見ましょう」> ʕʘʘʔ

「今はその時期じゃないでしょう . . .！」> ʕʘʘʔ



ʕº ºʔ<「確かに . . .」



ʕº ºʔ<「確かに . . .」 ʕº ºʔ<「分かりました . . .」



ʕº ºʔ<「確かに . . .」 ʕº ºʔ<「分かりました . . .」 ʕº ºʔ<「じゃあ◯◯で。」


え？俺？

鋭意、開発中！！

To be continued…

会員数180万人のマッチングサービスpairsの急成長を支える技術基盤...

Technology

Transcript of 会員数180万人のマッチングサービスpairsの急成長を支える技術基盤...

会員数180万人のマッチングサービスpairsの 急成長を支える技術基盤...

Technology

Transcript of 会員数180万人のマッチングサービスpairsの 急成長を支える技術基盤...

会員数180万人のマッチングサービスpairsの急成長を支える技術基盤...

Transcript of 会員数180万人のマッチングサービスpairsの急成長を支える技術基盤...