クラウド技術を活用した

リアルタイム広告 Logicad の入札・配信・ログ解析

ソネット・メディア・ネットワークス株式会社

安田　崇浩

June 5, 2013

AWS Summit Tokyo 2013

自己紹介氏名: 安田 崇浩所属: ソネット・メディア・ネットワークス株式会社2008年くらいから AWS を仕事で活用2010年くらいから インターネット広告システムを開発

Agenda最近のリアルタイムなインターネット広告AWS とオンプレミスサーバーDirect Connect と RabbitMQ

最近のインターネット広告で起きていること

リアルタイムビッディングReal Time Bidding

RTB

インターネット広告のおおざっぱな進化

広告主の欲求

広告効果の最大化

ウェブサイトの欲求

広告枠の売上の最大化

インターネット広告 1

インターネット広告 2

インターネット広告 3

インターネット広告 4

インターネット広告 5

インターネット広告 6

広告主様々なウェブサイトに広告を配信可能にウェブサイトに訪れた特定の人に配信したい！

ウェブサイト様々な広告主の広告を表示可能にどの広告を表示すれば、一番収益が上がるのか？

広告主らでオークション

リアルタイムビッディング

リアルタイムビッディング (RTB)

1 ページビューごとに複数の広告主(広告会社) で そのウェブサイトの広告枠の表示権をオークションオークション開始から入札まで 0.1 秒最高入札額の広告が配信

RTB 1

RTB 2

RTB 3

RTB 4

RTB 5

PV から広告表示まで 0.1 秒

RTB によって

広告主ウェブサイトに訪れた特定の人に配信したい！→ 特定の人にのみ入札→ 広告効果につながる

ウェブサイトどの広告を表示すれば、一番収益が上がるのか？→ 最高入札した広告を配信→ 広告枠の収益増加

RTB の市場規模

www.seedplanning.co.jp/press/2012/2012091801.html

US のインターネット広告会社

www.lumapartners.com/lumascapes/display-ad-tech-lumascape/

日本のインターネット広告会社

www.slideshare.net/HiroshiKondo/chaosmap-2013

日本のインターネット広告会社

www.slideshare.net/HiroshiKondo/chaosmap-2013

DSPプラットフォーム『Logicad』は、大規模な配信ログ、オーディエンスデータを高速かつ安定的に処理することが可能なシステムインフラを備え、独自のアルゴリズムを用い、RTBにも対応した自社開発の広告配信最適化プラットフォームです。http://logicad.com

RTBによる広告配信システム

クラウドとオンプレミスサーバー

RTB 取引の流れ

RTB 広告配信システム構成

VPC とオンプレミスサーバーを併用

クラウドの時代に

なぜオンプレミスサーバー ?

RTB 入札までの流れ

Bidリクエストの解析 → 1秒間に数万件KVS へ ユーザー情報の取得 → 3億レコードKVS へ 消化予算の取得入札を判断し、Bidレスポンスを返却 → 0.1秒以内

要求性能が厳しい

要求性能を満たすために

1秒間に数万件のBidリクエストの処理

CPU性能が高いサーバー性能計測: ContextSwitch, Interrupt, L2, L3 Cache, NICメモリ, IO は不要

3億件のユーザー情報を1ミリ秒以内で応答

SSDを活用したKey Value Store

ファイルシステムを介さずSSDをBlockDeviceで利用1サーバーに複数本のSSD, CPUは不要

局所的な性能のためにオンプレミスサーバーを活用

AEROSPIKE

AWS の使いどころ

広告配信

1秒間に数千の処理ELBによる高可用性、単一障害点なしEC2 instance 追加で簡単にスケールアウト

広告配信ログの蓄積・解析

広告配信サーバーはログを Queue サーバーへ putQueueサーバーは RabbitMQ を利用Worker がログを受け取り S3 へアップロード低コスト、高信頼性の S3EMR hive で集計・解析

広告配信設定Webアプリ

ELB, 複数EC2 instances, Multi-AZ RDS 構成単一障害点なし

広告主向けレポートWebアプリ

ELB, 複数EC2 instances, DynamoDB単一障害点なしDynamoDB のデータは、S3 から EMR が定期作成

AWS と オンプレミスサーバーをつなぐ技術

AWS Direct Connect

VPC と データセンターを専用線で結ぶサービス

AWS Direct Connect の利点Latency

EC2 <- Internet -> Server RTT 15msEC2 <- Direct Connect -> Server RTT 4ms4x

CostInternet Out $0.201/GB1TBダウンロード 約2万円Direct Connect Out $0.045/GB1TBダウンロード 約4500円1/4

Securityインターネットを介さないVPN接続時の暗号化不要。オーバーヘッドなし

AWS Direct Connect に向いている

EC2 と オンプレミスサーバーの組み合わせHadoop 等 解析サーバーと S3 の大量データのやりとり

つなぐのが面倒？

Direct Connect 付きハウジングサービス株式会社ビットアイルBI-Direct Access for AWS

http://www.bit-isle.jp/service/datacenter/network_bida.html

データセンタ間通信Latency, RTT が大きい

スイッチを介したサーバー間: 0.1 msデータセンター間: 4 ms40x

RTT 4ms の場合、1秒間に250回 Msg送信可能HTTP Keep-alive

1秒間に1,000回 Msg送信するには？

複数コネクション

RTT が 4 ms の場合、4 コネクション必要RTT が 1 秒の場合、1000 コネクション必要RTT が増えるごとにコネクション数が必要

1秒間に1,000回 Msg送信するには？

多重送信

1コネクションで複数の Msg を同時に送信非同期で受信確認 ack を受け取るLatency に縛られずに Throughput に近い Msg数の送信が可能一貫性、トランザクションに注意HTTP Pipeline

Open SourceMessage BrokerAdvanced Message Queuing Protocol (AMQP)を実装実装言語: ErlangClient: Java, Ruby, Python, .NET, PHP, Perl, C/C++ ...多重送信が可能

www.rabbitmq.com

RabbitMQ

Consumer は Queue に TCP 接続後、while ループで待つProducer が Queue に Message を投入Consumer は Message を処理

RabbitMQ

Queue と Consumer の 1 接続で多重送信が可能データセンタ間の通信に最適AWS内でも Availabity Zone, Region 間の通信に最適

Direct Connect, RabbitMQ in Logicad

データセンター間の接続は Direct Connectデータセンター間のデータ送受信は RabbitMQ を利用

最近のリアルタイムなインターネット広告クラウドとオンプレミスサーバーDirect Connect と RabbitMQ

ありがとうございました

www.logicad.com