Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight

19
2017年3月15日 1 ヤフー株式会社 平林 和也 Yahoo! JAPANが持つ データ分析ソリューションの紹介

Transcript of Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight

2017年3月15日

1

ヤフー株式会社

平林 和也

Yahoo! JAPANが持つデータ分析ソリューションの紹介

アジェンダ

2

• 自己紹介

• ヤフーのデータ分析環境

• 現在目指していること

• まとめ

自己紹介

3

平林 和也ヤフー株式会社

データ&サイエンスソリューション統括本部

データサービス本部 技術2部

データ分析基盤技術

経歴2011年 新卒入社(エンジニア)

2011年〜 ヤフオク!に所属(KPI管理システムの開発・運用)

2014年〜 D&S統括本部 データサービス本部に所属(データ分析基盤の構築)

ヤフーのデータ分析環境

課題解決のプロセス

5

検知 分析 実行 評価

それぞれのプロセスに適した分析環境を全社に展開

検知:dClip

6

検知 分析 実行 評価

• ダッシュボードツール

• サービスの日々の健康状態をウォッチするため

• PVやUUといったサービスの基本指標を可視化

分析:OTEPON

7

• 集計ツール

• WebUI上からHiveQLが実行できる

• 毎日の定常集計を自動化(スケジューリング)することができる

検知 分析 実行 評価

実行:Miffy

8

• A/Bテスト管理ツール

• ユーザーの振り分け&配信スケジュールを管理する

• 現在どのサービスでA/Bテストが実施しているのか、一目で把握できる

検知 分析 実行 評価

評価:NASUBI

9

• A/Bテスト評価ツール

• A/Bテストの結果を可視化

• PVやUB、CTRといった基本的な指標から有意差判定し、施策面の評価を行うことができる

検知 分析 実行 評価

ヤフーのデータ分析環境

10

検知 分析 実行 評価

dClip Miffy NASUBI

BIR

ヒートマップFIR

OTEPON

CATLOGOS++

データを”見る”文化を浸透させる

現在目指していること

現在の課題は?

12

利用者 D&S• 独自の分析環境で、データを”見る”文化は浸透してきた

• さらに事業に合わせた分析(深掘り)がしたい

• 全社共通の環境は提供してきた

• 数100種類あるサービス全ての分析ニーズを把握し、環境を提供するのは非常に難しい

現在の課題は?

13

利用者 D&S• 独自の分析環境で、データを”見る”文化は浸透してきた

• さらに事業に合わせた分析(深掘り)がしたい

• 全社共通の環境は提供してきた

• 数100種類あるサービス全ての分析ニーズを把握し、環境を提供するのは非常に難しい

分析のセルフ化

インタラクティブな環境の整備

14

今まで これから

内製ツール群

Tableauprestoetc...

内製ツール群

スキルの向上

15

例)HiveQLセミナー• SQLの基本知識〜HiveQLがかけるようになるまでをレクチャー

• エンジニアだけでなく企画職からも参加

• のべ400人が受講

分析のセルフ化

16

データを”使う”文化を促進する

今後取り組んでいきたいこと

インタラクティブな環境の整備

ETLの最適化 ロギングの簡易化

スキルの向上データ利活用ノウハ

ウの蓄積マルチビッグデータ

まとめ

まとめ

18

独自の分析環境=データを”見る”文化を浸透させる

分析のセルフ化=データを”使う”文化を促進する

ご静聴ありがとうございました