20130109 検索cross yasuda
-
Upload
masahiro-yasuda -
Category
Documents
-
view
355 -
download
5
description
Transcript of 20130109 検索cross yasuda
![Page 1: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/1.jpg)
検索Cross
Amebaの事例紹介
株式会社サイバーエージェント アメーバ事業本部 Ameba Technology Laboratory 安田 征弘
![Page 2: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/2.jpg)
2 株式会社サイバーエージェント
自己紹介
・ 安田 征弘
・ Software Engineer
・ Ameba Technology Lab
・ 検索、レコメンデーション、スパムフィルタ
ワードサジェスト、トレンドランキング
シソーラス、年齡詐称抽出
![Page 3: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/3.jpg)
3 株式会社サイバーエージェント
・ 2011/4 秋葉原に開設
・ 約20名 ( 2013年1月 )
Ameba Technology Laboratory
![Page 4: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/4.jpg)
4 株式会社サイバーエージェント
推薦 フィルタリング
データマイニング 検索
ともだち
ニュース ブログ 技術領域
大規模 分散処理
(ログ解析基盤)
コミュニティ
ピグ その他多数
スマホ ゲーム
メッセージ つぶやき ブログ ともだち アプリ
Ameba全般
ブログ
![Page 5: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/5.jpg)
5 株式会社サイバーエージェント
・ 課題
本日の内容
・ 現状(事例紹介)
![Page 6: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/6.jpg)
6 株式会社サイバーエージェント
本日の内容
・ 現状(事例紹介)
・ 課題
![Page 7: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/7.jpg)
7 株式会社サイバーエージェント
Service Recommendation
Trend Ranking
Word Completion
Thesaurus
Log Data
Search API
Spam Filtering
…
Small Scale -> SolrCloud
Mid/Large Scale -> Solr(master-slave)
Query response times: 1~100ms
Queries per day: 12~13M
現状
![Page 8: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/8.jpg)
8 株式会社サイバーエージェント
現状 Service Recommendation
Trend Ranking
Word Completion
Thesaurus
Log Data
Search API
Spam Filtering
…
Small Scale -> SolrCloud
Mid/Large Scale -> Solr(master-slave)
Query response times: 1~100ms
Queries per day: 12~13M
![Page 9: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/9.jpg)
9 株式会社サイバーエージェント
・ 課題
本日の内容
・ 現状(事例紹介)
![Page 10: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/10.jpg)
10 株式会社サイバーエージェント
課題(進めていること)
• 共通解析ライブラリ(独自)の整備 • リアルタイム性 - データ転送 - アルゴリズムの改良 - システム連携・設計の見直し • 検索精度の向上 - 辞書拡張、スペル訂正、コミュニティ分析 etc. • 監視体制、ツール、アノテータ
![Page 11: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/11.jpg)
11 株式会社サイバーエージェント
課題(進めていること)
• 共通解析ライブラリ(独自)の整備 • リアルタイム性 - データ転送 - アルゴリズムの改良 - システム連携・設計の見直し • 検索精度の向上 - 辞書拡張、スペル訂正、コミュニティ分析 etc. • 監視体制、ツール、アノテータ
大規模分散処理
システム設計・構築
プログラミング
統計
検証
機械学習
必要なスキル
![Page 12: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/12.jpg)
12 株式会社サイバーエージェント
Personalized Search
Recommendation Search API
Distributed Search
(Solr×Recommendation)
shard3
shard1
shard2
default recommend
shard3
shard1
shard2
default (検索条件に応じたクエリ)id age rankA 20 1B 30 2
recommend (検索条件に応じたクエリ+recommend:ログインID)id age rank recommendA 20 2 BB 30 4 C,D
![Page 13: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/13.jpg)
13 株式会社サイバーエージェント
SolrCloud
Talent Search Blog Search
News Search Community Search
(従来)
Talent, Blog, News, Community Search
(今後)
SolrCloud
Cluster
ネットワーク設定、サーバー構築
リソース管理の効率化
![Page 14: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/14.jpg)
14 株式会社サイバーエージェント
Flume Service Recommendation
Trend Ranking
Word Completion
Thesaurus
Spam Filtering
…
Activity Log
Collector
Realtime analytics
Realtime updates
Bulk update
共通解析ライブラリの利用
![Page 15: 20130109 検索cross yasuda](https://reader031.fdocuments.net/reader031/viewer/2022020115/54c333b04a7959e71b8b46dc/html5/thumbnails/15.jpg)
15 株式会社サイバーエージェント
ご清聴ありがとうございました!