20170130 Oisix勉強会LT発表資料
-
Upload
taisuke-fukawa -
Category
Engineering
-
view
559 -
download
0
Transcript of 20170130 Oisix勉強会LT発表資料
インパクトのあるデータ分析をするための鬼10則
自己紹介普川泰如(ふかわたいすけ)オイシックスの中の人です。元々はWebエンジニア今マネージャデータ分析好きでチームを作った
オイシックスでエンジニアが機械学習とデータ分析を本格的に始めて1年たちました。
他社の専門家に依頼したり社内で、開発・分析・サービス展開を色々失敗を積み重ねた結果振り返ってみて、わかったことを披露します。
他の人がテクニカルなものがおおいので、どちらかというと考え方についての発表です
第1則チェーホフの銃バイアスに気をつけろ
チェーホフの銃“物語に拳銃がでてきたら、それは発射されなければならない”
覚えたてのアルゴリズムは使いたくなってしまう
某 O社の例>pip install scikit-learn
「レコメンドをしよう」「ロジスティック回帰で顧客の属性予測してレコメンドだ!」
✖️本当にそれが解くべきイシューなのか✖️本当にそのアルゴリズムを使うべきか
第2則インパクトの大きいイシューを設定しろ!
「どんな商品をレコメンドすべきか」
問題です: 以下のイシューを修正してより、インパクトのあるイシューにしてください
「受注率をあげるためにどんな商品をレコメンドすべきか」
正解例:
・そのサービスのより本質的なイシュー・分析の方向性がよりクリアーになる
イシューの設定の仕方:
Oisixで見ている LTV(顧客生涯利益)週1回の定期購入モデル・注文単価・受注率(リピート率)・解約率
ただのレコメンド →しいて言えば購入単価
受注率をあげるためのレコメンド →長期的な LTVが上昇
本質的なイシューか?
・受注率あげるにはどういう人達にレコメンドすると良いんだっけ→ヘビーユーザよりミドルユーザ
分析の方向性をクリアにする
・受注率をあげるにはどういうものをレコメンドするんだっけ→サービスのメカニズムを深掘る
お客さまが注文しようと判断する思考→今週は送料が無料になるくらい買うものがあるか?
購入判断を時間軸別に考えてそれぞれのレコメンドを考える
①もともと買う予定のもの②売り場で買うと決めもの
③ついでに買うと決めたもの
・受注に関係あるのは①と②じゃないのか?・①が1000円以上あると売り場に来やすくなるぞ・①+②で10分以内に2500円にならないとだめ
第3則一発で完璧な答えがでる分析など(おそらく)ない
・分析を繰り返すことを前提にスケジュールとリソース調整をしておく
いろいろデータ整備した結果あれもわかりそう、これもわかりそう。「よしじゃあ、 3人いるから3つずつ進めよう。」→1サイクルまわした時点で、また新たな分析したい内容がでてくる。「じゃあ、1人そっちの分析にまわって」→せっかく途中まで分析したこれはどうなるんでしたっけ?
第4則精度は必要十分で!
某 O社の例「レビューのネガポジ判定の精度が80%以上あがりません!」「よし、係り受け分析だ。」「 NGワードの設定を自動化して」「教師データを増やして、、」
・とりあえず、精度ある程度のところまでいったら、あとは手動で選別もあるよ。
まとめ①覚えたてのアルゴリズムは寝かせてから使う②イシュー大事③一発ですごい結果はでない④精度は必要十分で⑤プレ調査を行っていけるいけないを見極める⑥フィードバックのとり方も最初に設計⑦普段からのデータ整備大事⑧わからないときはローデータも見る⑨分析結果を生かす社内の体制づくり⑩運用フェーズまで考慮しよう!