データ分析の事例

データ分析の事例#

BI事例#

主にBusiness Intelligence的な事例

一休.comの取り組み#

データから「最も愛してくれているお客様」を特定して売上高が10倍に成長。高級宿泊予約サイトの「一休.com」に聞く、データドリブンなプロダクト運営と顧客を絞る理由。｜アプリマーケティング研究所

「市場を取りきった」という思い込み

  • 背景：なぜ伸び悩んだのかヒアリング→「市場を取りきった」という返答が多かった。

  • 方法：データを 販売シェア で見た

    • 例えば、100室を保有する宿で「1日平均3室」を一休が販売しているなら、一休の販売シェアは3%。

    • これを全ての宿で見ると、一休の販売シェアは低水準で停滞していた。つまり、市場ではなくて「販売シェア」が伸びていないという問題点が見えてきた

ターゲットを決めて、彼らのためのサービスを作った

  • データを見ると、年間の利用金額が「100万円を超えるお客様」の利用金額が伸びていることがわかった。

  • 彼らロイヤルカスタマーにインタビューを行ったところ、「ノイズがなくて、高級宿ばかりで使いやすい」という一休の強みが見えてきた。

  • 「高級な宿に頻繁に泊まるお客さん」にとって嬉しいことを行うことに決めた（広告の廃止、高級感をより感じてもらえるよう大きな写真を乗せたり工夫）

  • 結果：リピート率が向上

クーポンをメールで送るのではなく直接サイトに表示

  • サイトから離れた後にメールで送るのではなく、画面上にクーポンを出す

  • 使いやすくしていくことで利用率も効果も向上

AI事例#

Booking.comのレコメンデーション#

Bernardi et al. (2019) 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com （KDD2019）

1. 機械学習はビジネスに貢献する

  • お客様の旅行のcontextを予測して、子供がいたらその情報も検索欄に入れるようにリマインドする

  • 各宿泊施設についてのレビューの文章を要約する

  • 特定の都市の価格のトレンドなど有益な情報を提示する

などなど、多数の予測モデルでサイトを最適化している。

この効果はA/Bテストで検証され、しっかりビジネスに貢献していることが確認されている。

2. Offline Metricsはビジネス指標とは相関しない

これはこの論文の非常に重要な指摘で、よく引用される部分。

新しいモデルを開発して古いモデルから置き換えるとき、Offline Metricsの改善（たとえばAUCがどれだけ改善したとか）とデプロイ後のOnline Metrics (A/B testの結果）は相関しなかった。

著者らの考察：

  • パフォーマンスの増加によるビジネス価値の増加は逓減する

  • 不気味の谷現象：ユーザーの行動をピッタリ予測しすぎて気味悪がられる

  • 中間的な指標への過度な最適化：例えばクリック率を最適化するようにモデルを作っていった結果、コンバージョンにつながらない「単にクリックさせるだけ」のモデルになっていった

ビジネス上の指標を最適化したいにもかかわらず、モデルは別の誤差関数を最適化しているのでこのようなことが起こる

3. Latencyの増加がビジネスに悪影響を与える

latency（待ち時間）が増えるとビジネス指標を下げるし、逆にlatencyを下げる努力をすることでビジネスを改善できたという報告。

参考

Amazonの「明日にお届け」を表示するかどうかの判断モデル#

Mondal, et al. (2022). ASPIRE: Air shipping recommendation for e-commerce products via causal inference framework. （KDD2022）

課題

Amazonにて、ある商品について「この顧客・商品は空輸してでもすぐに配送すべきか？」の判別をして「明日にお届け」を表示するかどうか決めている。既存モデルを改善したい。

手法

期待売上を推定し、輸送可能量の制約の下での 売上最大化問題として解く 。

\[\begin{split} \begin{aligned} &\max _{\lambda_{1 \cdots m}} \sum_a \underbrace{E(y \mid a)}_{\text {製品aの期待売上 }}\\ & \text { s.t. } \sum_a \underbrace{E(C \mid a)}_{\text {製品 } a \text { の輸送量 }} \leq \underbrace{B}_{\text {輸送可能量 }} \end{aligned} \end{split}\]

Booking.com の「予測誤差を最適化してもビジネス指標は最適化されない」という指摘を活かしたような感じで、売上を直接最大化するように問題を定式化しているのが面白いポイント。

期待売上はLightGBMによるDoubly Robust Estimatorで推定する。

結果

online evaluation（A/Bテスト）での検証において、ベースラインのモデルよりも売上を79bps増加させたことが確認された（※bps = basis points = 0.01%）

参考

LinkedInにおける対応すべき顧客のレコメンド#

手法

  • 解約（churn）しそうな顧客、あるいは追加購入（upsell）の可能性がある顧客をスコアリング

  • スコアは営業担当者が使うCRMツール（MyBook）にランキングとして表示し、優先的に対応すべきとしてレコメンド

  • スコアの理由を自然言語（文章）で説明することでユーザーの納得感を高める工夫を行った

    • この説明はルールベースで生成している。CrystalCandleという名前で別の論文でも発表している

結果

  • A/B testにより、このレコメンドによる契約数の+8%の増加を確認

参考

Jena et al. (2023). Unlocking Sales Growth: Account Prioritization Engine with Explainable AI. (KDD2023)

Contents