「YDNの広告のCTRをオンライン学習で予測してみた」#yjdsw4

YDNの広告のCTRを オンライン学習で予測してみた ヤフー株式会社 データ&サイエンスソリューション統括本部 サイエンス本部 岸本 忠士 Copyright (C) 2016 Yahoo! JAPAN Corporation. All Rights Reserved.

自己紹介 ■名前 岸本 忠士 (きしもと ただし) ■所属 データ&サイエンスソリューション統括本部 サイエンス本部 サイエンス1部 マーケティングサイエンス2 ■勤務地 大阪!!! ■業務 YDNの開発、改善(いろいろ分類したり推定したり) 2 Copyright (C) 2016 Yahoo! JAPAN Corporation. All Rights Reserved.

YDN ■YDNとは? 弊社のディスプレイ広告の商品名。 正式な名称は｢Yahoo!ディスプレイアドネットワーク｣。 Yahoo! JAPANや提携サイトに表示されるクリック課金型広告。 3 Copyright (C) 2016 Yahoo! JAPAN Corporation. All Rights Reserved.

CTR予測と期待収益の関係 ■表示する広告はどのように選ばれるのか ユーザと広告主の利便性と利益を考慮した上で 期待収益が最大になるように選ぶ ■期待収益の計算方法 ざっくり言うと 期待収益 = クリック単価(≒入札金額) × 予測CTR(クリック率) ■つまり 期待収益を最大化するためには CTRを正確に予測することがとても重要！ 4 Copyright (C) 2016 Yahoo! JAPAN Corporation. All Rights Reserved.

オンライン学習について ■オンライン学習とは データを受け取るたびに予測モデルのパラメータを 推定&更新する機械学習の手法 ■オンライン学習のメリット(バッチ学習比) ・1回の計算で使用するデータ量が少ないので省メモリ、高速 ・モデルデータの更新間隔を短くできる(例:1週間に1度 → 1時間に1度) 【具体例1】新しく入稿された広告に対するタイムラグが小さい 【具体例2】曜日や時間帯によるクリック傾向の変化に追随できる ■オンライン学習のデメリット(バッチ学習比) ・予測精度が低くなりがち ・外れ値などのノイズに弱い ・パラメータの収束速度が遅い 5 Copyright (C) 2016 Yahoo! JAPAN Corporation. All Rights Reserved.

A/Bテスト概要 ということで実際にA/Bテストをやってみました ■コントロールバケット ・バッチ学習 ・モデルデータの更新頻度は1週間に1回 ■テストバケット ・オンライン学習 ・モデルデータの更新頻度は1時間に1回 ■ 共通 ・特徴量(素性)は同じ ・A/Bテストの期間は3週間 6 Copyright (C) 2016 Yahoo! JAPAN Corporation. All Rights Reserved.

オンライン学習のモデル ■CTR予測モデル 0-1の2値分類ではなく、確率値で予測したい ロジスティック回帰でCTR予測をモデル化する ■パラメータの学習 SGD(確率的勾配降下法)でデータごとに パラメータを推定&更新し続ける ■モデルの詳細 末尾に添付したポスター発表の資料(抜粋)をご覧ください。 ｢オンライン広告の実システムへのオンライン学習の適用｣ 高木 潤、他 IBIS2015(第18回情報論的学習理論ワークショップ) ポスター, 2015/11 7 Copyright (C) 2016 Yahoo! JAPAN Corporation. All Rights Reserved.

オンライン学習のシステム構成 ■Kafka + Stormでストリーム処理 広告配信サーバ ログ 広告リダイレクトサーバ ログ Kafkaクラスタ 広告配信ログTopic 広告クリックログTopic Stormクラスタ 広告配信ログSpout ログ結合Bolt 広告クリックログSpout ログ結合Bolt 学習Bolt モデルデータ(1時間に1回) 8 Copyright (C) 2016 Yahoo! JAPAN Corporation. All Rights Reserved. ログ結合Bolt

A/BテストのKPIとまとめ ■CTR(クリック率) +4.1% → ユーザー視点：より興味・関心がある広告が表示された ■CPC(クリック単価) -2.5% → 広告主視点：広告のコスパが良くなった ■RPR(リクエストあたりの売上) +1.5% → 弊社視点：トータルで売上が上がった ■まとめ 狙いどおりCTRが上がり、みんなハッピーになれそうな予感 9 Copyright (C) 2016 Yahoo! JAPAN Corporation. All Rights Reserved.

おしまい ご清聴ありがとうございました！ 10 Copyright (C) 2016 Yahoo! JAPAN Corporation. All Rights Reserved.

参考資料 IBIS2015 ポスター (抜粋) 11 Copyright (C) 2016 Yahoo! JAPAN Corporation. All Rights Reserved.

参考資料 IBIS2015 ポスター (抜粋) 12 Copyright (C) 2016 Yahoo! JAPAN Corporation. All Rights Reserved.