[DL輪読会]Quality-Sensitive Training! Social Advertisement Generation by Leveraging User Click Behavior (WWW2019)

DEEP LEARNING JP “Quality Sensitive Training! Social Advertisement Generation by Leveraging User Click Behavior (WWW2019)” [DL Papers] Yoshifumi Seki, Gunosy http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 ● タイトル: Quality Sensitive Training! Social Advertisement Generation by Leveraging User Click Behavior ● 著者:Yongzhen Wang^1, Heng Huang^2, Yuliang Yan,^2, Xiaozhang Liu^1 ○ 1: Indiana University ○ 2: Alibaba group ○ 第一著者のAlibabaインターンでの成果 ● 投稿先 ○ WWW2019 ● 選定理由 ○ 広告の生成周りには関心がある ○ 生成系でクリックのようなユーザフィードバックを活用している研究は少ない 2

概要 ● SNSでシェアされることを意図した広告文を自動生成したい ● Alibabaのユーザは1日当たり150M回以上商品リンクをSNS(WeChat, Weibo)で シェアしている ● 店舗側はユーザにクリックしてもらえるようにシェア文言とかを工夫したい ● これを自動生成したい 3

難しいこと ● 語彙のバリエーションが多い ● 広告テンプレートに合わせると商品との関連がすくなくなって、コンバージョンが下が る ● ユーザの関心事は動的 4

5

商品タイトルからSNSシェア文言を生成するPointer-Generartor 6

Switching Generator Pointer[Nallapati+16] ● ● 未知語／低頻度語対策 Switchがonのときはそのまま単語を出力するが、offのときはsourceから単語を 取ってくる ○ switchがoffになる -> 未知語 decoderのi番目でswitchがonになる確率 decoderのi番目がencoderのj番目の単語になる確率 Pointer Value 最適化対象 G_i: decoderのi番目の単語がvocab外のとき0になる

Pointer Generator Network[See+ ACL’17] ● Decoderから生成するか、Pointerを使うかの確率 Out-of-Vocabularyの時: P_vocab(w)=0 Sourceにない時: a_i^t=0

出力する単語 普通のAttention付きSeq2Seqの出力 CopyかGenerateかを制御する どの単語をCopyするかはAttention 9

10

Latent Semantic Space Featuring CTR 11

Latent Semantics Space Featuring CTR ● CTRが高い => 生成したテキストと商品の相性が良いという仮定 ● S+: CTRが高かったSNSテキスト S-: CTRが低かったSNSテキスト CTRの良し悪しを反映した埋め込み表現Φ_CTRを学習させたい 12

Φは普通のw2v 13

生成したものをどう評価するか 14

生成したものをどう評価するか CTRが高いとき、ちゃんと生成できているか？ 15

生成したものをどう評価するか CTRが高いとき、ちゃんと生成できているか？ 生成したテキスト S~がSに近ればLossが下がる 16

生成したものをどう評価するか CTRが低いとき、CTRが高い文を作れているか？ 17

生成したものをどう評価するか CTRが低いとき、CTRが高い文を作れているか？ 作った文S~のCTRが高ければ、 T≡S~なので、Q(T, S) = Q(S, S~) となる これが満たされたときに Lossが下がるような関数を設計する 18

データセット ● Taobaoのデータ ○ all social advertisements are extracted from the associated product displays on search guide tabs ○ 衣料品のカテゴリ ○ 1.18Mのデータを抽出 ■ 1MをLatent Semantic Spaceをつくるために ■ 残り180K ● 90%をSeq2Seqのtrain ● 5%をvalid ● 5%をテスト ○ 作られたサンプルは、メッセージングアプリにデプロイして、CTRを１週間観測する ■ と書いてあるけど、ちょっとよくわかってない ■ CTRを使うのはLatet Semantic Spaceのときで、Seq2Seqのときには使ってないよね ■ メッセージングアプリの記述は１回しかでてこないので謎 19

結果 ● BaselineはPointer-Generatorと、要約指標で最適化したときのもの ● 提案手法が、CTRのランキングだけでなく、要約指標上も強い ○ CTRの近さが意味の近さを表現しているのでは？ ○ 20

Latent Semantic Spaceの分布 ● 提案手法は類似度の分布がガウスっ ぽい ○ 他の指標は分布が偏っている ○ 要約指標は分布が偏っているので学習しず らいのでは？ 21

● 要約分野におけるSOTAなモデルたちとの比較 ● ROUGE-LでPGeneratorに負けてるけど、それ以外では買ってる ● もちろんRankingでがより強い 22

● クラウドソーシングを使った人での評価 ● 面白み、多様性の面で評価が高い ● Transformerが全体として高め 23

24

まとめ ● Social AdvertisementのCTRを考慮した自動生成 ○ 本当にSocial Advertisementなのかはうーん ○ Onlineとかでテストしてみてほしかった ● CTRをベースにした類似度を学習し、それをベースに生成モデルを学習 ○ 前者だけでもおもしろそう、詳しい分析とかしてみてほしかった ○ 商品タイトルの要約だと考えているのは良い ○ 普通に要約指標で学習するよりも、要約としても強いのは驚き ● 面白いと人の評価で出ているのは直感的 ● ちょっと実験周りの説明が甘い気がする ○ WWW2019は他の論文も含め全体として実験設定が甘い気がする ○ 結果は面白いのが多いけど 25