[DL輪読会]Z-Forcing: Training Stochastic Recurrent Networks (NIPS2017)

DEEP LEARNING JP [DL Papers] “Z-Forcing: Training Stochastic Recurrent Networks (NIPS2017)” Naoki Nonaka http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 • 会議：NIPS 2017 (Poster) • 著者：Anirudh Goyalら（Yoshua Bengioのグループ） • 引⽤：9件（2018/08/09時点） • 著者実装：https://github.com/sordonia/zforcing • Stochastic recurrent modelsの研究 （図表は紹介する論⽂中のものを使⽤） 2018/8/9 2

• https://github.com/sordonia/zforcing

導入 • 従来のRNNでは不⼗分な場合への対処 – 出⼒変数の間に相関がある(simultaneities) – ⻑期の依存関係が存在する(long-term dependencies) • ⾼度な抽象表現を獲得する ↓ 確率的潜在変数をRNNに導⼊する 2018/8/10 3

導入 • 本研究の貢献 – これまでのStochastic RNNの⼿法を組み合わせ， 先⾏研究を上回るモデルを提案した – RNNを decoderを⽣成モデルのDecoderとして⽤いる場合に， 潜在表現の学習が困難になる点をAuxiliary task-agnostic loss を導⼊することで軽減できることを⽰した 2018/8/9 4

関連研究と提案手法 2018/8/9 5

提案手法 • Generative Model – Decoder • xt, zt, ht-1からLSTMによりhtを計算 • htからf(o)によりxt+1を計算 – Prior 2018/8/9 6

提案手法 • Generative Model – Decoder • xt, zt, ht-1からLSTMによりhtを計算 • htからf(o)によりxt+1を計算 – Prior • Inference Model • xについてBackward処理 btには未来の情報が含まれる • ztの推論 2018/8/10 7

提案手法 • Auxiliary Cost 2018/8/9 8

提案手法 • Learning – Auxiliary taskのloss は， backwardのネットワークの更新には⽤いない – Backwardのネットワークの学習には以下を⽤いる 2018/8/9 9

実験 • Speech modeling – TIMIT – Blizzard • Sequential MNIST • Language modeling 2018/8/9 10

実験 - Speech modeling • Dataset – Blizzard: 300h, 英語, ⼥性1名 – TIMIT: 6300⽂, 英語, 630⼈ – ともに実数値の系列 • 表記 – kla: KLのアニーリング – aux: Auxiliaryタスクの使⽤ • 結果 – ⼤幅に改善 2018/8/9 11

実験 - Speech modeling - • auxを⽤いた場合の⽅が，klが安定的に増加している 2018/8/9 12

実験 - Sequential MNIST • Dataset – MNIST – 系列として画像を⽣成 • 結果 – DRAWなどの強⼒な ベースラインと同等 – PixelVAEなどには負けた – KLアニーリングにより悪化 2018/8/9 13

実験 - Language modeling • Dataset – IMDB text corpus – max length 16words, vocabulary 16K. • 結果 – ELBOとIWAEの間のperplexityは，KL divergenceが⼤きく なるとともに⼤きくなる 2018/8/9 14

実験 • ⽣成されたテキストの例 2018/8/9 15

まとめ • 新たなStochastic recurrent modelを提案 – これまでの⼿法を組み合わせた – Auxiliary taskを置くことで，潜在変数の学習を改善した • 提案モデルは，Speech modeling taskにおいて先⾏研究 を上回り，Sequential MNISTにおいてDRAWなどと同等 の結果を得た 2018/8/9 16