[DL輪読会]Recurrent Ladder Networks

DEEP LEARNING JP [DL Papers] “Recurrent Ladder Networks” <実装編> Hiroshi Sekiguchi, Morikawa Lab http://deeplearning.jp/ 1

• http://deeplearning.jp/

アジェンダ • • • • 今回の実装対象 Ladder Networks実装緒言 Ladder Networksアルゴリズム Recurrent Ladder のSpeech Separationへの応用 2

今回の実装対象 • 本来は以下の論文の実装を目的にしていた – “Recurrent Ladder Networks” (31st Conference on Neural Information Processing Systems (NIPS 2017)) – ポイント • 応用として，ビデオ信号の時間モデル化、格子で一部を隠された動く数字の認識，がある． – 実装上の障害 • Recurrent Ladder Networksの雛形になるコードが見つからない. • Moving MNIST等，実装の調整に使えるデータが手に入らない． • 代案として，同グループの元になる論文を実装する: – Semi-Supervised Learning with Ladder Networks • https://arxiv.org/abs/1507.02672v2 • Submitted to Advances in Neural Information Processing Systems 28 (NIPS 2015) – コードのロード場所：https://github.com/sekigh/ladder_MNIST.git 3

• https://arxiv.org/abs/1507.02672v2

Ladder Networks • 生成モデルの一種 • 観測データ​"↓$ ，$=1,..&は複数の潜在確率変数 ​ℎ ↑) ,)=1~*, ):層番号から 生成されるとする → 複雑な生成モデルを表現及び推測可能 • Graphical Modelの記述に従って潜在変数間の事後確率の連結で​"↓$ の 確率密度表現． • 学習でネットワークの係数と潜在変数の事前確率密度が求まる 4

Ladder Networks • 緒言： – 入力データ：追加でノイズ混入させた観測データ – ネットワーク：エンコーダー→デコーダ向きにスキップコネクションが付きオー トエンコーダ． – 学習：デコーダの各レイヤーで，クリーンな入力データを再構築するように、エ ンコーダ・デコードの係数を学習する．→デノイジング関数をデコーダで習得す ることと同等． • 効果： – MNIST静止画7000万枚 – 教師有りデータは用意が大変なので，できるだけ少ない教師有りデータとほとん どが教師無しデータの学習で，SOTAを獲得 5

https://github.com/sekigh/ladder_MNIST.git https://github.com/sekigh/ladder_MNIST.git https://github.com/sekigh/ladder_MNIST.git Ladder Networks • 目的 – Ladder Networksでsemi-supervised taskを有効に行えることを示す. – Semi-supervised task のメリット: supervised taskの教師データの取得する労力を， unsupervised learningと併用することで軽減する． • プログラム環境：Python 3.6 ，Pytorch 0.3.0 • データ – データの種類：MNIST – データ層数数：70000 • • • • • 出力 validation数：10000 Test data数： 10000 Supervised data数 : SV Unsupervised data数：50000－SV – Total cost, Supervised cost, Unsupervised cost, Validation cost – 出力頻度 : 1回/30 batch，100ｻﾝﾌﾟﾙ/batch 6

• https://github

Ladder Networksの のMNIST識 識別評価結果 • Ladder NetworksでMNISTの評価 – Network: Perceptron場合 – Networks: ⇐ 入力はPermutation-invariant dataが条件の時 CNNの場合 7

まとめ • Ladder NetworksでMNISTの認識を実行した． – 論文結果ほぼ、性能が出なかった．なぜか？ • Ladder Networksを音声分離の再構成に応用している – 聴覚音声特徴量抽出部（Ladder Networks：100% Unsupervised Learning）はイ ンプリできていそう。係数のイメージを可視化してsparse性がでていることを確 認する。 8

END 9