Deeplearning lt.pdf

DEEP LEARNING JP [DL Papers] DeepLearning 論文乱読会 2018/4/6 http://deeplearning.jp/ 1

• http://deeplearning.jp/

“Certifying Some Distributional Robustness with Principled Adversarial Training” (ICLR2018, Oral) Aman Sinha, Hongseok Namkoong, John Duchi (Stanford University) どんな研究？ データ������動にロバストな推論を行えることを� 証する効率的な手法を提案．Distributional Robustness, Wasserstein Ball��点を利用． 提案法�肝�？ (1) ラグラン�ュ��定�数法でDistributional Robustnessを書き直す． �行研究と��い�？ Distributional robustnessに��く��方法より効率的（P をどう��か）？で��いクラス（損失�形）に適用可能． (2) 上���な���大�（NP-Hard）な�で�上手く� 似する => よく分かってないですすいません。 Keyとなる洞察/結果 Fast gradient sign method (FGSM) [Goodfellow, 2015] �ような入力��で���線形���定�ない．

岩澤

“Variance-based Regularization with Convex Objectives” (NIPS2017, Oral, Best Paper) Hongseok Namkoong, John Duchi (Stanford University) どんな研究？ Keyとなる洞察/結果 生成過程Pにロバストな推論を行うた��手法を提案．応 用�として�Adversarial Exampleやドメイン適応など． 理論的な結果 1. 提案法�式が�Varianceを��にする�適化�� 界により高い確率で抑えられる 2. 収束も早い �行研究と��い�？ Varianceを直��小化する方法（次式）�あったが ，Variance�損失�数が�でも��になる．提案法�� なままこ�式を�似． 提案法�肝�？ Distributional Robustness��点で�える + そ�効率的 な学習方法 [D. & Namkoog, 2016] 実験的な結果（ピックアップ） 1. Portease clevage experiment 2. Document classification in Reuters corpus

“Few-Shot Adversarial Domain Adaptation” (NIPS2017) Saeid Motiian, Quinn Jones, Seyed Mehdi Iranmanesh, Gianfranco Doretto (West Virginia University) どんな研究？ ター�ットドメイン��ンプルが�ししか無い（がラベルが ある）��ドメイン適応手法を提案．クラスを��した�ア リング（図1）とそれを利用した損失（式4）が肝． https://arxiv.org/abs/1711.02536

• https://arxiv.org/abs/1711.02536

阿久澤

Style Tokens: Unsupervised Style Modeling, Control and Transfer in End-to-End Speech Synthesis Yuxuan Wang, Daisy Stanton, Yu Zhang, RJ Skerry-Ryan, Eric Battenberg, Joel Shor, Ying Xiao, Fei Ren, Ye Jia, Rif A. Saurous(google) どんな研究？ 提案法�肝�？ 音声合成�，一��テ�ストに対していく�も�読み上げ 方(韻律)が存在する問題を抱えている． 音声合成システムTacotronを��し，一��テ�ストを 様々な韻律で読み上げることを可能にした． �行研究と��い�？ ナイーブなseq2seq音声合成類デル�そもそも韻律をコン トロールする方法を持たない 韻律�表現をクラスターで学習し，そ�表現を音声合成類 デル���に用いる既存研究と�い，End-to-Endに学習 を行うことができる Keyとなる洞察/結果

鹿山

ChestX-ray8: Hospital-scale Chest X-ray Database and Benchmarks on Weakly-Supervised Classification and Localization of Common Thorax Diseases (CVPR 2017, arXiv 2017.12) XiaosongWang, Yifan Peng, Le Lu, Zhiyong Lu, Mohammadhadi Bagheri, Ronald M. Summers どんな研究？ 大規模な胸部X線画像データベースを作成し，またそ� データを用いて画像から病状を分類するCNN類デル� ベースラインを提案 �行研究と��い�？ 32,717人 人 112,120枚 枚�胸部X線 線画像に対する8種 種類�病 状ラベルを作成 （後にラベル数を14種 種類に拡大） - ���多くて 7400枚 but ラベル無し �����理を用いて，画像に��する��線�� レ�ートから一�的な�種�病状ラベルを推定 既存�画像分類類デル AlexNet, GoogLeNet, VGGNet, ResNet を用いて包括的な分類精度ベースライ ン検証 提案法�肝�？ 病�に�いて�表現を�規化する DNorm アルゴリズム， 並びに文章が表す biomedical context を抽出する MetaMap アルゴリズム ��合せ，レ�ートに�られる特 �的な�定構文�を��により，8種類�病状推定で 90%�精度,再現度,F1値を達成 → ��に�るラベル��動生成が可能に Keyとなる洞察/結果 データ��りに対して，���数で�������重み� けを��することで類デル�精度上�

Diagnose like a Radiologist: Attention Guided Convolutional Neural Network for Thorax Disease Classification (arXiv 2018.1) Qingji Guan, Yaping Huang, Zhun Zhong, Zhedong Zheng, Liang Zheng and Yi Yang どんな研究？ 提案法�肝�？ 胸部X線画像から病状を分類するにあたって，画像全体と 一部分���を�合する CNN を提案． ChestX-ray14[Wang 2017] データセットで現状SOTA �行研究と��い�？ 画像全体だけでなく，注意機構で抽出した特定�一部分 �画像も用いて分類問題ををく - 病��胸部 X線画像�一部に�み存在していることが 多い �像��によって��んでいたり，境界がズレている ことがある 注目領域抽出�学習に，GTバ バウンディングボックスを必 要としない Keyとなる洞察/結果 Local x Global (DenseNet121) で SoTA， Global -> Local -> Fusion � 順で学習，重み固定が一 番精度が出た

松嶋

“Embodied Question Answering” (arXiv, 2017) Abhishek Das, Samyak Datta, Georgia Gkioxari, Stefan Lee, Devi Parikh, Dhruv Batra (Facebook Research) https://arxiv.org/abs/1711.11543 どんな研究？ 3D環境中における新たなQAタスクEmbodied Question Answering (EmbodiedQA)を提案． シミュレータをgithub上で公開． https://github.com/facebookresearch/house3d 提案法�肝�？ 既存�QAタスクと��い 1) 状態が1人称視点で与えられる 2) �問に�えるた�に�行動が必要 (一応)実験として，プランナとコントローラからなる階層的 なRLを利用した結果を掲載 - navigationとQA�類�ュールを�々に学習(SL or 模倣 学習)したあと，両者を結合して学習 Keyとなる洞察 タスク�����的な部分 「環境�知覚�意����行動ができる知的な�ー��ント �構�をすることが��的な目�」 - 能動的な知覚(active perception)が必要 - 「常識的な」推論が必要 ex)��ことを�かれたからガレー�に行こう - ���groundingが必要(��と行動���対応)

• https://arxiv.org/abs/1711.11543
• https://github.com/facebookresearch/house3d

“Embodied Question Answering” (arXiv, 2017) Abhishek Das, Samyak Datta, Georgia Gkioxari, Stefan Lee, Devi Parikh, Dhruv Batra (Facebook Research) https://arxiv.org/abs/1711.11543 Overview Key Point of Proposed Method This paper proposes Embodied Question Answering (EmbodiedQA) task. The simulator is available in github． https://github.com/facebookresearch/house3d Difference between existing QA task 1) State is presented as First person view 2) Agent needs its actions in order to answer correctly In Experiment, they use hierarchical RL consisted of planner and controller - Train separately both modules of navigation and QA, then joint two modules Main Insights Design concept of task “Long term objective is to make intellogent agents that can perceive, communicate and act” - need active perception - need inference with “common sense” ex) If asked about car, agents try to go garage, - need grounding of symbol and real world

• https://arxiv.org/abs/1711.11543
• https://github.com/facebookresearch/house3d

“World Models” (arXiv, 2018) David Ha, Jürgen Schmidhuber https://arxiv.org/abs/1803.10122 どんな研究？ �化学習において環境�類デル�学習と�ー��ント� 操作を分けて学習する - VAEと混合ガウシアンRNNで環境��イナミクスを類デ ル化 - �化学習�コントローラ部分�シンプルにできる 環境�類デル�学習により実環境なしで学習可能 (hallucinated dream)で，学習した方策を実環境に転移す ることも可能 �行研究と��い�？ 大きなRNN����的なデータ�表現力が高い But RLにおいて�credit assignment�問題があり，�� 的小さいNNを利用していた - 小さい類デル�方が早く�い方策を��ける 提案手法で�，環境�類デルとコントローラに分けること で表現力�高い大きなNNを利用できる 提案法�肝�？ 環境�類デルとコントローラに分けることでコントローラを シンプルにした - VAEで入力を低次元化 - 潜在表現z�分 分布を予測する(混合ガウシアンRNN) - コントローラ�シンプルな類デルでよい (zとhを結合した線形類デル) Keyとなる結果 - CarRacing-v0で��て規定�スコアを上�った - 学習した環境�類デルだけでタスクが実行可能

• https://arxiv.org/abs/1803.10122

“World Models” (arXiv, 2018) David Ha, Jürgen Schmidhuber https://arxiv.org/abs/1803.10122 Overview This paper proposes to learn dynamics of environment and control of agent separately in RL settings. - model dynamics of environment using VAE and mixture gaussian RNN - We can make controller simpler (with fewer parameters) By learning model of environment, the agent can learn policies without interacting real environment (hallucinated dream), then even transfer into real settings. Difference between Previous Work Large RNNs have high capacity but in RL setting, there’s credit assignment problem, so existing method tended to use smaller RNNs. In proposed method, the model is divided into the model of environment and controller, so large RNNs can be used. Key Point of Proposed Method Making the controller simpler by dividing models into “World Model” with a RNN, and controller with small number of parameters - dimension reduction with VAE - predict latent representation z using Gaussian Mixture RNN - simple controller with linear model Main Insights - First model that achieved required score in CarRacing-v0 task - solve task using only learned environment model

• https://arxiv.org/abs/1803.10122