[DL輪読会]Beyond Shared Hierarchies: Deep Multitask Learning through Soft Layer Ordering

DEEP LEARNING JP [DL Papers] “BEYOND SHARED HIERARCHIES: DEEP MULTITASK LEARNING THROUGH SOFT LAYER ORDERING (ICLR2018)” Naoki Nonaka, Matsuo Lab http://deeplearning.jp/ 2018/3/1 1

• http://deeplearning.jp/

書誌情報 著者：Elliot Meyerson & Risto Miikkulainen (The University of Texas at Austin and Sentient Technologies, Inc.) 学会：ICLR 2018 Accepted paper (Poster) (7, 7, 6) 2018/3/2 2

背景 マルチタスク学習 関連する複数のタスクを同時に学習 させることで，これらのタスクに共通 の要因を獲得させ，タスクの予測精度 を向上させる（朱鷺の杜Wikiより） 深層学習によるマルチタスク学習 （Deep MTL） Single task Multi task Improving Machined Surface Variation Prediction by Integrating Multi-Task Gaussian Process Learning with Cutting Force Induced Surface Variation Modelingより 2018/3/2 3

背景 （これまでの）Deep MTL ⇒ 少数のタスク and/or 類似するタスクでしか解かれていない （これまでの）Deep MTLの前提 • 学習された変換はタスク間で共有可能 【+ 暗黙的な前提】 • タスク間での共有は，モデル構造により決まる 特徴量の階層において，平⾏する層間でのみ⾏われる 層の順序が変わることを許可すれば，より柔軟なモデルが可能 2018/3/2 Task1 Task2 L4 L3 L4 L2 L3 L1 L2 層の順序が不変 4

本研究で検証すること Deep MTLにおいて， üタスク間で層の順番が同⼀である必要性を検証 üタスクごとに共有される層の順番を変更することにより， 精度が向上するかを検証 2018/3/1 5

先⾏研究 これまでのDeep MTL a. 関連するタスクを解く出⼒層を追加する⼿法 b. タスクごとに層を重ね，並⾏する層の間を結合する⼿法 c. ネットワークの中間層に出⼒層を追加する⼿法 d. 全てのタスクで核となるパラメータを共有し，少数のタスク特異的なパラメータを置く⼿法 2018/3/2 6

検証 üタスク間で層の順番が同⼀である必要性を検証 ”Parallel ordering” Task1 Task2 L4 Task1 Task2 L4 L3 L4 L3 L2 L2 L3 L2 L4 L1 L2 L1 L3 層の順序が不変 2018/3/2 ”Permutated ordering” 層の順序を変更 7

検証 タスク間で層の順番を固定しない”Permutated ordering”でも同程度の精度 2018/3/2 8

提案⼿法 üタスクごとに共有される層の順番を変更することにより， 精度が向上するかを検証 ここまでのモデル “Parallel ordering” ⇒ タスク間で層の順番を固定 “Permutated ordering” ⇒ 学習時に層の順番をあらかじめ固定 層の順番をタスクごとに学習する⼿法 （”Soft ordering”） 2018/3/1 9

提案⼿法 2018/3/2 10

実験 1.提案⼿法によるDeep MTLの分類精度 1.関連あるタスク 2.（表⾯的に）関係のないタスク 3.CNNへの拡張 4.⼤規模データへの適⽤ 2.“Soft ordering”を⾏なった層の可視化 2018/3/1 11

実験 Single task Task1 Task2 Task1 “Soft ordering” Task2 L4 L4 L3 L4 L3 L4 L2 L3 L2 L3 L1 L2 L1 L2 独⽴で学習 2018/3/2 ”Parallel ordering” 層の順序が不変 12

実験 2018/3/2 13

実験 表⾯的には関係のなさそうなUCIのデータセットを同時に学習 Iterationが増えると提案⼿法のErrorが減少 2018/3/2 14

実験 CNNへの拡張 Omniglot（50種類の⽂字群のそれぞれを個別のタスクとしてマルチタスク学習） 提案⼿法により精度が向上 2018/3/2 15

実験 ⼤規模データへの適⽤ CelebA（40種類の属性値がそれぞれ付与されるかを個別タスクとしてMTL） 提案⼿法により精度が向上 2018/3/2 16

実験 2018/3/2 17

今後の課題と結論 今後の課題 • Recurrent構造との関連の分析 • 共有している層の⼀般化 • ⼀般化できる層の学習 結論 • これまでのDeep MTLでは，層の順番が固定されていたが， その制約を軽減する”Soft ordering”を提案 • 複数のタスクにおいて，提案⼿法が既存⼿法を上回った 2018/3/2 18