[DL輪読会]Diet Networks: Thin Parameters for Fat Genomics

論⽂輪読: DIET NETWORKS: THIN PARAMETERS FOR FAT GENOMICS (ICLR’17) 2017-3-17 2017/3/17 1

書誌情報 • Diet Networks: Thin Parameters for Fat Genomics • Adriana Romero, Pierre Luc Carrier, Akram Erraqabi, Tristan Sylvain, Alex Auvolat, Etienne Dejoie, Marc-André Legault, Marie-Pierre Dubé, Julie G. Hussin, Yoshua Bengio • ICLR’17 Accept (Poster) • Rating 6, 7, 8 • https://openreview.net/forum?id=Sk-oDY9ge&noteId=Sk-oDY9ge 2017/3/17 2

• https://openreview.net/forum?id=Sk-oDY9ge&noteId=Sk-oDY9ge

概要 • ときたい問題: ⼊⼒の特徴量数 d >> 訓練例 n • e.g. ゲノムデータ • Single Nucleotide Polymorphisms (SNP): 数百万次元 • 単純なNNでは(1層⽬の)パラメータ数が⼤きくなりすぎる． • 1層⽬のパラメータ数 : (⼊⼒次元) × (隠れ層の次元) • 減らしたい • ただし，畳み込みの使⽤が適当とは限らない • 提案 • 1層⽬のパラメータを出⼒するNNを別に⽤意して学習する 2017/3/17 3

提案モデル 2017/3/17 4

モデル (a) : 基本ネットワーク • X ∈ R N×Nd • N : サンプル数 (e.g. 患者数) • Nd : 特徴量数 (N << Nd, 100倍以上) • Xを⼊⼒として，クラス予測 Y^を 出⼒する • オプションとして，⾃⾝を再構成 するものも学習 (図の点線) 2017/3/17 5

モデル (a)のパラメータ数 • 最初の隠れ層 hi(1) = f1(xiWe+be) • Nd = 300K, Nh(1) = 100なら， 第⼀層⽬のパラメータ数は30M • 補助ネットワークを導⼊すること でパラメータ数を減らす 2017/3/17 6

モデル (b,c) : 補助ネットワーク • (b) : XT を⼊⼒として，We (第⼀層の パラメータ) を出⼒する • (c) は再構成⽤ • (We)j = φ(ej) • • • • 2017/3/17 (We)j : Weのj番⽬の⾏ φ : ⾮線形関数 ej : XTの埋め込み特徴量 (We)j はデータセット間 (e.g. 患者間)の 値と関連している 7

モデル (b,c) のパラメータ数 • Nf: 埋め込み特徴量の次元 (< N) (左図の Emb.) • φ : RNf → RNh • 単⼀層MLPであれば，パラメータ数 は Nf×Nh(1) • Nd = 300K, Nh(1) = 100, Nf = 500 ならパラ メータ数は 50k (元の1/600) 2017/3/17 8

モデルの訓練 • モデルは以下の⽬的関数を使ってend-to-endで訓練 • H : クロスエントロピー • γ : ハイパーパラメータ 2017/3/17 9

補助ネットワークの特徴量埋め込み • 補助ネットワークの特徴量埋め込みは，事前に計算してものを 利⽤しても，ネットワークの⼀部として⼀緒に訓練しても良い • 今回論⽂では4種類を試している • Random Projection • Per Class Histogram • SNPtoVec • Denoising Autocncoder を利⽤して学習 • end-to-end でraw dataから学習 2017/3/17 10

実験 • データ : The 1000 Genomes Project • 26のpopulations, 5 Geographical Regionから集めた1000のゲノムデータ • 315345のgenetic variables を利⽤ • 染⾊体は除き，周囲との相関が⼩さいもの(相関係数 < 0.5) を利⽤ • ネットワーク構造 • 基本構造: 2層 + softmax • 隠れ層のユニット数: 100 • 5-fold cross validation 2017/3/17 11

実験結果 2017/3/17 12

実験結果 2017/3/17 13

まとめ • ⼊⼒次元が⼤きい時に，モデルのパラメータ数を減らす⼿法を 提案 • 1層⽬のパラメータを出⼒する補助ネットワークを利⽤する • 従来⼿法(PCA)と⽐べ良い性能を達成 2017/3/17 14