[DL輪読会]TREE-STRUCTURED VARIATIONAL AUTOENCODER

Tree-Structured Variational Autoencoder Richard Shin, Alexander A. Alemi, Geoffrey Irving, Oriol Vinyals 16/12/16 野中 尚輝

目次 • • • • • • 書誌情報 イントロダクション モデル 実験 過去のモデルとの比較 結論・まとめ 2023/10/9 1

書誌情報 • ICLR 2017 (Submitted) – UC Berkeley – Google Research, Google Brain, Google DeepMind 2023/10/9 2

背景 • 深層生成モデルが大きな成果を出している – VAEやGANなど – 解析的に求めることのできない複雑な同時分布 をニューラルネットワークにより近似 – 画像、文章、音声などの生成において成果を 出している ↓ • 木構造のデータに適用したい – Computer grammarや自然言語は木構造で 表現できる 2023/10/9 3

背景 • 木構造データは系列データとして扱い、 系列モデルを用いることも可能 • 木構造を考慮したモデルの方が、長い 依存関係を捉えることができる可能性が ある – 系列データでは距離があっても木構造では 近い場合もある 2023/10/9 4

背景 • 木構造に含まれる各ノードのidentityを 決定する分散表現を親ノードに対する 相対位置と分散表現の関数として計算 ↓ • 木構造の様々な特徴を潜在空間で学習し、 top-down Recursive NNに入力として 与え、生成を行う 2023/10/9 5

関連研究 • 木構造のニューラルネットワーク – Bottom upとTop downの二種類が存在 • Variational Autoencoder 2023/10/9 6

Recursive Neural Network http://www.iro.umontreal.ca/~bengioy/talks/gss2012-YB6-NLP-recursive.pdf 2023/10/9 7

• http://www.iro.umontreal.ca/~bengioy/talks/gss2012-YB6-NLP-recursive.pdf

Recursive Neural Network 2023/10/9 8

Context free grammar • 文脈自由文法 2023/10/9 9

Context free grammar 2023/10/9 10

Context free grammar P9~11 (https://www.jaist.ac.jp/~uehara/course/2009/ti118/11cfg-n.pdf) 2023/10/9 11

提案モデル（木の構造） • 各ノードにはタイプと、子ノードまたは terminal valueが存在 – terminal: 何らかの値を持つ – non-terminal: 0以上の子ノードを持つ Type: terminal Terminal value Type: non-terminal child ... child NT: タイプTのノード 2023/10/9 12

提案モデル（木の構造） • T = terminal – 取りうる値のリストを持ち、その中から値を 返す • T = non-terminal – NTは子ノードを持つことが可能 • Singular child – SINGULARCHILD(T, i)に含まれるタイプの子ノード – SINGULARCHILDCOUNT(T)個の子ノード – （タイプTごとに取りうる子ノードの数が固定） • Repeated children – 任意の数のREPEATEDCHILDRENに属するタイプの 子ノードを持つ 2023/10/9 13

提案モデル（Decoder） • GENERATENODE(T, h) – 入力としてノードのタイプTおよび 隠れ状態hを与える – T = terminal • WHICHTERMINALVALUET(h) • 取りうる値に対する確率分布からサンプリング された値を返す – T = non-terminal • タイプTにしたがってノードとそのノードにおける 隠れ状態h’を出力 2023/10/9 14

提案モデル（Encode） • ENCODE(n) – ノードnが与えられたとき、それ以下の 木構造を表現するベクトルを返す – T = terminal • 入力として与えられた値vについてのk次元 ベクトル表現を返す – T = non-terminal • Tの子ノードについてENCODE(ni)を出力 • 子ノードについて得られたENCODE(ni)を統合 ENCODE(nroot) = hrootは木構造全体の情報を表すk 次元のベクトルを返す 2023/10/9 15

提案モデル • ニューラルネットワークにより、 ENCODE(n)およびGENERATENODE(T, h)におけ るベクトルを変換 – SPLIT, MERGE, WHICHの3つの関数が存在 – SPLIT, MERGEを合わせたCOMBINEを置く • SPLIT: • MERGE: • COMBINE: – WHICH • K次元の入力からd次元の出力を得る 2023/10/9 16

提案モデル（用いる関数） • 用いる関数 – SPLIT • SPLITとSPLITREPEATEDを統合 – MERGE • MERGEとMERGEREPEATEDを統合 – WHICH • WHICHTERMINALVALUET(h) • WHICHCHILDTYPET,i(gi) • WHICHCHILDTYPET,repeated(gcur) • その他 – GatingとLayer Normalizationを使用 2023/10/9 17

実験 • Type-aware sequential model • Synthetic arithmetic data • First-order logic proof of clause 2023/10/9 18

Synthetic Arithmetic Data • Grammar – 2種のnon-terminal type • PLUSとMINUSが存在 • それぞれ2つの子ノードが存在 • 子ノードはPLUS, MINUS, NUMBERのいずれか – 1種のterminal type • NUMBERが存在 • 0から9までの値を取る 2023/10/9 19

Synthetic Arithmetic Data • Data generation – Rootノードからterminalノードまでの最大の距 離により深さを定義 – 和を定めた上で学習 – 深くなるとTreeVAEの尤度がSequential modelを 上回る 2023/10/9 20

First-order Logic Proof • Grammar – 各literalには、下記のいずれかが含まれる • 一つのpredicate – 決められた数のargumentを決定するname • 二つのexpressionsが等しいことを示すassert – Expressionは、function, number, variableのいずれか 2023/10/9 21

First-order Logic Proof • 結果 – Sequential modelにおける対数尤度が 提案手法をわずかに上回った – Tree no VAEと比較して精度が向上した 2023/10/9 22

結論・まとめ • 木構造のデータに対するVAEを提案 • 精度は系列データとして扱った場合の LSTMと同程度 • 今後の課題 – 規模の大きなデータに適用するためには改善 が必要 – 対数尤度の値を改善する必要がある 2023/10/9 23