[DL輪読会]Weight Agnostic Neural Networks

DEEP LEARNING JP [DL Papers] Weight Agnostic Neural Networks Norihisa Kobayashi http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 タイトル： 著者： Weight Agnostic Neural Networks （https://arxiv.org/abs/1906.04358） Adam Gaier, David Ha （Bonn-Rhein-Sieg University, Google Brain） 概要： • 重みのトレーニングなしでタスクを実行できるNNアーキテクチャの検索方法を提案 • いくつかの強化学習タスクを実行できる最小限のアーキテクチャの探索に成功 • 教師あり学習（MNIST）についても探索に成功 その他： 特設ページ ： https://weightagnostic.github.io/ GitHub： https://github.com/weightagnostic/weightagnostic.github.io 2

• https://arxiv.org/abs/1906.04358
• https://github.com/weightagnostic/weightagnostic.github.io
• https://weightagnostic.github.io/

アジェンダ 1. 2. 3. 4. 5. 概要 先行研究 提案手法 実験結果 まとめ 3

1. 概要 背景 • ニューラルネットワークの重みパラメータは、アーキテクチャと比較してどれほど重要なのか？ • 重みの学習なしで、ニューラルネットワークのアーキテクチャだけでどの程度タスクを解けるか？ 重みの学習なしで、ニューラルネットワークアーキテクチャだけで、 特定のタスクをどの程度まで解くことができるのかを試している論文 4

1. 概要 Precocial species 出生の瞬間から特定の能力をすでに持っている種 例 • トカゲやヘビの孵化個体は、捕食者から逃げる能力を 持っている。 • 孵化直後、アヒルは自分で泳いだり食べたりすること ができる。 • 七面鳥は捕食者を視覚的に認識することができる 出典：https://upload.wikimedia.org/wikipedia/ja/6/66/Pogona.jpg https://upload.wikimedia.org/wikipedia/commons/8/8b/Duck0001.jpg https://upload.wikimedia.org/wikipedia/commons/6/69/Meleagris_gall opavo_Wild_Turkey.jpg 自然界のようにニューラルネットワークも （重みの）学習なしでも利用できるアーキテクチャを開発したい 5

• https://upload.wikimedia.org/wikipedia/ja/6/66/Pogona.jpg
• https://upload.wikimedia.org/wikipedia/commons/8/8b/Duck0001.jpg
• https://upload.wikimedia.org/wikipedia/commons/6/69/Meleagris_gall

2. 先行研究 アーキテクチャの検索 • 1990年代に進化的計算の分野から生まれた神経回路網トポロジーのための探索アルゴリズム • 本論文は、ネットワークの重みと構造を同時に最適化する能力に注目したトポロジ検索アルゴリズム (NEAT:NeuroEvolution of Augmenting Topologies) に基づく • 重み耐性を持つアーキテクチャに進化したランダム試行手法[44、99]と同様に、重みの学習無しでアーキテクチャを評価。 6

2. 先行研究 Neural Architecuter Search（NAS） • ネットワークアーキテクチャの自動設計 • 探索対象 - レイヤーの種類 - レイヤーの数 - パラメータ数 • Controller RNNでアーキテクチャをサンプリング（child network） • Child networkを訓練 • 訓練結果を元にコントローラを更新 • コントローラーの訓練方法 - 強化学習 - 進化計算 - ベイズ最適化 出典： https://ai.googleblog.com/2017/05/using-machine-learning-to-explore.html https://blog.acolyer.org/2017/05/10/neural-architecture-search-with-reinforcement-learning/ https://deeplearning.jp/nas-fpn-learning-scalable-feature-pyramid-architecture-for-object-detection/ 7

• https://ai.googleblog.com/2017/05/using-machine-learning-to-explore.html
• https://blog.acolyer.org/2017/05/10/neural-architecture-search-with-reinforcement-learning/
• https://deeplearning.jp/nas-fpn-learning-scalable-feature-pyramid-architecture-for-object-detection/

2. 先行研究 Neural Architecuter Search（NAS）との比較 • NASによって作成されたネットワークは 学習可能だが、重みを学習せずにタスクを解決するわけではない。 発見されたアーキテクチャは、単に重みが存在するためのより良い基盤にすぎない。 • WANNはアーキテクチャの探索でタスクを解決しようとしている点が異なる。 アーキテクチャ 探索 ハイパーパラメータ チューニング 学習 （重み最適化） NASの適用範囲 本研究（WANN）の範囲※ ※アークテクチャ探索後に重みを探索できないわけではない。 参考：https://qiita.com/cvusk/items/536862d57107b9c190e2 8

• https://qiita.com/cvusk/items/536862d57107b9c190e2

3. 提案手法 Weight Agnostic Neural Networks（WANN） 1. 極めて単純な構造を持つ複数のネットワークを作 成する。 2. それぞれのネットワークに対し統一の重みを設定し、 タスクを実行することを、複数の重みに対して行う。 3. 結果の精度とネットワークの複雑さによって、各ネッ トワークを評価する。 4. 高い評価を得たいくつかのネットワークを選び、変 化を加えて新たなネットワーク群を作成する。 ※2~4を繰り返す。 世代を重ねるごとにパフォーマンスが向上する。 9

3. 提案手法 トポロジ検索 最初のネットワークは、隠れ層を持たずそれぞれのノードも繋がっていない疎な状態。 高い評価を得て選出されたネットワークは、以下のいずれかの変化を与えられる。 1. 既存のコネクションに、ランダムに設定された活性化関数を持つ新たなノードを挿入する。 2. 繋がっていなかった2つのノードの間にコネクションを作る。 3. ノードの活性化関数をランダムに他のものに変更する。 活性化関数は、 linear, step, sin, cosine, Gaussian, tanh, sigmoid, inverse, absolute value, ReLU のうちのいずれか 10

3. 提案手法 パフォーマンスと複雑さ 重みと評価 • ネットワークトポロジは、いくつかの共有重み値を使用して評価。 • 重み値は[-2、-1、-0.5、+0.5、+ 1、+ 2 ]を使用。 • これらの異なる重み値を使用し、試行の累積報酬を平均することにより、平均パフォーマンスを計算。 複雑さと評価 • 検索をランク付けする場合、ネットワークのサイズとパフォーマンスを考慮。 • 同様のパフォーマンスを持つ場合、よりシンプルなネットワークを推奨する。 • ただし、複雑さが増すとパフォーマンスも向上する場合がある。 • この制約を緩和するために、確率的に複雑さでランク付けを行う。 • 例：80％を平均パフォーマンスと接続数、20％を平均パフォーマンスと最大パフォーマンスによってにランク付けを行う。 11

４. 実験結果 定量的評価 ※100回以上の試行の平均値を取得 Random Weights ：個々の重みがランダム Random Shared Weight：重みがすべて共通の値 Tuned Shared Weight ：重みがすべて同じ値を持ったものの中で最高精度を達成したもの Tuned Weights ：重みを調整した値（従来の手法で学習した重み） • 重みを調整したモデル程のパフォーマンスは出ないが、十分なパフォーマンスを達成。 • 重みの大きさは重要ではないが、その一貫性（特に符号）が重要。 12

４. 実験結果 CartPoleSwingUp • カートと、カートに取り付けられた振り子で構成。 • カートに加える力を制御することができ、目標はポールを上向きの位置にスイング して安定させること。 BipedalWalker-v2 • ランダムに生成された地形に2本足のエージェントを誘導するタスク。 • 報酬は、移動距離に対して授与される。 • 状態は、船体の角速度、角速度、水平速度、垂直速度、関節と関節の角速 度の位置、脚と地面の接触、および10個のLIDAR距離計測定で構成される。 CarRacing-v0 • 3つのコマンド（steer, gas, brake）で車を制御。 • ランダムに生成される道をできるだけ早く（少ないフレーム）でゴールに到着する ことで得点が高くなるタスク。 13

４. 実験結果 CartPoleSwingUp 生成されたネットワーク構造からは、モデルがタスクを解決するために採った戦略を読み取ることができる。 例：Generation 32 • カートの位置𝑥 は中心で0、左側で負、右側で正の値を取る。 • 図内で𝑥 は3つの「inv」ノードと繋がっており、𝑥 が負の値を取ったときは正の値を、正の値を取ったときには負の値を 「force」に出力する。そのため、常にカートの位置を中心に向かわせる力が働くことになる。 • 𝑑𝜃は「Gaus」「inv」と繋がっている。スタート時𝑑𝜃は0であるため、「Gaus」の出力結果は1となり、カートは端に向かっ て強く押し出される。すると、「inv」によって逆方向に力が加わるためカートは急減速し、振り子が跳ね上げられる。14

４. 実験結果 BipedalWalker-v2 minimal architecture Champion architecture • minimal architectureでは、25個のinputのうち17個だけを用いてモデルを歩かせることに成功。 • Champion architectureでも、コネクションの数は210本に抑制。（SOTAでは2084本のコネクション） 15

４. 実験結果 CarRacing-v0 minimal architecture Champion architecture • 本タスクにおいても、minimal architectureでは2層と1つの重みというシンプルなモデルで車を走らせることに成功。 • WANNのChampion architectureは、SOTA（pre-trained RNN world model）に対して（劣るものの） 同等のパフォーマンスを達成。（P12参照） 16

４. 実験結果 分類問題（MNIST） • 入力が低次元かつ環境との相互作用が重要な強化学習とは異なり、分類問題は曖昧さが許容されないタスクであり、 モデルの構造が重要視されてきた。しかしながら、WANNはMNISTのような分類問題に対しても、重み学習により精度 をあげる余地を残しつつ、数千のパラメータを持つモデルと同等の精度を出すことができた。 • また、共通の重みのパラメータを変更した際に精度が変化する（右図）ことから、各パラメータにおいて異なるモデルとし て機能していると言える。そのため、それらのモデルを組み合わせアンサンブル学習を行うことで精度の向上が見込める。 （例えば、weight=0.5, 1.5, 2.5でそれぞれアークテクチャを生成し、アンサンブル学習を行う。） 17

５. まとめ 結論 • • • • 重みのトレーニングなしでタスクを実行できるNNアーキテクチャの検索方法を提案 いくつかの強化学習タスクを実行できる最小限のアーキテクチャの探索に成功 教師あり学習（MNIST）についても探索に成功 教師あり学習には、共通の重みをもつ複数のアーキテクチャから、アンサンブル学習が可能 18

Appendix 参考文献 • • • • • • • • • • [10] G. Brockman, V. Cheung, L. Pettersson, J. Schneider, J. Schulman, J. Tang, and W. Zaremba. Openai gym. arXiv preprint arXiv:1606.01540, 2016. [15] J. Clune, J.-B. Mouret, and H. Lipson. The evolutionary origins of modularity. Proceedings of the Royal Society b: Biological sciences, 280(1755):20122863, 2013. [19] K. Deb, A. Pratap, S. Agarwal, and T. Meyarivan. A fast and elitist multiobjective genetic algorithm: Nsga-ii. IEEE transactions on evolutionary computation, 6(2):182–197, 2002. [38] D. Ha and J. Schmidhuber. Recurrent world models facilitate policy evolution. In Advances in Neural Information Processing Systems 31, pages 2451–2463. Curran Associates, Inc., 2018. https://worldmodels.github.io. [44] G. E. Hinton and S. J. Nowlan. How learning can guide evolution. Adaptive individuals in evolving populations: models and algorithms, 26:447–454, 1996. [79] K. Neklyudov, D. Molchanov, A. Ashukha, and D. Vetrov. Variance networks: When expectation does not meet your expectations. arXiv preprint arXiv:1803.03764, 2018. [99] J. M. Smith. When learning guides evolution. Nature, 329(6142):761, 1987. [101] R. J. Solomonoff. A formal theory of inductive inference. part i. Information and control, 7(1):1–22, 1964. [103] K. O. Stanley and R. Miikkulainen. Evolving neural networks through augmenting topologies. Evolutionary computation, 10(2):99–127, 2002. 19

• https://worldmodels.github.io.