【DL輪読会】Equivariant and Coordinate independent Convolutional Networks

DEEP LEARNING JP [DL Papers] Equivariant and Coordinate independent Convolutional Networks Presenter: Manato Yaguchi, Hokkaido University, B4 http://deeplearning.jp/

• http://deeplearning.jp/

輪読内容について  Equivariant and Coordinate independent Convolutional Networks：  扱う対象のデータにおける対称性を事前知識として、モデルに制約を課すことでCNNが導出される.  データに存在する対称性を組み込むことと、座標に依存しないモデルを設計することは大きく関連している.  これらを表現論,微分幾何の観点から、数学的に定式化した.  本発表では、  ユークリッド空間上で、並進同変性を課すことによるCNNの導出  ユークリッド空間上で、Affine群の変換に対する、同変性を課すことによるCNNの導出  リーマン多様体上でのゲージ同変性を持つCNNへの拡張 を紹介  本テーマを選んだ理由  現実の世界を記述する物理学という学問において、対称性という概念は重要視されている.  ロボティクスをはじめ、現実世界と何らかの形で関わるモデルを考えるのであれば、そのような対称性は無視で きないと思った.  逆に理想的なモデルを探すにしても、対称性という制約から候補を絞れると思った. 2

書誌情報 紹介論文 タイトル：Equivariant and Coordinate Independent Convolutional Networks A Guage Field Theory of Neural Networks 出典：Maurice Weiler (maurice-weiler.gitlab.io) 2023/10/18 著者：Maurice Weiler, Patrick Forrë, Erik Verlinde, Max Welling 概要：博士論文 兼 本 として出版予定らしい I: Equivariant Convolutional Networks on Euclidean space II: An Introduction to Coordinate Independent CNNs III: Fiber Bundle Theory of Coordinate Independent CNNs IV: Applications & Literature Review の4部構成. 3

• https://maurice-weiler.gitlab.io/

目次 1. 導入1 2. 数学的な準備 - 群とその表現 3. 並進同変性とCNN 4. Affine同変性とCNN 5. 導入2 6. Coordinate independent CNN 4

1.1 画像分類における不変性  上のような画像分類タスクを行えるモデルの設計を考える.  同じラベル”dog”でも、そのラベル内に存在する画像は色々考えられる.  入力画像に対する、ある一定の変換に関して、出力ラベルが不変である必要がある. 5

1.2 画像分類における不変性  今回考える変換は、空間的なシグナルに対する幾何学な変換.  例えば、並進, 回転, 反射, スケーリング, その他のアフィン変換 など  これらの変換は、対応する群の作用として、数学的に定式化できる. 6

1.3 画像分類における同変性  上のようなセグメンテーションタスクを考える.  入力画像の変換によって、出力も対応する変換を受ける.  この例の場合、反射に関する同変性を持つという. 7

1.4 なぜ同変性をもつモデルが重要か  同変性に関する知識を持たないモデルの場合：考えうる全ての幾何学的変換に対して、個 別に学習する必要がある.  モデルの設計段階で同変性を組み込むことで、ある一枚の画像を学習すれば、自動的に幾 何学的変換を加えた画像に対しても、汎化できる.  モデルのパラメータ数の削減、訓練時間の削減につながる. 8

目次 1. 導入1 2. 数学的な準備 - 群とその表現 3. 並進同変性とCNN 4. Affine同変性とCNN 5. 導入2 6. Coordinate independent CNN 9

2.1 群について 10

2.2 群の作用 11

2.3 不変写像 12

2.4 同変写像 13

2.5 群準同型, 群の表現 14

目次 1. 導入1 2. 数学的な準備 - 群とその表現 3. 並進同変性とCNN 4. Affine同変性とCNN 5. 導入2 6. Coordinate independent CNN 15

3.1 ユークリッド特徴マップ 16

3.2 並進同変なネットワーク層 17

3.3 並進同変なネットワーク層 [式の導出] 18

目次 1. 導入1 2. 数学的な準備 - 群とその表現 3. 並進同変性とCNN 4. Affine同変性とCNN 5. 導入2 6. Coordinate independent CNN 19

4.1 アフィン変換 20

4.2 アフィン群の作用 21

4.3 Aff(G)同変ネットワーク層 22

4.4 Aff(G)同変ネットワーク層 [式の導出1] 23

4.5 Aff(G)同変ネットワーク層[式の導出2] 24

目次 1. 導入1 2. 数学的な準備 - 群とその表現 3. 並進同変性とCNN 4. Affine同変性とCNN 5. 導入2 6. Coordinate independent CNN 25

5.1 active変換とpassive変換  これまでは観測対象そのものが変化する、”active変換” を考えてきた.  ここからは観測者の視点(座標系)が変化する状況 ”passive変換” に対しても、一般化する ことを考える. 26

5.2 passive変換の具体例  同じ対象を観測しても、観測者の視点(座標系)により、得られる結果は異なる.  観測者の視点からは、観測結果の変化が、active変換によるものかpassive変換によるもの か、見分けがつかない.  Active変換同様、passive変換に対しても、同変ネットワークの枠組みで定式化可能. 27

5.3 多様体上でどのようにカーネルを定義するか  一般に多様体上では、ユークリッド空間と異なり、グローバルな座標を定義できない.  カーネルをどのように並べたらよいかが、定義されていない.  多様体上の各点毎に、局所座標系(ゲージ)を導入することで、カーネルの並びが定義できる.  同時に、局所座標系(ゲージ)の選び方に依存しない、ネットワークを考えたい.  ゲージの選び方の任意性は、考えている多様体の構造に依存. 28

目次 1. 導入1 2. 数学的な準備 - 群とその表現 3. 並進同変性とCNN 4. Affine同変性とCNN 5. 導入2 6. Coordinate independent CNN 29

6.1 局所座標系 30

6.2 接ベクトル空間 出典: 接ベクトル空間 - Wikipedia 31

• https://ja.wikipedia.org/wiki/接ベクトル空間

6.3 局所座標表示 32

6.4 ゲージ変換 33

6.5 特徴ベクトルの平行移動 34

6.6 平行移動の座標表現 35

6.7 移動引き戻しによる座標表示 36

6.8 これから示すこと 37

6.8 Coordinate independent kernel 38

6.9 カーネル場変換 39

6.10 重みの共有 40

6.11 GM-coordinate independent convolution これはAffine同変性を持つカーネルの式 (1.26)と同じ 41

まとめ・所感 まとめ  ユークリッド空間上で、並進同変性を課すことによるCNNの導出をした.  ユークリッド空間上で、Affine群の変換に対する、同変性を課すことによるCNNの導出をした.  リーマン多様体上でのゲージ同変性を持つCNNへの拡張をした. 感想  Part1,2も、まだ読めてない3も、数学が難しい…  今回主に扱ったのは、カーネルによる変換を積分変換として進めた.  より一般には、偏微分作用素など、他にも考慮すべき変換があるので、このあたりを扱った論文を読みたい.  幾何学的な変換に注目して読んでいたが、時間軸方向の話には拡張できない？生まれる違 いは？ 42

参考文献  EquivariantAndCoordinateIndependentCNNs.pdf (maurice-weiler.gitlab.io)  多様体の基礎 東京大学出版会 松本幸雄 43

• https://maurice-weiler.gitlab.io/cnn_book/EquivariantAndCoordinateIndependentCNNs.pdf