【DL輪読会】WIRE: Wavelet Implicit Neural Representations

DEEP LEARNING JP [DL Papers] “WIRE: Wavelet Implicit Neural Representations” Presenter: Takahiro Maeda D2 (Toyota Technological Institute) http://deeplearning.jp/

• http://deeplearning.jp/

目次 1. 2. 3. 4. 5. 6. 書誌情報 概要 研究背景 提案手法 実験結果 考察・所感 2

1. 書誌情報 紹介論文 タイトル: WIRE: Wavelet Implicit Neural Representations 出典: ArXiv (2023. 1) 著者: Vishwanath Saragadam et. al. 所属: Rice University 選書理由 NeRFなどのImplicit Neural Representation (INR) と， 活性化関数との相性について初見だったため ※引用は最後にまとめてあります．特に明示が無い場合は紹介論文から引用 3

2. 概要 WIRE • NeRFなどの画像用INRの活性化関数にWaveletを提案 • Waveletが画像表現に適しているため，正しい帰納バイアスを獲得 • ノイズ除去，SR，任意視点生成などで精度向上 4

3. 研究背景 • Implicit Neural Representations （INR) • Grid-based 手法 • 保持すべきメモリが大きい • 解像度が限定される [1] グリッドデータ保持 • INR (NeRF) 𝜃 MLP (座標） [2] • コンパクトな重みのみを保持 • 任意解像度で生成可 重み保持 近年，INRの性能は， 活性化関数に大きく左右されるらしいと判明 5

3. 研究背景 • 活性化関数とINRの性能 – ReLU (default NeRF) 処理重，精度悪，ノイズ耐性悪 • 直線で自然信号を近似するため，より層を重ねる必要 • 細部の再現には，positional encodingなどの追加の工夫必要 – Sine波 (SIREN[3])，Gaussian[4] • 周期的な信号に強い 処理軽，精度良，ノイズ耐性悪 • 局所的な信号に強い • 曲線を持つため，少ない層数で自然信号を近似可 • 表現力が高いため，ノイズ信号も近似してしまう 6

3. 研究背景 • 連続Wavelet変換 – 局所的な波の集合によって，信号を時間-周波数空間へ変換 [5] Wavelet – 非定常な信号（現実におけるほぼすべての信号）の解析によく用いられる – JPEGの上位互換であるJPEG2000でも用いられる 7

4. 提案手法 • WIRE: Wavelet Implicit Neural Representations – INRの活性化関数に Waveletを提案 処理軽，精度良，ノイズ耐性良 – 局所的，周期的信号どちらにも対応可 – JPEG2000のようにWaveletが画像表現に適しているため， 正しい帰納バイアスを獲得できノイズへの頑健性向上 （これ以上の説明は無，デノイズでの精度向上で証明） – ネットワーク内部では，Waveletを複素数のまま処理する 8

5. 実験結果 • パラメータ選択 sine波，Gaussian単体よりも高い性能 9

5. 実験結果 • denoising 10

5. 実験結果 • Super Resolution 11

• Occupancy 12

6. 考察・所感 • 所感 – タスクごとに，現状より適したモデルは存在するはず – INRの領域でも，モデル構造の最適化が進んでいる印象 – MLPが現段階では採用されているが，置き換わっていくのかもしれない 13

引用 [1] 図 http://www.sanko-shoko.net/note.php?id=js3z [2] Mildenhall, Ben, et al. "Nerf: Representing scenes as neural radiance fields for view synthesis." Communications of the ACM 65.1 (2021): 99-106. [3] Sitzmann, Vincent, et al. "Implicit neural representations with periodic activation functions." Advances in Neural Information Processing Systems 33 (2020): 7462-7473. 14

• http://www.sanko-shoko.net/note.php?id=js3z

引用 [4] Ramasinghe, Sameera, and Simon Lucey. "Beyond periodicity: Towards a unifying framework for activations in coordinatemlps." European Conference on Computer Vision. Springer, Cham, 2022. [5] https://friedrice-mushroom.hatenablog.com/entry/2019/08/31/113915 15