[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space

DEEP LEARNING JP [DL Papers] “PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space” Haruka Murakami, Matsuo Lab http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 • NIPS 2017 • 被引用数：240 • 著者 – – – – Charles R. Qi, Stanford University Li Yi, Stanford University Hao Su, Stanford University Leonidas J. Guibas, Stanford University • 内容：3Dデータ(点群形式)をDLでうまく扱えるようにしたPointNet を階層化し、細かい空間も表現できるようにした。タスクの適応幅が 広い。 • 選定理由：医療3D画像をどう扱うか考えているため 2

前提知識：３次元データの表現 表現方法 • 点群モデル ← 今回 • ボリューメトリックモデル(ピクセルの3D ver.) • ポリゴンモデル(多角形で形状を近似) など DLで使われる分野 • 自動運転（車、ロボット） • 医療画像 3

データ容量を減らして学習させたい • ボリュームデータは解像度によって詳細が欠落 http://compsci.world.coocan.jp/OUJ/2012DB/dbim-c14a.pdf • ２Dと同様にCNNで扱うとデータ容量が膨大になる • 点群データのままうまくNNに入れられないか？ ⇒PointNet 4

• http://compsci.world.coocan.jp/OUJ/2012DB/dbim-c14a.pdf

(余談)：ボリュームデータの研究 • VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection • 細かい部分がいらない場合には • こちらの方が使い勝手が良さそう 5

PointNet • 点群形式の3DデータをNNでうまく取り入れられるようにした • 様々なタスクに対応 • 順列不変性を考慮し、データ容量を減らす 6

PointNetの問題点 • 細かい空間の情報、特に異なるスケールに変換した際や、視点から見 えない部分の情報が抜けやすい • 各空間における点密度は各々異なるが、均一分布で学習させるとパ フォーマンスが低い 7

実空間でのセンシングでは後方の物体データが抜け落ちる 8

PointNet++の改良点 • 点群データを距離空間でサンプリング • 点密度に応じてマルチスケール情報を集約する２つの抽象層を提案 • CNNでは計算量上学習不可能な高次元距離空間へのスケールアップを 可能にした 9

問題設定 • ユークリッド空間を継承した離散距離空間 X = (M, d) M：点の集合、d：距離メトリック を仮定する。Mの密度は均一ではない。 • ここで、Xを各点の追加の特徴とともに ラベルを付与するfに入力する • fはクラス分類にも部分セグメンテーションにも使用できる 10

PointNetの構造(再掲) • xは順番を考慮しない点群、Γ,hは多層パーセプトロン • 一つのMax-poolingで全点を集約している 11

アーキテクチャ 12

スパースな部分空間で点に付与する情報が不足する問題を解決 • 近傍点が少ない点では、参照空間を拡大さ せるMSGという手法を提案 • MSGは計算量がキツイ。リージョンに関す るベクターと全点群を処理したベクターの ２つで特徴量が構成されている。 • つまり、局所次元が低い場合には１つ目の ベクターは２つ目に比べ無視することがで きる。(MRG) 13

点群をどうサンプリングするか • オリジナルの点群の情報を保持したい • 重心で表すと、依然として計算量が膨大 • を , に集約 l：抽象レベル 14

2D，3Dでのそれぞれの結果 • MNISTは2Dの点群に変換して利用。 • ModelNet40: 40カテゴリーのCADモデル。ほとんど手動作成。メッ シュデータを3Dの点群に変換して利用。 • どちらも同じアーキテクチャを使っている点がすごい。 15

ロバスト性をもたせる • ランダムに点群をドロップアウトさせる際、近傍点を利用 16

Semantic scene labelingでの結果 17

非ユークリッド空間でのクラス分類結果 • 非ユークリッド空間で測地近傍を用いた際に、ポーズによる精度への 影響が少なくなった • ユークリッド近傍を特徴量とした場合にはポーズが認識に影響した 18