[DL輪読会]SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving

DEEP LEARNING JP [DL Papers] SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving Kohei Nishimura http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 • タイトル – SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving • 著者 – Zhenpei Yang, Yuning Chai, Dragomir Anguelov, Yin Zhou, Pei Sun, Dumitru Erhan, Sean Rafferty, Henrik Kretzschmar • 所属 – UT Austion, Waymo, Google Brain • 学会 – CVPR 2020 • リンク – 論文: https://arxiv.org/pdf/2005.03844.pdf – コード: なし 2

• https://arxiv.org/pdf/2005.03844.pdf

概要 • 概要 – 現実の走行で収集した少量の画像とLIDARデータから任意の軌跡におけるリア ルなカメラ画像を生成する。 • 本論文の貢献 – センサデータからリアルなカメラ画像を出力するのに有用なsurfelの定義方法 を提案し、実験で確認した。 – surfelを使ってレンダリングした画像からリアルなカメラ画像を生成するGAN のアーキテクチャを提案し、実験で確認した。 3

概要 • 4

目次 • • • • • 背景・関連研究 アルゴリズム 実験設定 結果 まとめ 5

目次 • • • • • 背景・関連研究 アルゴリズム 実験設定 結果 まとめ 6

背景 • 画像認識のNNを学習するためには、大量の画像とラベルのペアが必 要だが、とても骨が折れるタスクで、お金も時間もかかる • 画像合成技術は、ラベル付きの画像を作ることができる。実世界の問 題に適用するためには、実世界データセットとのドメインの差を減ら すことが重要であり、かつ、難しい問題である。 domain gap preparing real data is costly and time consuming 7

関連研究 • Meta-Sim(ICCV2019) – グラフィックエンジンを用いて、合成されたシーンをラベルとともに生成する アーキテクチャを提案した – 生成した画像のコンテンツが、実世界画像のコンテンツと同じになるように、 画像を生成できる – 実世界画像のタスクに対する性能を最適化するように、画像を生成することが できる 8

目次 • • • • • 背景・関連研究 アルゴリズム 実験設定 結果 まとめ 9

surfelとは • surfel(surface element)は、3D情報をレンダリングするのに使われる技 術の一つ。 • 任意に設定された半径の円盤(surfel)が、レンダリングに必要な情報を もつ。 – 深度、テクスチャ、法線など • surfelの大きさを固定することで、テクスチャを反映しやすく、計算 処理も少なくすることができる。 10

Surfel Rendering • surfelの課題: 3次元形状と画像細部の再現性のtrade-off – surfelの半径を大きくする • 3次元形状は滑らかになるが、細部のテクスチャを再現できなくなる – surfelの半径を小さくする • 3次元形状はいびつになってしまうが、細部のテクスチャまで再現できる • 課題に対する本論文の提案 – surfelが保持するテクスチャ情報を増やす • surfelを𝑘 x 𝑘 のグリッドに分割し、各グリッドが 独自の色情報をもつ • 各グリッドが複数の色を持つようにして、 カメラ姿勢に応じて色を変更する 11

surfel renderingによる物体のレンダリング • 物体のレンダリングには背景と分離してsurfelを定義する必要がある – Lidarで取得した点群に対してICP(Iterative Closest Point)を用いることによっ て、背景と分離した – 今回はWaymoのアノテーションデータを利用したが、Tracking手法と組み合 わせることによって、正確なアノテーションデータは不要になる。 12

SurfelGAN • SurfelGANを使用する目的 – surfelを用いたレンダリングで生じる画像をきれいにする。 13

SurfelGANの構造 • 2つのGenerator、2つのDiscriminatorからなる 14

SurfelGANの学習 • 学習は以下の3種類からなる – ペアになるsurfel renderingとカメラ画像の変換の学習 • 学習データ: ペアになるsurfel renderingとカメラ画像 • この学習をしたものをSurfelGAN-Sと呼ぶ – surfel renderingとカメラ画像を用いた敵対的学習 • 学習データ: surfel renderingとカメラ画像 • 上記2つの学習をしたものをSurfelGAN-SAと呼ぶ – surfel renderingとカメラ画像を用いたcycle consistencyの学習 • 学習データ: surfel renderingとカメラ画像 • 上記3つの学習をしたものをSurfelGAN-SACと呼ぶ 15

誤差関数 • 誤差関数は、以下の誤差関数の和 – 教師ありの再構成誤差 • 画像: L1 loss • semantic mapとinstance map: cross entropy loss – 敵対的な誤差 • hinged Wasserstein loss – cycle consistency loss • 教師あり再構成誤差と同じ 16

目次 • • • • • 背景・関連研究 アルゴリズム 実験 結果 まとめ 17

実験 • 実験で検証したこと – 生成したデータは実画像に近いデータか – 生成したデータは検出器の学習に有用なデータか • 実験設定 – 実験タスク • 車検出 – 検出器のモデル • ResNet + SSD detection head – 評価指標 • average-precision • recall at 100 18

実験データセット • データセット – Waymo Open Dataset • 自動運転の研究に使われるデータセット • 訓練用(WOD-TRAIN)と評価用(WOD-EVAL)がある • WOD-TRAINとWOD-EVALに対して、SurfelGANを用いて新しい視点の画像にしたものを WOD-TRAIN-NV, WOD-EVAL-NVと呼ぶ 19

目次 • • • • • 背景・関連研究 アルゴリズム 実験 結果 まとめ 20

実験結果 • 生成したデータは実画像に近いデータか – WOD-TRAINで学習したモデルで車の検出を行った結果 – 実画像に近い性能が出ており、実画像に近いデータが生成できている • コメント: 検証方法はこれで良いのか？ 21

定性的な結果 • 実データに近い画像を生成できている 新しい視点での生成画像 各モデルの生成画像 22

失敗事例 surfelを用いた生成結果で3D形状が大きく崩れている場合に生成画像が 大きく崩れている場合がある 23

実験結果 • 生成したデータは検出器の学習に有用なデータか – SurfelGANを用いて生成した画像を訓練データに追加すると性能が向上した 24

目次 • • • • • 背景・関連研究 アルゴリズム 実験設定 結果 まとめ 25

まとめ • surfelの改良とGANのアーキテクチャを組み合わせることによって、 データドリブンにシミュレータ画像を生成する手法を提案した。 • 提案した手法による画像は、物体検出の学習データと有用であること を実験的に確認した。 26

考察・所感 • 汎化性能はあまり議論されておらず、もう少し実験があると良いと感 じた。 • 実世界のカメラ画像に近い画像(テクスチャ)を生成できている • データドリブンにする場合は、生成できる画像のコンテンツに偏りが 発生してしまうと思うので、meta-simのようなコンテンツを生成でき る機構を組み合わせると面白いと感じた 27

参考文献 • SurfelGAN – https://arxiv.org/abs/2005.03844 • Meta-Sim – https://arxiv.org/abs/1904.11621 • Surfel – https://www.cs.umd.edu/~zwicker/publications/Surfels-SIG00.pdf 28

• https://arxiv.org/pdf/2005.03844.pdf
• https://arxiv.org/abs/1904.11621
• https://www.cs.umd.edu/~zwicker/publications/Surfels-SIG00.pdf