多拠点展開に向けたDomain Adaptationの取り組みについて

TIER IV TIER IV 2023 / 08 / 01 多拠点展開に向けた Domain Adaptationの取り組み について 1

TIER IV Speaker 経歴 ~ 2021 .3 東京大学大学院 情報理工学系研究科創造情報専攻 修士課程修了 2021.4~ 株式会社ティアフォー LiDARによる物体検出手法などの開発 Yusuke Muramatsu Perception 2

TIER IV Agenda 1. Perception Ovierview 2. Domain Adaptation 3. Synthetic Data 4. Summary 3

Perception Ovierview 4

Perception Planning Scenario Dynamic Object Detection Tracking Scenario Selector Prediction Control Mission Lane Driving Traffic Light Detection Parking Etc. Classifier Localization Sensing Sensors Map Data Vehicle Interface Vehicle 5

Perception Planning Scenario Dynamic Object Detection Tracking Scenario Selector Prediction Control Mission Lane Driving Traffic Light Detection Parking Etc. Classifier Localization Sensing Sensors Map Data Vehicle Interface Vehicle 6

TIER IV ML Models in Perception Module Dynamic Object 3D Object Detection 2D Object Detection Perception Detection Tracking LiDAR based CenterPoint Camera based YOLOX Dynamic Object Prediction Traffic Light Detection Classifier Traffic Light Fine Detection YOLOX Classification MobileNet V2 7

TIER IV ML Models in Perception Module Dynamic Object 3D Object Detection 2D Object Detection Perception Detection Tracking LiDAR based CenterPoint Camera based YOLOX Dynamic Object Prediction Traffic Light Detection Classifier Traffic Light Fine Detection YOLOX Classification MobileNet V2 8

TIER IV Perception Issue 精度低下の要因 … Domain Gap ● ● ● ● 異なる車両 異なるセンサー 異なる走行環境 etc … 9

TIER IV Adaptation to Other Domain Training Dataset ML Model Fine-tuning Data Collection Annotation Non-annotatedDataset Dataset ML Model 10

TIER IV Adaptation to Other Domain Training Dataset ML Model Fine-tuning Data Collection Annotation Non-annotatedDataset 金銭や時間など多くのコストがかかる Dataset ML Model

Domain Adaptation 12

TIER IV Perception Issue Domain Gap ● ● ● ● 異なる車両 異なるセンサー 異なる走行環境 etc … 13

TIER IV Domain Gap Issue in ML Models 走行エリアで決まってくるもの Domain Gap Background Nominal Environment Objects Weather/Time Rare エリア固有で出現する Rare objects Domain Gap センサー構成で決まってくるもの Sensor Config Sensor System Sensor Spec 14

TIER IV Domain Gap Issue in ML Models 走行エリアで決まってくるもの Domain Gap 1. 包括的な適合 Background Nominal Environment Objects Weather/Time Rare エリア固有で出現する Rare objects Domain Gap センサー構成で決まってくるもの 2. ターゲットを絞った適合 Sensor Config Sensor System Sensor Spec 15

TIER IV Pseudo Labeling Pseudo Labeling とは? ● ● ● ● ラベルなしデータセットに Teacher モデルの推論結果を Pseudo Label としてを付与 疑似ラベルを使って Student モデルを教師あり学習 アノテーションのない大量のデータを活用可能 Teacher が高性能なほど Student も高性能に [B. Caine+, 2021] Dataset 学習 推論 Non-Annotated Dataset Teacher Model Pseudo Label 学習 Student Model 16

TIER IV Pseudo Labeling Experiments <目的> 異なる Domain 環境で Pseudo Labeling による効果を確認する <比較条件> Public Dataset で学習した Teacher Model で Target Domain の Dataset に Pseudo Label を付与 ● Student Model … CenterPoint [T. Yi+, 2021] ● Teacher Model .. PV-RCNN++ [S. Shi+, 2022] や MPPNet [X. Chen+, 22] Student Model で学習し比較 1. Public Dataset のみで学習 2. Public Dataset + Target Domain に Pseudo Label を付与した Dataset で学習 3. 2. に対して Target Domain のアノテーションありデータで Fine-tuning <評価方法> データは Target Domain のアノテーションありデータ nuScenes Dataset の評価指標に準ずる Average Precision で評価 17

TIER IV Pseudo Labeling Results ● ● Pseudo Labeling を活用することで、各クラスの検出性能が大きく向上 Fine-tuning をすることで更に向上 Vehicle Pedestrian Bicycle 1. Public Dataset 56.19 55.44 26.77 2. Public Dataset + Pseudo Labeling 62.65 59.76 45.91 3. 2. → Fine-tuning 67.45 60.21 50.93 18

TIER IV Pseudo Labeling Results 二輪車の検出ができるように Public Dataset Public Dataset + Pseudo labeling Fine-tuning 19

TIER IV Pseudo Labeling Issue Pseudo Labeling だけでは対応しきれない例 Detected But NOT stable … NOT detected... Public Dataset Public Dataset + Pseudo labeling Ground-Truth 20

TIER IV Rare Objects Adaptation Dataset Annotation Training Data Collection Non-annotated Dataset Dataset ML Model 21

TIER IV Rare Objects Adaptation A small amount of Annotation Dataset Annotation Training Data Collection Non-annotated Dataset A small amount of Dataset ML Model 対象のオブジェクトのみをアノテーション 22

TIER IV Rare Objects Adaptation Ground-truth Sampling (GTS) Annotationとそれに 対応する点群のみ配置 Dataset 23

TIER IV Rare Objects Adaptation Experiments <目的> 少量のアノテーションデータを活用したモデル学習による効果を確認する <比較条件> 対象オブジェクトを 全長12m以上の大型車両 とする 1. 2. Public Dataset のみで学習 Public Dataset + 対象オブジェクトのみアノテーションしたデータ (GTS活用) で学習 <評価方法> 評価データは Target Domain のアノテーション済みデータ nuScenes Dataset の評価指標に準ずる Average Precision で評価 24

TIER IV Rare Objects Adaptation Results ● ● 対象とした大型車両の検出性能は向上 一部のクラスで少し悪化 Large Vehicle Vehicle Pedestrian Bicycle Public Dataset 19.28 66.39 39.61 30.73 Public Dataset + GTS 24.71 65.53 39.14 31.09 25

TIER IV Rare Objects Adaptation Results Public Dataset Public Dataset + GTS 大型車両の認識が改善 ※ 赤がGround-truth / 緑が検出結果 26

Synthetic Data 27

TIER IV Synthetic Data AWSIM [ROS Japan UG] AWSIMのご紹介 - ROS2を用いてAutowareと接続したUnityベースの自動運転シミュレーションOSS より 28

• https://www.youtube.com/watch?v=gQ9brD7E3n8

TIER IV Synthetic Data Data Generation Annotation Training Data Collection Non-annotated Dataset Dataset ML Model 金銭や時間など多くのコストがかかる 29

TIER IV Synthetic Data Data Generation AWSIM Training Dataset ML Model 様々なシチュエーションのデータをより簡単に生成可能 30

TIER IV Synthetic Data Experiments <目的> Synthetic Dataを活用した学習の有効性を確認する <比較条件> Real Dataset と Synthetic Dataset は同じ地域・車両の設定 1. 2. 3. Real Dataset のみで学習 Real Dataset + Synthetic Dataset で学習 2. に対して Real Dataset で Fine-tuning <評価方法> 評価データは Real Dataset のアノテーション済みデータ nuScenes Dataset の評価指標に準ずる Average Precision で評価 31

TIER IV Synthetic Data Results ● ● Synthetic Dataset を活用することで認識性能が向上 Real Dataset で Fine-tuning することでさらなる性能向上 Car Truck Bus Pedestrian Bicycle 1. Real 89.22 0.80 90.49 57.51 70.69 2. Synthetic + Real 90.70 15.64 90.73 58.09 72.24 3. 2. → Fine-tuning with Real 90.52 19.09 91.65 62.80 73.20 32

TIER IV Synthetic Data Results 傘をさした歩行者が改善 遠くの車両が改善 33

Summary 34

TIER IV Summary Domain Adaptation ● ● Pseudo Labeling によるアノテーションなしデータの活用について紹介 ○ 全体的な認識性能向上を確認 ○ 学習データにないようなオブジェクトの検出は不安定 対象のオブジェクトの少量アノテーションデータでの学習について紹介 ○ 対象のオブジェクトの認識性能が向上することを確認 ○ 手法については改善点あり Synthetic Data ● AWSIM から生成する Synthetic Data を ML Model Training に活用について紹介 ○ Synthetic Data を活用することで Real Dataset のみよりも認識性能向上 35

Perception R&D Engineer ● ● Perceptionモジュール・評価ツール開発 機械学習モデル・データセット構築 Sensing R&D Engineer We are Hiring !! ● ● センサーシステム・ドライバ設計/開発 キャリブレーション・同期システムの設計/開発 Verification Engineer ● ● テストシナリオ設計/定義 車両・センサー性能ベンチマーク評価 36

TIER IV CONTACT US https://tier4.jp/ Thanks Again ! 37

• https://tier4.jp/