【論文読み会】LidarGait: Benchmarking 3D Gait Recognition with Point Clouds

2023年度論文読み会＃8（3Dデータ論文読み会＃2） LiDAR点群データを用いた歩行認識「LidarGait」 京都大学理学部 3回生 松田拓巳 0

■3D論文読み会について ⚫ 週1回ペースで3D×機械学習に関連する論文読み会を実施 ⚫ 全7回を予定し、3回分は認識系、4回分は生成系を読む ⚫ 発表予定の1週間前までに発表する旨を#generalで告知 ⚫ • 発表する日時（基本は火曜19時～ですが都合により変更も可） • 論文名とそのリンク • 認識系 or 生成系 発表希望者がいない回は松田が発表します 1

■論文の探し方（例） ⚫ Google Scholar や X，arXiv，CVPR，Microsoft Academicなど で検索して探す ⚫ • “3D deep learning” • “3D recognition” • 興味のある分野のwordを入れても良いかも（ex. 自動運転） Paper with codeのBrowse State-of-the-Artで性能の良い モデルの論文を探す 2

• https://scholar.google.co.jp/
• https://twitter.com/
• https://arxiv.org/search/
• https://cvpr.thecvf.com/
• https://www.microsoft.com/en-us/research/search/?q=
• https://paperswithcode.com/sota

LidarGait: Benchmarking 3D Gait Recognition with Point Clouds 目次 1. 歩行認識の概要 2. データセット：SUSTech1K 3. モデル：LidarGait 4. 精度検証 3

1. 歩行認識の概要 4

1. 歩行認識の概要 1.1 歩行認識（gait recognition） ⚫ 歩行する人物のデータ（画像群、3Dデータ群）から、その人がどの人物かを同定するタスク ⚫ 物理的接触なしに遠距離から人物を特定できる 5

1. 歩行認識の概要 1.2 カメラベースの手法 ⚫ 通常のカメラ画像から得られるシルエットをもとに推定する 主な手法 • 左図のように単一視点からの情報から人物 を同定する • 3D表現を推定してから、人物を同定する 問題点 • 低解像度，暗い，未知の姿勢などの悪条件 に弱い（＝実環境に応用しづらい） 6

1. 歩行認識の概要 1.3 LiDARベースの手法 ⚫ LiDARから得られる点群をもとに推定する LiDARの原理 • レーザー光を照射し、反射して返ってくる までの時間から距離がわかる メリット • 3次元的な情報が使える デメリット • センサーが高価 7

1. 歩行認識の概要 1.4 本論文のポイント ⚫ カメラ画像＆LiDARによる点群データを集めた初の大規模データセットを構築 ⚫ 屋外環境での歩行認識で、カメラベースの手法を上回る精度を達成 SUSTech1Kデータセット LiDARGait 8

2. データセット：SUSTech1K 9

2. データセット：SUSTech1K 2.1 SUSTech1Kのポイント ⚫ 既存の点群データセットに比べて大規模 ⚫ 点群だけでなくカメラ画像、シルエットも含まれている ⚫ 屋外環境で収集されている 画像出典：Shiqi Yu, Daoliang Tan, and Tieniu Tan. A framework for evaluating the effect of view angle, clothing and carrying condition on gait recognition. In ICPR, pages 441–444, 2006. 1, 3, 4, 6, 7 10

2. データセット：SUSTech1K 2.2 収集方法 ⚫ 大学キャンパス内の３地点で実施（Scene1～Scene3） ⚫ 往復経路（橙色）と片道経路（青）を歩かせる（下図） ⚫ 普通に歩く場合（Normal）と、変則的な場合（Variance）で歩かせる 11

2. データセット：SUSTech1K 2.3 データ例 12

3. モデル：LidarGait 13

■補足｜人物同定の方法 ⚫ データベース上の各個人の特徴ベクトルと、今得られた特徴ベクトルを比較し、人物を同定 データベース （gallery set） 認識対象 （probe set） 14

■補足｜距離学習（Metric Learning） 参考記事：https://qiita.com/tancoro/items/35d0925de74f21bfff14 ⚫ 人物同定タスクをクラス分類として解く場合、新しい人物を追加するごとに再学習の必要 ⚫ Triplet Lossを使って、同じ人物のNN出力は近くなるように、違う人物のNN出力は遠くなるよ うに学習させる（Metric Learning） 15

• https://qiita.com/tancoro/items/35d0925de74f21bfff14

3. モデル：LidarGait 3.1 モデルの内容 𝑗 𝑗 1. 各時刻における点群データ𝑃𝑖 から、RGBDデータを生成：𝒢(𝑃𝑖 ) 𝑗 𝑗 2. RGBDデータをGaitBase（畳み込みNNモデル）に入力して特徴量を得る：𝑓𝑖,𝑡 = 𝒮 𝒢 𝑃𝑖,𝑡 3. 特徴量をSet Poolingで時間方向に集約：𝒯 𝒮 𝒢 𝑃𝑖,1 , ⋯ , 𝒮 𝒢 𝑃𝑖,𝑇 4. 集約特徴量を距離学習モデルに入れ、人物同定用の特徴量を得る 16

3. モデル：LidarGait 3.2 モデルの詳細 幾何学的変換 1 atan2 𝑦, 𝑥 Δ𝜃 1 𝑧 𝑐= arcsin Δ𝜙 𝑥 2 + 𝑦2 + 𝑧2 𝑟= 出典：https://arxiv.org/abs/2211.06597 出典：https://arxiv.org/abs/1811.06186 17

• https://arxiv.org/abs/1811.06186
• https://arxiv.org/abs/2211.06597

3. モデル：LidarGait 3.3 多視点版：MV-LidarGait ⚫ センサーからの視点だけでなく、他の視点からのRGBDも考慮するようにする • （センサーから見て）右側から見た視点＝Right-side-view • 上側から見た視点＝Bird-eye’s-view ⚫ 各視点のRGBDを𝒮に入れて、各出力を足し合わせる（他の部分は単一視点モデルと同じ） 18

4. 精度検証 19

4. 精度検証 4.1 他モデルとの正解率比較 ⚫ カメラベースモデル、従来の点群ベースモデルを超える精度を達成 ⚫ カメラベースではNightで精度が著しく低いが、LiDARでは精度を維持できている 注1）GaitSet, GaitBaseはフレームの順序を考慮しないモデル、GaitPart, GaitGLは考慮するモデル 注2）Rank-1 accuracy：通常の正解率と同じ，Rank-5 accuracy：上位候補5個の中に正解が含まれる割合 20

4. 精度検証 4.2 視点角度による正解率比較 ⚫ カメラベースでは、galleryの視点とprobeの視点が±90度ズレていると低精度（紫部分） ⚫ LiDARベースでは、±90度ズレていてもそこまで精度は落ちない *galleryとprobeがわからない人はスライドp.14を参照！ 21

4. 精度検証 4.3 深度情報はどれだけ精度向上に貢献しているのか？ ⚫ 深度情報が含まれていない場合：LiDARシルエット＜カメラシルエット …… 点群の方が粗い・疎なので当然 ⚫ 深度情報を含む場合：LiDARシルエット＞カメラシルエット …… 3次元的な情報はかなり重要ということがわかる カメラ画像から得たシルエット画像 LiDAR点群から作ったシルエット画像 ↑に深度情報（奥行）を追加した画像 深度情報を入れたら 正解率が22ポイントUP 22

4. 精度検証 4.4 視点による正解率比較 ⚫ 単一視点なら、LiDAR視点が最も精度が良い ⚫ 複数視点を組み合わせることで、精度がわずかに改善 • 特に、傘を持っている場合の精度が改善している • 上からの視点（BEV）を加えても精度上がらず (Bird Eye’s View) (Right Side View) (Lidar Range View) 23

■補足｜傘を持っていると精度が下がる理由 ⚫ 傘を持っていると、身長が本来よりも小さく見えてしまう 24

4. 精度検証 4.5 その他検証 ⚫ 入力フレーム数の影響 ⚫ GalleryとProbeのデータ種 ⚫ 次元削減マップ 変則的な歩行データ（variation）をGalleryにす るよりも、普通の歩行データ（normal）を Galleryにしたほうが精度が良い 注）フレームは連続ではなく、ランダムに選択 25

LidarGait: Benchmarking 3D Gait Recognition with Point Clouds まとめ まとめ１ LiDARセンサーとRGBカメラによって収集された大規模な歩行認識データセット まとめ２ LidarGaitは既存の点群ベース/シルエットベースのモデル精度を上回り、 「SUSTech1K」を構築した 角度や環境に影響されづらい安定的な人物同定が可能 26

27