歩行者が車両に道を譲る可能性の推定と軌道予測への利用（第28回ロボティクスシンポジア）

第23回ロボティクスシンポジア Smart Robots Design DEPARTMENT OF ROBOTICS TOHOKU UNIVERSITY 歩行者が車両に道を譲る可能性の推定と 軌道予測への利用 〇丹野壮一郎 田村雄介 平田泰久 東北大学大学院工学研究科

研究背景 ◆ 市街地での安全な自動運転に向けて 他者の移動予測の難しさ 道路状況が 複雑 車以外の 交通が混在 譲り合い 市街地における自動運転イメージ[1] 他者との相互作用を考慮した移動予測が必要 [1]https://www.mlit.go.jp/jidosha/anzen/01asv/report06/file/asv6_houkokusho_honpen.pdf 2023/3/16 Smart Robots Design Lab. 1

関連研究 ◆ シーンを限定した歩行者行動の分析 ➢ 道を横断する歩行者の分析 ◼ 車道の端までの距離・横断する歩行者の数・都市の規模・車両の速度と大 きさが重要な説明変数であることを示した[2] ➢ 道を横断する歩行者の予測 ◆ 歩行者軌道予測 ➢ 観測した過去の軌道からカルマンフィルタ等で未来を予測[3] ➢ Social Force Model[4] ◼ 目的地からの引力と障害物からの斥力を仮定して運動をモデル化 ➢ 機械学習による予測 [2] Himanen V, Kulmala R. An application of logit models in analysing the behaviour of pedestrians and car drivers on pedestrian crossings. Accident Analysis & Prevention. 1988;20(3):187–197. [3] Keller CG, Gavrila DM. Will the pedestrian cross? a study on pedestrian path prediction.IEEE Transactions on Intelligent Transportation Systems. 2013;15(2):494–506. [4] Helbing D, Molnar P. Social force model for pedestrian dynamics. Physical review E.1995;51(5):4282. 2023/3/16 Smart Robots Design Lab. 2

関連研究 ◆ 機械学習による歩行者軌道予測 ➢ Pooling や Attentionで相互作用を考慮 ◼ 軌道の類似度や位置関係から注目度を計算 前方の歩行者に 注意を向けて予測 予測対象 前の人と同じ ところを歩こう 前から人が来た から避けよう 円の大きさが注目度 Social attention における他者への注目度[5] 実際は移動方向や移動体の特徴に よって注意の向け方は異なる 車が来たから 早めに避けよう × 相互作用を捉えきれない × 歩行者のみに限られる [5] VEMULA, Anirudh; et all. Social attention: Modeling attention in human crowds. In: 2018 IEEE international Conference on Robotics and Automation (ICRA). IEEE, 2018. p. 4601-4607. 2023/3/16 Smart Robots Design Lab. 3

関連研究 ◆ 先行研究 ➢ マルチヘッドアテンションで 特徴量から相互作用を多面的に考慮 [5] 観測軌道の特徴量 [5] 丹野ら, ”歩行者と車の相互作用を考慮するアテンション モデルによる軌道予測” 日本機械学会ロボティクス・メ カトロニクス講演会 2022 講演論文集, (2022), 1A1-H11. 2023/3/16 Smart Robots Design Lab. 4

関連研究 ◆ 先行研究 ➢ マルチヘッドアテンションで 特徴量から相互作用を多面的に考慮 [5] 同方向に 進む人 車 異方向に 進む人 軌道の予測結果 ヘッドごと他者への注目度 進行方向 観測●●●●●●正解 ●●●予測 2023/3/16 Smart Robots Design Lab. 5

関連研究 ◆ 先行研究 ➢ マルチヘッドアテンションで 特徴量から相互作用を多面的に考慮 同方向に 進む人 歩行者 車 実際はここで停止 車 異方向に 進む人 軌道の予測結果 ヘッドごと他者への注目度 大きく行動を変える歩行者の予測が難しい 2023/3/16 Smart Robots Design Lab. 6

研究目的 ◆ 研究目的 ➢ 車両に道を譲る歩行者の軌道予測精度を向上させる ◆ アプローチ ➢ どの歩行者が道を譲るか推定する ➢ 推定結果と周囲との相互作用を考慮して軌道を予測する 危険な歩行者の発見につながり安全性向上 必要以上の減速をせずに通過でき移動が効率化 2023/3/16 Smart Robots Design Lab. 7

アウトライン ◆ 研究背景・目的 ◆ 提案手法の概要 ➢ 譲り判定 ➢ 軌道予測 ◆ 検証実験 ➢ 譲り判定 ➢ 軌道予測 ◆ まとめ・今後の展望 2023/3/16 Smart Robots Design Lab. 8

提案手法の概要 ◆ 譲り判定器 Yield judgment module ◆ 軌道予測器 Trajectory prediction module ➢ 観測値から車と交差する歩行者が道を譲る可能性を推定 ➢ 観測値と推定結果から未来の軌道を予測 譲る 2023/3/16 譲らない Smart Robots Design Lab. 9

譲り判定器 ◆ Yield judgment module ➢ 観測値から車と交差する歩行者が道を譲る可能性を推定 ・2者の距離 ・歩行者の速度 ・交差時間差 ✖ 観測時間分 入力 RNN (GRU) 全 結 合 層 出力 Yield judgment module 0譲らない～譲る1 交差時間差：2者が等速直線で進んだ場合に、 車両の何秒後に歩行者が交差地点を通過するかを表す値 ➢ 車両と進路が交差する全ての歩行者について並列で推定 2023/3/16 Smart Robots Design Lab. 10

軌道予測器 ◆ Trajectory prediction module ➢ 観測値と推定結果から未来の軌道を予測 ・位置 ・速度 ・角速度 (車のみ) ・歩行者車両区別ラベル ✖ 観測時間分 譲り判定 ✖ 歩行者数分 入力 Encoder (GRU) (Attention) Decoder (GRU) Trajectory prediction module 出力 軌道予測結果 ➢ EncoderとDecoderから構成 ➢ EncoderにMulti head attentionを含む 2023/3/16 Smart Robots Design Lab. 11

軌道予測器 ◆ Trajectory prediction moduleの詳細 ➢ Encoder-Decoder ➢ Multi head attention 2023/3/16 Smart Robots Design Lab. 12

アウトライン ◆ 研究背景 ◆ 研究目的 ◆ 提案手法の概要 ➢ 譲り判定 ➢ 軌道予測 ◆ 検証実験 ➢ 譲り判定 ➢ 軌道予測 ◆ まとめ・今後の展望 2023/3/16 Smart Robots Design Lab. 13

検証実験 ① 譲り判定の評価 ➢ Yield judgment moduleを学習し、単体での性能を評価 ② 軌道予測の評価 ➢ 譲り判定結果を用いて、Trajectory prediction moduleを学習し、 性能を評価 1 2 2023/3/16 Smart Robots Design Lab. 14

検証実験 ◆ データセット ➢ DUT Dataset ◼ 環境：無信号交差点とラウンドアバウト ◼ 対象：歩行者と車両 ◼ フレームレート：4fpsにして使用 ◆ データ詳細 ① 譲り判定用 ◼ 入力2秒(8step) ◼ 7475データ（内3087データが譲るデータ） ② 軌道予測の評価用 ◼ 入力2秒(8step)・出力3秒(12step) ◼ 5712データ ◼ 歩行者1035人（内167人が譲る歩行者） 2023/3/16 Smart Robots Design Lab. 15

① 譲り判定の評価（学習） ◆ 「道を譲る歩行者」の正解データ作成 ➢ 観測データから機械的に判別 譲った場合 譲っていない場合 交差地点をどちらかが通過した時刻 車両と歩行者の速度推移 1. 車両が歩行者の前を通過 2. 通過時刻前 0.75 秒 ～ 通過後 0.25 秒の歩行速度が， 平均速度の 90 ％以下になる 2023/3/16 Smart Robots Design Lab. 16

① 譲り判定の評価（結果） ◆ 予測精度 ➢ 評価指標 ◼ 正解率（Accuracy） ◼ 再現率（Recall） ◼ 適合率（Precision） 譲る歩行者を正しく推定できた割合 譲ると推定したものの正解率 交差4秒前から正解率が上昇 交差直前は80％程度の正解率 2023/3/16 Smart Robots Design Lab. 17

① 譲り判定の評価（結果） ◆ 予測の確信度推移 上にあるほど「譲る」確信が高い 0.5付近は確信の低い予測 下にあるほど「譲らない」確信が高い 譲った歩行者 譲らなかった歩行者 典型例：交差4秒前付近から確信度が上昇 例外：車両との関係を反映した値を出力 2023/3/16 Smart Robots Design Lab. 18

① 譲り判定の評価（結果） ◆ 予測の確信度推移 上にあるほど「譲る」確信が高い 0.5付近は確信の低い予測 下にあるほど「譲らない」確信が高い 譲った歩行者 譲らなかった歩行者 典型例：交差4秒前付近から確信度が上昇 例外：車両との関係を反映した値を出力 2023/3/16 Smart Robots Design Lab. 19

② 軌道予測の評価 ◆ 評価指標 ADE [m]：全予測時刻の距離誤差の平均 FDE [m]：最終予測時刻の距離誤差 真値 予測値 𝑛: シーン内の移動体数 𝑇:予測ステップ(𝑇 = 12) 値が小さいほど予測精度が良い 2023/3/16 Smart Robots Design Lab. 20

② 軌道予測の評価（結果） ◆ 軌道予測精度 ➢ 譲り判定を用いることで、譲る歩行者の予測精度が向上した ➢ 全体の精度には影響を与えなかった 各対象の予測におけるADEとFDE［ｍ］ 車両 ADE FDE 歩行者 ADE FDE 譲る歩行者 ADE FDE 譲り判定なし 0.471 1.075 0.335 0.812 0.462 0.977 譲り判定あり 0.475 1.087 0.337 0.811 0.450 0.950 2.70％ 2023/3/16 Smart Robots Design Lab. 2.78％ 21

② 軌道予測の評価（結果） ◆ 軌道予測状況 ➢ 車両に接近する歩行者の減速を予測できた ➢ 車両から離れる対象の予測結果は変わらなかった 歩行者 車両 進行方向 観測●●●●●●正解 ●●●予測（譲り判定なし） ●●●予測（譲り判定あり） 2023/3/16 Smart Robots Design Lab. 22

アウトライン ◆ 研究背景 ◆ 研究目的 ◆ 提案手法の概要 ➢ 譲り判定 ➢ 軌道予測 ◆ 検証実験 ➢ 譲り判定 ➢ 軌道予測 ◆ まとめ・今後の展望 2023/3/16 Smart Robots Design Lab. 23

まとめ・今後の展望 ◆ まとめ ➢ 安全な自動運転の普及において歩行者の軌道予測が重要であること 大きな行動変化を伴う歩行者の予測が困難であることを示した ➢ 「譲る可能性を推定」した後に「軌道を予測」する手法を提案した ➢ 道を譲って減速する歩行者の予測精度を向上出来ることを示した ◆ 今後の展望 ➢ 位置データ以外の情報を用いて精度向上 ◼ 視線・体の向き等 ➢ 譲る以外の行動も考慮 ◼ 急いで車両の前を通過する歩行者 2023/3/16 Smart Robots Design Lab. 車視点では 危険度が高い歩行者 24