搭乗者の目的地推定に基づく運動主体感を考慮したパーソナルモビリティの操作支援（第27回ロボティクスシンポジア）

Smart Robots Design DEPARTMENT OF ROBOTICS TOHOKU UNIVERSITY 搭乗者の⽬的地推定に基づく運動主体感を 考慮したパーソナルモビリティの操作⽀援 岡本章良，⽥村雄介，アンキットラワンカル，平⽥泰久（東北⼤学） A. Okamoto, Y. Tamura, A. Ravankar, Y. Hirata (Tohoku Univ.)

研究の社会背景 u ⼩型の近距離移動⼿段としてパーソナルモビリティの 活⽤が進んでいる ― ⾼齢化，公共交通機関の変化，移動⼿段の省エネルギー化 空港[1] [1] https://whill.inc/jp/news/30421 2022/3/17 商業施設[2] [2] https://www.netdenjd.com/articles/-/229515 Smart Robots Design Lab. 1

• https://whill.inc/jp/news/30421
• https://www.netdenjd.com/articles/-/229515

操作時における負担の軽減 u ⾛⾏時における操作⽀援（⾃律制御など）の必要性 ⻑時間の運転による疲労 狭隘空間・動的空間における⾛⾏ 技量不⾜・⾝体的ハンディキャップ ü ⾝体的・環境的条件によっては，通常の⼿動操作は難しい ü 様々な環境での⾛⾏に対応し，⾏動範囲を狭めないようにする 2022/3/17 Smart Robots Design Lab. 2

⽀援機能としての⾃律制御 u 搭乗者の主体性の問題 ⾃律制御 ü 安全性確保・負担軽減・⾛⾏の効率化 搭乗者が主体的に操作を⾏わず，依存度が⾼まる • • 緊急時の安全性低下[3] 操作感の悪化 運動主体感の低下（認知科学の領域） 運動主体感 「物体の運動や機械の操作を⾏っているのは⾃分である」 という主体的な感覚[4] Entity who raise this hand is myself 運動主体感を損なわない⽀援を⾏うには⾃律制御ではなく，Shared control [3] M. R. Longo and P. Haggard, “Sense of agency primes manual motor responses”, Perception, Vol. 38, Issue 1, pp. 69-78, 2009.pp.4812-4818. [4] S. Gallagher, Physiological conception of the self : implementations for cognitive science, Trends in Cognitive Sciences,Vol.4, No.1(2000), pp.14–21. 2022/3/17 Smart Robots Design Lab. 3

Shared control
u 搭乗者と⾃律制御の両⽅の出⼒値を⽤いる
Ø 加重平均などを⽤いて結合[5] [6] [7]
Shared control
⼿動(⽀援なし)

⾃律制御

⾃律制御の出⼒
!(!*+

最終的な出⼒
!%&'()
搭乗者の⼊⼒
!!"#$

!%&'() = #!!"#$ + (1 − #)!(!*+
従来のShared control

制御形態の概要

〇搭乗者が主体的に操作
×双⽅の出⼒が⼗分に反映されない

運動主体感の保証が難しく，エージェント同⼠の競合が発⽣する
[5]Xi, L., & Shino, M. (2020). Shared control of an electric wheelchair considering physical functions and driving motivation. International journal of environmental research and public health, 17(15), 5502.

[6]Ezeh, C., Trautman, P., Holloway, C., and Carlson, T., Comparing shared control approaches for alternative interfaces: A wheelchair simulator experiment, IEEE International Conference on Systems, Man, and Cybernetics (SMC)
(2017), pp. 93-98.
[7] Narayanan, V. K., Spalanzani, A., and Babel, M, A semi-autonomous framework for human-aware and user intention driven wheelchair mobility assistance, IEEE/RSJ International Conference on Intelligent Robots and Systems
(IROS)(2016), pp. 4700-4707.

2022/3/17

Smart Robots Design Lab.

4

運動主体感の関連研究 u 関連研究の内容と成果 ― 機械の操作における影響の調査[8] [9] VRシステム [8] ― 運転シミュレータ[9] 到達⽬標の達成と主体感の想起に関係する項⽬[10] ⾏動⽬標の達成 意図に沿った動作 フィードバック [8] G.Kong, K.Wei, experience in virtual reality enhances sense of agency associated with an avatar”, Conscious and Cognition 52:pp115 – pp 124, 2017. [9] Wen, W., Yun, S., Yamashita, A., Northcutt, B. D., and Asama, H., Deceleration assistance mitigated the trade-off between sense of agency and driving performance, Frontiers in Psychology (2021)., 12. [10] Wen, W., Yamashita, A., and Asama, H., The sense of agency during continuous action: performance is more important than action-feedback association, PloS one, Vol.10, No.4(2015), e0125226. 2022/3/17 Smart Robots Design Lab. 5

運動主体感と操作⽀援 u モビリティなどの操作の場合 移動する意図を推定し、操作意図に沿った⽀援を⾏うことで、 運動主体感を保証する It's running as expected. ⾛⾏は⾃律⾛⾏が担当 搭乗者は⼊⼒のみを⾏う 運動主体感の保証と⾛⾏の効率化 2022/3/17 Smart Robots Design Lab. 6

切り替えによるShared control u 搭乗者の⼊⼒と⾃律⾛⾏アルゴリズムの制御の切り替え Ø 搭乗者の意図に沿っていた場合は出⼒を⾃律⾛⾏側に移⾏ 搭乗者 ⾃律⾛⾏ ü ⾃律部分の出⼒を最⼤限発揮 ＆ ü 搭乗者の運動主体感を保証 搭乗者の意図を 正確に推定する必要がある 1.0 搭乗者の⼊⼒が反映された割合 0 2022/3/17 Smart Robots Design Lab. 時間 7

Shared controlにおける意図推定 従来の研究 障害物に対する 操作の修正 環境情報の利⽤ ⾏動履歴による⽬的地推定[11] JoyStickによる進⾏⽅向推定[12] ü 未知環境での⾛⾏ ü ⻑期的な操作意図を考慮（⽬的地など） ü 運動主体感の考慮 [11] Matsubara, T., Miro, J. V., Tanaka, D., Poon, J., and Sugimoto, K., Sequential intention estimation of a mobility aid user for intelligent navigational assistance, 2015 24th IEEE International Symposium on Robot and Human Interactive Communication, pp.444-449. [12] Poon, J., Cui, Y., Miro, J. V., and Matsubara, T., Learning from demonstration for locally assistive mobility aids, International Journal of Intelligent Robotics and Applications, Vol.3, No.3(2019), pp.255-268 2022/3/17 Smart Robots Design Lab. 8

研究⽬的 搭乗者の意図に沿った操作⽀援によって、運動主体感を保証する 搭乗者の⽬的地推定を利⽤したShared controlの提案 サブゴールの⽣成 Ø 経由地点をゴールから⽣成し， ゴール推定の影響を操作出⼒ レベルの⽀援に落とし込む Ø 搭乗者の⼊⼒と⽀援出⼒の差を抑制 2022/3/17 Shared control Subgoal Goal candidate Goal detection ゴール推定型⽀援の概要図 Smart Robots Design Lab. 9

提案⼿法の検証 u 将来的なコンセプト Ø 駅・ 空港・病院 ・⼤型商業施設 ・ 道路・公園 トイレへ⾏く 横断歩道を渡る などでの使⽤ Ticket gate Bathroom Elevator 複数ゴールの識別と選択 対話などを介した意図推定 u 本研究における検証 Ø 単⼀のゴール検出を⽤いたShared controlを構築し， ⾛⾏と搭乗者にもたらす効果を検証 Subgoal Intended goal Obstacle 本研究における実装概要 2022/3/17 Smart Robots Design Lab. 10

本研究における詳細な課題設定 u 想定されるユーザ Ø ⽇常⽣活に⽀障のない程度の，⼀般的な認知機能を持つ Ø ジョイスティックを通じて，ある程度の操作⼊⼒が可能 Ø ⾮熟練者や，ハンディキャップによって通常の操作が困難な⼈ u パーソナルモビリティの想定 Ø ジョイスティックによって 回転⽅向と直進⽅向の速度を⼊⼒でき、その場での旋回が可能 u 指標 Ø 搭乗者の操作に対する負担を低減 Ø 操作介⼊によって失われる運動主体感の損失を抑制 Ø ⾛⾏の効率化 2022/3/17 Smart Robots Design Lab. 11

発表のアウトライン u研究背景 u研究⽬的 u提案する⽀援⼿法 uゴール位置推定に対する評価実験 u操作困難な状況に対する評価実験 uまとめと今後の予定 2022/3/17 Smart Robots Design Lab. 12

提案⼿法の概要 u 全体の流れ 1. 到達⽬標（ゴール）位置の推定 2. 経由地点（サブゴール）の⽣成 3. ⾃律⾛⾏による経路⽣成 4. 搭乗者とのShared control 2022/3/17 Smart Robots Design Lab. 13

到達⽬標（ゴール）位置の推定 u 深度カメラと物体認識を利⽤ I. ゴールの候補となる物体をあらかじめ設定 II. ゴール候補となる物体の位置情報を得る Ø カメラの内部パラメータを⽤いて 現実空間の座標に変換 * ) 0 深度カメラによる検出と距離測定 検出物体 カメラ 検出された画像 2022/3/17 2次元平⾯での位置推定 Smart Robots Design Lab. 14

経由地点（サブゴール）の⽣成 1. サブゴールの候補点を探索 ü 機体を中⼼に，放射状に探索 ü 遮蔽領域にある候補点を除外 ゴールとの距離＋モビリティの 距離が最⼩になる点を探索する !#$%"&'( = argmin !! + !! − !* Excluded point * 2. サブゴールを決定 )1 Obstacle !" Goal detection Sensor scan /& , 30 /,&' Subgoal Obstacle d-./ Candidate point Selected point 1π n O 2022/3/17 π 2n !! ) Mobility 候補点の決定 候補点の決定 Smart Robots Design Lab. 15

⾃律⾛⾏による経路⽣成
u Dynamic Window Approach（DWA） [14]
評価関数

! ", $ = &' ", $

+ )* ", $

+ +, ", $

障害物との距離

⽬標速度への追従

ゴールに対する距離

5, 6, 7 : 重み係数

Selected path

Goal
Obstacle

Candidate path

DWAの概要図

u 搭乗者の⼊⼒への追従

Ø !(",#)において，旋回⾓速度#!"#$ に対する追従を評価

[13] Fox, D., Burgard, W., and Thrun, S., The dynamic window approach to collision avoidance, IEEE Robotics and Automation Magazine(1997), Vol.4, No.1, pp.23-33.

2022/3/17

Smart Robots Design Lab.

16

Shared controlの⼿法 u 搭乗者の⼊⼒と⾃律⾛⾏の旋回⽅向が⼀致し， ⾃律⾛⾏側の直進速度と旋回⾓速度の⼤きさが搭乗者の⼊⼒値に対して，⼀定 の⼤きさ保っている場合⾃律⾛⾏に制御を切り替える sgn9!"#$ ≠ sgn923( DWA User ユーザーの⼊⼒が反映された割合 搭乗者の出⼒のみ 1.0 搭乗者の⼊⼒が すべて反映される sgn9!"#$ = sgn923( DWAの出⼒のみ 8, 9 = : 2022/3/17 時間 0 8!"#$ , 9!"#$ 823( , 923( (sgn9!"#$ ≠ sgn923( ) (sgn9!"#$ = sgn923( ) Smart Robots Design Lab. DWA User DWAの出⼒が すべて反映される 17

発表のアウトライン u研究背景 u研究⽬的 u提案する⽀援⼿法 uゴール位置推定に対する評価実験 u操作困難な状況に対する評価実験 uまとめと今後の予定 2022/3/17 Smart Robots Design Lab. 18

実験に使⽤したシステム u 提案⼿法のアルゴリズムをROS上で構築 Depth Camera LiDAR Ø 画像と距離の取得 Ø 周辺の環境情報取得 Intel Realsense-D455 [16] Ø 物体検出 HokuyoUST-20LX Mobility WHILL Model CR [15] 試験機の概要 YOLOv3 [17] 試験機の外観 [15] https://whill.jp/model-c [16] https://www.intelrealsense.com/depth-camera-d455 [17] Farhadi, A., and Redmon, J., Yolov3: An incremental improvement, In Computer Vision and Pattern Recognition (2018),pp.1804-02. 2022/3/17 Smart Robots Design Lab. 19

• https://whill.jp/model-c
• https://www.intelrealsense.com/depth-camera-d455

実験概要 u ゴールを推定しない場合(No goal)と提案⼿法を⽐較 Ø ゴール位置推定の有無が⾛⾏と搭乗者にもたらす影響を検証 Ø 参加者に搭乗してもらい，アンケートによる主観指標と⾛⾏の効率化を調 べるため，到達時間と⽅向転換の客観指標の両⽅で評価する ⾛⾏コースの詳細 2022/3/17 ⾛⾏コースの外観 Smart Robots Design Lab. ⾛⾏の様⼦ 20

No goalの制御⼿法 u 機体前⽅4mの地点を常時サブゴールとして、DWAに⼊⼒ Ø ゴール地点の情報とは無関係 Subgoal 機体に対して同じ地点に サブゴール座標がDWAに⼊⼒される Goal DWAの評価関数 > 8, 9 = 5? 8, 9 + 6@ 8, 9 + 7! 8, 9 提案手法のSubgoal 6.0[m] 4.0[m] No goalのSubgoal Goal 提案⼿法 No goal Start 実験環境におけるNo goalの⾛⾏ 2022/3/17 Smart Robots Design Lab. No goalと提案⼿法の経路⽐較 21

実験の流れ I. 事前に周辺を⾛⾏し，慣れてもらう II. コースを⾛⾏する（経路は２パターン III. １（⼩さい）〜7（⼤きい）の 7段階でアンケートに回答 ゴールの推定 IV. No goal, 提案⼿法, Manualについて 各2回ずつ，計6回Ⅱ~Ⅲを繰り返す No 質問内容 1 操作負担は どの程度の⼤きさでしたか︖ 2 ⾃分の操作が どのくらい反映されたと思いますか︖ アンケートの内容 2022/3/17 ゴール（⾚）とサブゴール（緑） Smart Robots Design Lab. 22

アンケート評価 操作負担の⼤きさ 運動主体感の⼤きさ スコア No goal 提案⼿法 スコア No goal 提案⼿法 平均値 4.3 4.2 平均値 3.8 4.2 標準偏差 1.9 1.9 標準偏差 0.64 0.70 有意確率 0.555 > 0.05 （対応のあるT検定） 有意確率 No goalに対する運動主体感の傾向 8 8 6 6 ⼈数 ⼈数 No goalに対する操作負担の傾向 4 4 2 2 0 0 増加 変化なし 0.0316 < 0.05 （対応のあるT検定） 減少 増加 変化なし 減少 提案⼿法の⽅が運動主体感が⼤きく感じられており，統計的有意差が⾒られた 2022/3/17 Smart Robots Design Lab. 23

客観評価 ⽅向転換回数 到達時間 スコア No goal 提案⼿法 スコア No goal 提案⼿法 平均値 17.8 s 17.4 s 平均値 5.5 4.9 標準偏差 2.1 1.7 標準偏差 1.1 1.3 有意確率 0.325 > 0.05 （対応のあるT検定） 有意確率 0.021 < 0.05 （対応のあるT検定） 提案⼿法の⽅が搭乗者の⼊⼒した⽅向修正回数が少なく，操作の⼿間が低減 2022/3/17 Smart Robots Design Lab. 24

発表のアウトライン u研究背景 u研究⽬的 u提案する⽀援⼿法 uゴール位置推定に対する評価実験 u操作困難な状況に対する評価実験 uまとめと今後の予定 2022/3/17 Smart Robots Design Lab. 25

⾮公開

まとめ u ゴール位置の推定の有無における検証 ü 運動主体感 → より⼤きく感じられていた ü ⽅向転換回数 → ⽅向修正のために搭乗者が⼊⼒した 回数が低下 ゴール位置推定の運動主体感の損失低減への効果を確認 u ⼿動操作における⽀援機能検証 ü 負担の低減と運動主体感の保証を⾏うことができた ü 到達時間の減少によって，⾛⾏を効率化 2022/3/17 Smart Robots Design Lab. 30

今後の展望 u 操作技量や環境情報に応じて操作を担う知的エージェント を柔軟に変更できるシステムの構築 u 提案⼿法の複数ゴール候補に対する拡張 2022/3/17 Smart Robots Design Lab. 31