人を中心としたロボット技術と福島第一原発廃炉への適用
182 Views
September 22, 25
スライド概要
20170808電気学会北陸支部学術講演会
東北大学大学院工学研究科ロボティクス専攻 田村研究室
関連スライド
各ページのテキスト
人を中心としたロボット技術と 福島第一原発廃炉への適用 田村 雄介 東京大学 大学院工学系研究科 精密工学専攻 [email protected] 電気学会北陸支部学術講演会, 富山高専, August 8, 2017.
本日のお話 人を中心としたロボット技術 人間の視覚的注意モデル 福島第一原発廃炉へのロボット技術の適用 調査 音響カメラによる水中での3次元再構成 移動ロボットによるガンマ線CT 遠隔操作 俯瞰映像提示システム 任意視点映像提示システム 2
人を中心としたロボット技術 Attentive Workbench ふわふわディスプレイ 歩行者移動予測に基づく 人・ロボット共存 歩行者モデル 他車の車線変更推定 HMIにおける能動性と パフォーマンス 視覚的注意のモデル化 3
人間の視覚的注意誘導 のためのモデル化 4
円滑なインタラクション 2. 意図推定・予測 0. 誘導 1. 観察 3. 行動決定 円滑なインタラクションのためには 他者行動/他者注意の誘導が重要 5
人間はどうやっているのか？ 物理的な介入 他者の身体部位を持つなどして動かす （例）手取り足取り教える 言語による他者行為への介入 命令する，指示する，頼む，教える，おだてる， 騙す，脅す，... 非言語による他者行為への介入 自分の振る舞い（身体動作）によって他者の行為 に影響を与える （例）指を差す，視線を向ける，体の向きを変える 6
ロボットの振る舞いによる注意誘導 ? ? ? ロボットは自分の振る舞いが他者の注意にどのように 影響するかを知らなければならない 7
人間の注意のモデル化 触覚 聴覚 視覚 注意領域 ロボットの動作 周囲環境からの影響 注意の変化 8
ベースとなるモデル Saliency Map [Itti 1998] 輝度，色，回転方向，動きなどが周囲と比べて顕著 なところに人の注意は集まりやすい 入力画像 輝度 色 顕著性だけでは説明 できないこともある 方向 動き Center-surround differences & normalization Across-scale combinations & normalization 顕著性マップ 9
人間はどうやっているのか？ 自分の振る舞い（身体動作）によって他者の注意に 影響を与える （例）指を差す，視線を向ける，体の向きを変える 10
手品師から学ぶ http://www.gustavkuhn.com/VisualCognition/Misdirection.html 11
手品における注意誘導 手品においては観客の注意誘導が極めて重要 - 手品師の視線が観客の注意を制御 [Kuhn 2009] - 手の動かし方によって注意のひきつけられ方が変化 [Otero-Millan 2011] 巧みな注意誘導のためには，視線（顔）と手を 適切に連動させることが重要なのではないか？ G. Kuhn, B.W. Tatler, G.G. Cole, You look where I look! Effect of gaze cues on overt and covert attention in misdirection, Visual Cognition, 17, 925-944 (2009) J. Otero-Millan, S.L. Macknik, A. Robbins, S. Martinez-Conde: Stronger misdirection in curved than in straight motion, Frontiers in Human Neuroscience, 5, 133, 1-4 (2011) 12
手品鑑賞者の視線を調べる 実験 手品師の身体動作と手品動画を鑑賞している人の 注視点の関係を調べることで，何が鑑賞者の注意 に影響を与えているのかを調べる 頭部・眼球運動計測用カメラ 13
見せた動画 フェイクトランスファー: 手から手へ物を渡したように見せる技術 14
Scenes of the video 1: 右手を上げる 2: 右手のボールを見せる 4: 右から左にボールを「渡す」 5: 右手を下げて左手を上げる 7: 左手の向きを変える 8: 左手を開く 3: 左手を上げる 6: 左手でボールを「消す」 9: 左手を下げる 15
Scenes of the video 1: 右手を上げる 2: 右手のボールを見せる 4: 右から左にボールを「渡す」 5: 右手を下げて左手を上げる 7: 左手の向きを変える 8: 左手を開く 3: 左手を上げる 6: 左手でボールを「消す」 9: 左手を下げる 16
結果 (1) Normal (2) Facing front (3) Looking away - 顔と手の位置 - 視線の方向 T. Akashi, Y. Tamura, S. Yano, H. Osumi, Analysis of Manipulating Other’s Attention for Smooth Interaction between Human and Robot, Proc. IEEE/SICE SII2013, pp.340-345, 2013. 17
提案モデル 入力画像 輝度 色 方向 動き Center-surround differences and normalization Across-scale combinations and normalization Saliency map 顔と手の検出 視線方向推定 顔・手の位置 視線方向 Manipulation map Attention map 18
顔・手の位置 xR Face-Hand map xF F (x) = X i xL 1 p exp 2⇡ |Si | ⇢ 1 (x 2 xi )T Si 1 (x xi ) 19
視線方向 x d g xF Gaze map 1 G(x) = p exp 2⇡ d ✓ d(x) 2 d2 2 ◆ 20
Manipulation Map + 顔・手の位置 視線方向 Manipulation map 21
Attention Map Input&image Face1Hand&map Gaze&map Saliency&map Manipulation&map Attention map Attention&map 22
モデル適用結果 Original Manipulation map Saliency map Attention map 23
注視点との対応 Saliency map Proposed model Gaze point 1 2 3 4 5 6 7 8 4 Ratio to overall average Scene Proposed model ** Saliency map ** p < 0.01 ** ** Facing front Looking away 3 2 1 0 Normal Y. Tamura, T. Akashi, S. Yano, H. Osumi, Human Visual Attention Model Based on Analysis of Magic for Smooth Human-Robot Interaction, International Journal of Social Robotics, Vol.8, No.5, pp.685-694, 2016. 24
人を中心としたロボット技術 人間の視覚的注意モデル 手品の解析（手品師動作・鑑賞者注視点） 顕著性とトップダウン情報（顔・手・視線）の統合 25
福島第一原発廃炉への ロボット技術の適用 26
東日本大震災 2011年3月11日14:46 マグニチュード：M9.0 最大震度：7 epicenter 地震の30〜60分後に津波発生 最大波高：40.5 m strong weak 震度分布 http://www.data.jma.go.jp/svd/eqev/data/2011_03_11_tohoku/ 27
福島第一原子力発電所事故 Time Event Why did Fukushima Daiichi Nuclear Power Station end up experiencing a severe accident? Scale of the Earthquake and Tsunami that Mar. 11, 14:46 struck Fukushima Daiichi Nuclear Power 地震発生 Station and Flooding Situation SCRAM（原子炉自動停止） ) Maintain functionality of key safety facilities following an earthquake 外部電源喪失 A magnitude 9.0 earthquake occurred at 2:46 p.m. on March 11, 2011 (Friday), with an epicenter on the ocean floor off the coast of Sanriku. The Fukushima Daiichi Nuclear Power Station was among those hit by strong shaking. However, Units 1, 2, and 3 — operating at the time of the ear thquake —all made emergency trips. Additionally, their emergency diesel generators started up and cooling of their reactor cores began. The earthquake caused damage to some routine equipment, such as power transmission and receiving facilities, but no damage to key safety facilities, such as emergency diesel generators and coolant injection and heat removal equipment, has been confirmed. 15:35 津波襲来 15:39 SBO (station blackout) Visually confirmed on site Occurred at 2:46 p.m. on March 11, 2011 Almost all power, as well as coolant injection and heat removal function, was lost due to the tsunami There was damage at Fukushima Daiichi Nuclear Power Station, including damage to outdoor equipment and flooding of important facilities. Fukushima Daiichi Nuclear Power Station took a direct hit from an enormous tsunami about 50 minutes after the earthquake happened. Pumps and other outdoor equipment installed on the seaside for releasing heat from the reactor to the sea were damaged, and almost the entire site on which the reactors were built was flooded as a result of the tsunami. Also, water flooded into the turbine building and other structures and power-supply facilities became unusable. As a result, various key safety functions, such as the injection of coolant into reactors and the ability to monitor status, were lost. Furthermore, a variety of damage was inflicted, such as the spread of debris by the tsunami that prevented people from moving around the site. Magnitude Damage of fuel tanks9.0 and generators Flooded areas All the areas with facilities flooded at Fukushima Daiichi Nuclear Power Station Confirmed through calculations 冷却機能喪失 原子炉水位低下 Unit 6 Unit 1 Unit 2 Unit 5 Unit 3 Review Confirmed through actual measurements Introduction 非常用ディーゼル発電機起動 No damage from the earthquake to key safety facilities has been confirmed. A tremendous tsunami struck the nuclear power station that had been brought to an emergency trip by the earthquake. Flood waters reached buildings, and power supply equipment and other important facilities could no longer be used. Unit 4 メルトダウン Key safety facilities are presumed to have retained important functions even after the earthquake Mar. 12 - 15 Fukushima Daiichi Nuclear Power Station after having been damaged by the tsunami (overall view); photo taken March 19, 2011 Height of Fukushima Daiichi Nuclear Power Station grounds and tsunami (illustration) Maximum height assumption of tsunami: 6.1 m Seaside area Measures for dealing with tsunami +6.1 m high completed Flooded power room (Fukushima Daiichi Nuclear Power Station Unit 2) Plans 水素爆発（Unit1, 3, and 4） (C)GeoEye / Japan Space Imaging Corporation Reactor building Main buildings area Actual flood height nits side nits side approx. 11.5−15.5 m Maximum tsunami height 13 m above sea level Turbine building, Control building Flood route approx. 13.0−14.5 m Human height (as 170 cm) Flood route Pressure vessel Power transmission and receiving facilities Flood route Seawater pump Primary Containment Vessel 6.1 m above sea level 0 m above sea level Battery Breakwater nits nits 10 m above sea level (height of grounds) 13 m above sea level (height of grounds) Emergency diesel generator Power panel Air supply louver for emergency diesel generator Turbine building entrance Component hatch http://www.tepco.co.jp/en/decommision/accident/images/outline01.pdf Next, we will talk about the accident conditions at each reactor unit. 28
事故直後の様子 Unit4 Unit4 Unit3 Unit2 Unit1 Unit3 Unit2 Unit1 29
福島第一原発廃炉のロードマップ Aug. 2017 Dec. 2011 Efforts to stabilize plant condition 安定状態の達成 - 冷温停止状態 - 放出の大幅抑制 Nov. 2013 Phase 1 使用済み燃料プール 内の燃料取り出しが 開始されるまでの期 間（2年以内） 30-40 years in the future Dec. 2021 Phase 2 Phase 3 燃料デブリ取り出し が開始されるまでの 期間（10年以内） 廃止措置終了までの期 間（30〜40年後） 30
廃止措置研究・人材育成等強化プログラム
遠隔操作技術及び核種分析技術を基盤とする俯瞰的廃止措置人材育成
+?#<U& xn
o82AGN5
T
+?#<}1 (
T
+?#<swP<'1fa<
+F#<OHm<
?I#<={;P<
YE#<W.
%i#<! ;P<
YE/k={P<
R[#<={P<
o82AGN5
+?#<
YE#<R[#<
+F#<?I#<p_#<
%i#<YE/kb4/k
"&>36ch7-=]
*y
lXtV
D,
SZ! !
lXtV
D,
/^v\,
Qg
"&>36ch7-=]
!
/^v\,
Qg
+?#</` zq
C
+?#<>36$M
b4/kKC@r
C
+?#<>36J)uLj
0|:<9dTB
p_#<
e3
"&>36ch7-=]
*y
富山高専（高田先生）
31
福島第一事故対応/廃止措置における ロボットへのニーズ 作業員の放射線被曝リスク低減 • 瓦礫除去（建屋内外） • 調査 - 内部構造物/瓦礫の状況 - 漏洩箇所 - 放射線量分布/放射線源分布 - 燃料デブリの状況 • 除染 • サンプリング • 燃料デブリ取り出し 32
調査 -内部構造物/瓦礫の状況 3次元環境地図 - 漏洩箇所 - 放射線量分布/放射線源分布 -燃料デブリの状況 形状・分布、特性（硬さ、核種など） • 音響カメラによる水中での3次元再構成 • ガンマ線CTによる放射線源分布推定 33
福島第一原発原子炉建屋の構造 30m @Unit1, 46m @Unit2&3 45m @Unit1, 46m @Unit2&3 原子炉建屋 5階 3階 2階 オペレーションフロア 使用済燃料プール 圧力容器（RPV） 格納容器（PCV） 制御棒 1階 ペデスタル 圧力抑制室（S/C） 地下 トーラス室 34
水中調査 ロボットによる水中調査が必要 - 使用済み燃料プール - トーラス室 - 圧力抑制室（S/C） - 格納容器内部 4号機使用済み燃料プール http://photo.tepco.co.jp/date/2012/201203-j/110312-02j.html 光学カメラだけでは暗所や 濁水中での調査に限界がある 3号機格納容器内部 http://www.tepco.co.jp/tepconews/library/archive-j.html? video_uuid=f1ak69jq&catid=61699 35
音響カメラ 超音波を使用しており、 暗所や濁水中での撮影が可能 ARIS (Sound Metrics) http://www.soundmetrics.com/Products/ ARIS-Sonars/ARIS-Explorer-3000 36
音響カメラの原理 音響カメラ 37
音響カメラの原理 音響カメラ 距離 r ビーム i 38
音響カメラの原理 音響カメラ ✓ 投影 ビーム i 音響画像 39
音響カメラの原理 ✓ r 音響画像 40
音響カメラの特徴 画像上の点から仰角 を求めることができない ✓ r ? ? ? ? 41
水中物体の3次元再構成 入力 Object - 音響画像 - カメラ制御入力 出力 - 6次元カメラ姿勢 - 3次元特徴点位置 t Camera control input t+1 42
拡張カルマンフィルタによる推定 Step 1: 予測 状態ベクトル：X̄t = g(Xt 1 , ut ) 制御入力 ut T P̄ = G P G 共分散行列： t t t 1 t + Rt Xt 1 X̄t Step 2: 更新 T ˆ ˆ 推定 zt = (r̂t , ✓t ) 状態ベクトル：Xt = X̄t + Kt (zt T z = (r , ✓ ) 観測 t t t 共分散行列：Pt = (I zˆt ) Kt Ht ) + P̄t 43
シミュレーション 水中物体の形状推定 計測対象物：正四角柱（0.2x0.2x0.3 m） ※ 特徴点は8個全て抽出できると仮定 計測箇所数：21 44
実験 沖縄で水中物体の計測実験
実験 濁水中での物体の形状推定 音響カメラ：ARIS EXPLORER 3000 計測対象物：正四角柱（0.2x0.2x0.3 m） 水面から約4mの深さで計測 音響カメラ 計測対象物 Roll回転（0〜70 deg） 実験系の全体像 46
実験結果 取得された音響カメラ画像 Object 47
実験結果 観測回数が増加するとともに、推定誤差が減少 最終的には15mm程度の誤差 N.T. Mai, H. Woo, Y. Ji, Y. Tamura, A. Yamashita, H. Asama: 3-D Reconstruction of Underwater Object based on Extended Kalman Filter by Using Acoustic Camera Images, Preprints of the 20th World Congress of the International Federation of Automatic Control, pp.1066-1072 , 2017. 48
放射線源分布の推定 - 除染のためには汚染されている場所を知る必要がある - 燃料デブリの分布がちゃんとわかっていない 従来の方法 ガンマカメラを利用 （場合によってはロボットに搭載） Warrior (iRobot) ガンマカメラ（CdTe半導体検出器） http://photo.tepco.co.jp/date/2014/201401-j/140117-01j.html 49 重量：80kg
従来手法の課題 - ガンマカメラは重いため小型のロボットには搭載困難 - 可視な場所（表面）に線源が存在するという仮定 ガンマ線は透過力が高い 検出器は飛来方向しかわからない （線源までの距離はわからない） http://www.mext.go.jp/b_menu/shuppan/sonota/attach/1314159.htm 50
コンプトンカメラの利用 コリメータがいらないので、小型軽量 コンプトン散乱を利用 ✓ 散乱光子 0 入射光子 反跳電子 = 0 h (1 = me c cos ✓) 51
コンプトンカメラ 放射線源 ✓ 吸収体 散乱体 cos ✓ = 1 me c 2 ✓ 1 E2 1 E1 + E2 ◆ E1 : 散乱体での検出エネルギー E2 : 吸収体での検出エネルギー 52
移動ロボットを用いたガンマ線CT コンプトンカメラを移動ロボットに搭載し、複数箇所 での計測結果をもとに放射線源分布を推定 移動 Gamma-ray detector Mobile robot Radioac've source 53
ガンマ線CT（2次元） ✓3 ✓2 ✓1 54
移動ロボットを用いたガンマ線CT - コンプトンカメラの計測の曖昧さ → MLEM法（Maximum Likelihood Expectation Maximization） 統計学的繰り返し計算によって、確率的に最も可能性の高い 断層像を投影像から推定する画像再構成の方法 - 移動ロボットの位置姿勢推定誤差 → SLAM（Simultaneous Localization and Mapping） ロボットの自己位置推定と地図生成を同時に行う方法 55
シミュレーション 3x3x3mの小部屋の周囲をコンプトンカメラを搭載した ロボットが移動。7箇所で静止してガンマ線を計測 ガンマ線の飛来シミュレーション：Geant4を利用 Z (m) Y Y X (m ) (m ) X Z=0平面 56
シミュレーションの結果（tentative） Y (m ) Z (m) X (m ) 57
まとめ：調査 • 音響カメラによる水中での3次元再構成 音響カメラの原理 拡張カルマンフィルタによる3次元再構成 • ガンマ線CTによる放射線源分布推定 コンプトンカメラの利用 移動ロボットによるガンマ線CT 58
これまでに活用されたロボット（の一部） LED 500m Talon (QinetiQ) Bob Cat (QinetiQ) Brokk-90 (Brokk) 自律ではなく遠隔操作によるもの 50m LED Brokk-330 (Brokk) 59
福島第一原発での遠隔操作の例 サーベイランナー (TOPY) http://photo.tepco.co.jp/date/ 2012/201204-j/120417-01j.html http://photo.tepco.co.jp/date/2012/201204-j/120419-01j.html ASTACO-SORA (HITACHI) http://www.hitachi-hgne.co.jp/ news/2012/20121207.html http://www.ohmsha.co.jp/robocon/archive/2012/12/astaco-sora.html 60
遠隔操作における技術的課題 1. 操作入力 3. 動作 2. コマンド送信 6. 情報提示 4. センシング 5. センサデータ • 操作入力インタフェース • 通信 • 情報提示インタフェース 61
機器操作における意思決定プロセス フィードバック 状況認識 環境の状態 状況知覚 状況理解 将来予測 意思決定 行動 NDM (Naturalistic Decision Making) model [Endsley1995] 適切な意思決定・行動のためには 適切な状況認識が必要不可欠 M.R. Endsley: Toward a Theory of Situation Awareness in Dynamic Systems, Human Factors, Vol.37, No.1, pp.32-64, 1995. 62
操作におけるフィードバック visual visual tactile force force visual visual 63
遠隔操作における状況認識 ロボット及び作業対象を直接視認できない カメラ映像等 操作者にどのような視点を提示するか？ 64
ロボット搭載カメラによる映像提示 狭隘環境での遠隔操作 ロボットに搭載されたカメラ による映像 ロボット自身と周囲環境との位置関係の把握が困難 65
環境との位置関係の把握を容易にする 一人称視点 三人称視点 三人称視点映像を提示するのが有効 三人称視点の提示 - 環境中にカメラを設置して、その映像を提示 予めカメラが設置されているか、カメラ車等を利用する 66
搭載カメラからの三人称視点提示 ロボット上部に俯瞰用カメラを設置 http://photo.tepco.co.jp/date/2012/201204-j/120417-01j.html サーベイランナー（TOPY） http://photo.tepco.co.jp/date/ 2012/201204-j/120419-01j.html 上部カメラからの俯瞰映像 67
遠隔操作における映像提示 - 俯瞰映像提示システム - 任意視点映像提示システム 68
魚眼カメラによる擬似俯瞰映像提示 ロボットの全周囲を撮影可能なように、前後左右に魚眼カメラ を設置し、それらの映像から擬似的な俯瞰映像を生成する 魚眼カメラ 移動ロボット 得られた魚眼映像 T. Sato, et al.: Spatio-Temporal Bird’s-Eye View Images Using Multiple Fish-eye Cameras, Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, pp.753-758, 2013. 69
俯瞰映像生成の流れ 魚眼映像 歪み補正 俯瞰映像統合 俯瞰視点化 最終的な俯瞰映像 70
生成された俯瞰映像 71
俯瞰映像提示システムの課題 1. 故障に対するロバスト性 放射線等によるカメラ故障時の視野欠損 2. 上空の障害物の検出が困難 高さのある障害物との位置関係が不正確に提示されてしまう 画 描 に こ こ き されるべ 高さのある障害物が前方にある状況 提示される俯瞰映像 72
ガンマ線照射試験 線源 ：60Co密封線源 カメラ：魚眼カメラ（M3007-PV, AXIS） x 4台 50 ! 500 mm 800 mm 600 mm 照射前 $%Co 600 mm 照射中(501 Gy/h) 73
照射試験の結果 ! $%Co 800 mm 600 mm 600 mm 空間線量率 故障までの時間 積算線量 カメラID [Gy/h] [min] [Gy] 1 501 23 192 2 157 54 141 3 104 94 163 4 164 82 224 平均 180 cf.) 現在の福島第一2号機PCV内部の線量率 CRDレール上：70 Gy/h（2017年2月調査時） - 通常のカメラで遮蔽を施さない場合、3時間以内に壊れる - 耐放射線対策をしたもので2kGy程度まで→1日程度 R. Komatsu, H. Fujii, H. Kono, Y. Tamura, A. Yamashita, H. Asama: Bird’s-eye View Image Generation with Camera Malfunction in Irradiation Environment, Proceedings of the 6th International Conference on Advanced Mechatronics, pp.177-178, 2015. 74
カメラの放射線対策 形状変化型ロボットの開発 遮蔽 鉛などでカメラの周囲を覆う→重くなってしまう 「映像」「温度」「線量率」 情報の収集 分離 φ100mm）と安定走行の両立 高線量，暗闇，蒸気雰囲気等) 質の飛散防止 1000Gy 耐放射線 放射線に弱い（半導体）部品をできるだけ分離して低放射線環境に 装置構成イメージ 放射線に弱い制御回路を制御装置側（低放射線環境下）へ PCV外 PCV内 移設 ｶﾞｲﾄﾞﾊﾟｲﾌﾟ 設置する (X-100Bﾍﾟﾈに設置) CCD ｹｰﾌﾞﾙ 形状変化型 ﾛﾎﾞｯﾄ ﾚﾝｽﾞ ｹｰﾌﾞﾙ ｰ） ﾞﾊﾟｲﾌﾟとの 合部 を内包 ｶﾒﾗﾍｯﾄﾞ ｶﾒﾗﾍｯﾄﾞ 変形 ガイドパイプ走行時 制 御 回 路 制 御 装 置 低放射線 環境下に 設置 http://irid.or.jp/_pdf/20150911_5.pdf グレーチング走行時 耐放射線性の高い装置 温度計 進行方向 e.g.) 撮像管 クローラ （2個） 冗長性の利用 ガイトパイプ進行用カメラ 12 形状変化機構 調査用 カメラ http://toshiba-mirai-kagakukan.jp/en/learn/ history/ichigoki/1973color_camera/ 線量計 ©International Research Institute for Nuclear Decommissioning 75
冗長性を利用した視野欠損への対応 従来のカメラ配置 2 1 1 1 0 2 0 1 1 2 1 1 2 撮影可能な領域（上面図） 2 3 2 1 3 02 1 2 2 最低2台のカメラで俯瞰映像を生成可能 2 1 11 3 新しいカメラ配置 22 2 3 撮影可能な領域（上面図） 小松, 他: カメラ配置設計による故障時に備えたロボット遠隔操作のための 俯瞰映像提示システムの開発, 精密工学会誌, Vol.81, No.12, pp.12061212, 2015. 76
テクスチャのずれの最小化 魚眼カメラ映像の広角側では、歪みが大きい 4台正常時 2台故障時 カメラ故障のパターンに応じて、 テクスチャのずれを最小化する パラメータを予め導出 2台故障時 77
radiation source Bird’s-eye view Before irradiation 4 cameras 3 cameras 1 camera 78
移動ロボットによる実験 79
俯瞰映像提示システムの課題 1. 故障に対するロバスト性 放射線等によるカメラ故障時の視野欠損 2. 上空の障害物の検出が困難 高さのある障害物との位置関係が不正確に提示されてしまう 画 描 に こ こ き されるべ 高さのある障害物が前方にある状況 提示される俯瞰映像 80
高さのある障害物と遮蔽領域の可視化 遮蔽領域 障害物 ロボット 高さのある障害物が 前方にある状況 [小松2015]で提示 される俯瞰映像 目指すべき提示映像 のイメージ 3次元測域センサ（LiDAR）と魚眼カメラの 情報を統合する 粟島, 小松, 藤井, 田村, 山下, 淺間: ロボット遠隔操作のためのLiDARを用いた全方位３次元測距による俯瞰映像上での障害物提示, 精密工学会 誌, Vol.83, No.12, 2017 (accepted). 81
可視化の方法 色情報付与と床面への投影 魚眼カメラ画像 zw 遮蔽領域の可視化 遮蔽領域 uf 魚眼カメラ vf LIDAR yw 色情報 障害物の 点群の正射影 正射影 ロボット 座標系 ロボット 床面 床面 xw LIDAR 82
提示映像の比較 実験状況（従来研究） 提示映像（従来研究） 実験状況（提案手法） 提示映像（提案手法） 83
遠隔操作における映像提示 - 俯瞰映像提示システム - 任意視点映像提示システム 84
任意視点映像 仮想カメラ 俯瞰映像 ABC 任意視点映像 85
任意視点映像提示のアプローチ ロボット周囲の環境をCGモデルとして構築する 形状、位置姿勢、色の情報があれば、幾何学的な計算により 任意視点映像生成が可能 形状・位置姿勢 色情報 ロボット 既知 既知 周囲環境 測域センサ カメラ 処理の高速化のための仮定 - 環境は床面と壁面で構成 - 床面は平面であり、ロボットは常に接地 - 壁面は床面に対して垂直 小松, 藤井, 田村, 山下, 淺間: 複数台のカメラとレーザ測域センサによる人工物の幾何情報を考慮した任意視点映像生成, 第17回計測自動制御学 会システムインテグレーション部門講演会講演論文集, pp.2536-2540, 2016. 86
周囲環境CGモデルの構築 測域センサ（LRF）による壁面検出 カメラによる色情報の取得 87
実験システム 遠隔操作ロボット 東芝製水陸両用ロボット - 4台の魚眼カメラ（Grasshopper3, PointGrey） - 1台のLRF（UTM-30LX, Hokuyo; 走査範囲270度） ロボットモデル 複数枚のロボットの写真から VisualSfMを用いて作成 魚眼カメラ LRF [http://ccwu.me/vsfm] 88
任意視点映像提示 89
まとめ：遠隔操作における映像提示 - 俯瞰映像提示システム 複数台の魚眼カメラを用いた疑似俯瞰映像生成 - 冗長性を利用したロバスト性向上 - LiDARとの統合による高さのある障害物の正確な描画 - 任意視点映像提示システム 人工物の幾何情報を考慮した任意視点映像生成 90
廃炉人材育成国内サマースクール 日程：2017年9月6日（水）〜8日（金） 場所：日本原子力研究開発機構 楢葉遠隔技術開発センター 9月6日（水） 講演（予定） - 新井民夫（IRID副理事長） - 高守謙郎（IRID） - 川端邦明（JAEA） 施設見学（VRシステム、ロボットシミュレータ、止水試験設備等） 9月7日（木） グループディスカッション（VRシステムを利用） 9月8日（金） グループディスカッション、プレゼンテーション 91
まとめ 人を中心としたロボット技術 - 人間の視覚的注意のモデル化 福島第一原発廃炉へのロボット技術の適用 - 音響カメラによる水中での3次元再構成 - 移動ロボットによるガンマ線CT - 俯瞰映像提示システム - 任意視点映像提示システム [email protected] http://www.tamlab.jp