空撮映像への３Dモデル重畳技術の開発

空撮映像への ３Dモデル 重畳技術の開発 西松建設株式会社 福井 亮介 様

登壇者紹介 空撮映像への３Dモデル重畳技術の開発 • 簡単な紹介 東京電機大学大学院 工学研究科 先端機械工学専攻 修了 • 業務略歴 2022年 西松建設 入社 福井 亮介 様 西松建設株式会社 技術研究所 先端技術グループ • 主な業務など 研究開発 ・建設機械の自動化、無人化 ・最新技術を活用した開発業務 ・現場支援

目次 空撮映像への３Dモデル重畳技術の開発 １．背景・目的 ２．技術的課題とその解決策 ３．検証内容 3-1．精度検証 3-2．所要時間の検証 3-3． XRデバイス活用効果の検証 ４．まとめ・今後の展望

1．背景・目的

1．背景・目的 空撮映像への３Dモデル重畳技術の開発 CIM（Construction Information Modeling/Management）の３Dモデルを現況に ARで重ね合わせて施工イメージを共有する事例がある。効果として、早期の課題把握や改 善策の提案、施工の手戻りによる工程遅延の抑制につなげる しかし、現行の技術では、地上視点・移動範囲に制限があり、大型構造物の場合、現場全 景と合わせて確認することが難しい。また移動に時間がかかってしまうことが課題 自由視点からの３Ｄモデル表示 ドローンカメラの空撮映像によるAR表示 移動時間の削減 現況にデータ を合成 ３Dモデル 引用：BIM/CIM HUB https://bimcim-hub.com/what-bimcim/ 現場

1．背景・目的 空撮映像への３Dモデル重畳技術の開発 現行技術との比較 現行技術 本開発技術 デバイス （カメラ） 地上視点 引用：DJI 公式ウェブサイトhttps://www.dji.com/jp 空撮視点

• https://www.dji.com/jp

1．背景・目的 空撮映像への３Dモデル重畳技術の開発 本開発技術のイメージ ✓ 自由な位置・角度から３Dモデル表示可能 ✓ 一か所から複数個所の確認を行える 空撮視点① 現況 空撮視点③ 空撮視点② ドローン操縦者

2．技術的課題とその解決策

2．技術的課題とその解決策 空撮映像への３Dモデル重畳技術の開発 課題①：３DモデルのAR重畳方法 ARマーカーによる３Ｄモデル重畳（現行技術） ARマーカー作成 設置 マーカー読み込み ３Ｄモデル重畳 課題 ドローンのカメラで認識できる巨大なARマーカーを用意、現場に設置しなければならない ARマーカーを必要としないマーカーレス方式を採用

2．技術的課題とその解決策 空撮映像への３Dモデル重畳技術の開発 課題①：３DモデルのAR重畳方法 マーカーレス方式 ビジョンベース 画像や空間・立体物などのオブジェクトを認識して、画面上に視覚情報を表示させる技術 問題点 ・画像認識を使ったVPS ⇒ ・高性能なLidarカメラが必要 ⇒ 運用コストが高い 距離・重量の問題がある ロケーションベース デバイスのGPSなどから取得した位置情報に紐付け、画面上に視覚情報を表示させる技術

2．技術的課題とその解決策 空撮映像への３Dモデル重畳技術の開発 課題①：３DモデルのAR重畳方法 ロケーションベースのAR重畳に必要な情報 ⚫ 位置情報 ⇒GNSS ⚫ ドローンの姿勢・カメラの向き、角度 ⇒加速度・角速度センサー 相対測位 D-RTK2モバイルステーション （GNSS基準局） ３Dモデルの座標情報 ・GNSSの位置情報 ・ドローンの進行方向 ・カメラの方向，角度 RTKモジュール DJI Mavic3 DJI RC Pro 課題 高負荷な映像表示処理（レンダリング）を行うが必要がある 引用：DJI 公式ウェブサイトhttps://www.dji.com/jp GPUを内蔵したレンダリング専用PCで処理

• https://www.dji.com/jp

2．技術的課題とその解決策 空撮映像への３Dモデル重畳技術の開発 課題②：操作の複雑化 課題 ・重畳映像の確認や撮影、３Ｄモデルの切り替え ⇒ レンダリングPC ・ドローンの操縦、情報確認（バッテリー残量、飛行高度等）⇒ コントローラー ・ドローンの飛行状況の確認、周囲状況の安全確保 ⇒ 目視確認 ➢ 重畳映像の確認 ➢ 周囲状況の確認 ➢ ドローンのステータス情報 Trimble XR10 with HoloLens2 引用：ニコン・トリンブル 公式ウェブサイトhttps://www.nikon-trimble.co.jp/TrimbleXR10/

• https://www.nikon-trimble.co.jp/TrimbleXR10/

2．技術的課題とその解決策 システム構成図 空撮映像への３Dモデル重畳技術の開発 クラウドサーバー ３Ｄモデル ドローン 内部情報 遠隔PC 操作 コントローラ GNSS基準局 レンダリングPC 引用：DJI 公式ウェブサイトhttps://www.dji.com/jp 引用：ニコン・トリンブル 公式ウェブサイトhttps://www.nikon-trimble.co.jp/TrimbleXR10/ XR10

• https://www.dji.com/jp
• https://www.nikon-trimble.co.jp/TrimbleXR10/

2．技術的課題とその解決策 空撮映像への３Dモデル重畳技術の開発

3．検証内容 空撮映像への３Dモデル重畳技術の開発 完成モデルの共有 ３Ｄモデルの切り替え 岩盤情報を確認 ⇒発注者、住民への説明 ダム堤体モデル ⇒調査データとの比較 岩盤区分モデル 仮設備の配置確認 ⇒配置・干渉チェック 切替自由 仮設備モデル

3．検証内容

3．検証内容 空撮映像への３Dモデル重畳技術の開発 3-1．精度検証 ・３Ｄモデルの重畳精度がどれほどであるのか ・ドローンホバリング時、移動時の重畳状況の確認 3-2．所要時間の検証 ・現行技術と比較し、所要時間がどれほど短縮されるか 3-3．XRデバイス活用効果の検証 ・操作の複雑化に対する有効性の確認

3．検証内容 空撮映像への３Dモデル重畳技術の開発 3-1．精度検証 検証方法 ダム軸上の端点に，３Dモデルには四角錐マーカー（1.8ｍ四方）、現地には対空標識（1.8ｍ四方）を作成 ダム軸の端点位置の直上にドローンをホバリングさせ、重畳状況を確認する 現況 ３Ｄモデル 四角錐マーカー （上面：1.8ｍ四方） ダム軸の端点 マーカー設置状況 対空標識（1.8m四方）

3．検証内容 空撮映像への３Dモデル重畳技術の開発 3-1．精度検証 検証結果 ◆ 四角錐マーカーと対空標識が重なることを確認 ◆ 精度が±0.3ｍ程度であることを確認 GNSSで位置の補正を随時行っているため

3．検証内容 空撮映像への３Dモデル重畳技術の開発 3-1．精度検証 検証結果 ◆ ホバリング時の３Dモデル重畳状況 モデル位置が設定座標から大きく離れることなく、空撮映像に表示され続けていた ドローンの飛行位置・高度を変更した場合でも、 空撮映像に対応して３Ｄモデルを表示することができた ◆ ドローン移動時の３Dモデル重畳状況 空撮映像と３Dモデルの位置にずれが生じ、重畳精度が大きく悪化した 原因 映像伝送速度とレンダリング速度の差により映像がずれが生じた

3．検証内容 空撮映像への３Dモデル重畳技術の開発 3-2．所要時間の検証 ① 検証方法 ダム堤体 ④ ⑤ ①～⑤ ５箇所の地点の確認を 従来手法と本システムで実施 ⇒ 所要時間の比較を行う 所要時間＝準備時間＋実施時間 ◆ 確認するモデル（3種類） ② ③ ダム堤体 岩盤モデル 仮設備 現場 上空写真

3．検証内容 空撮映像への３Dモデル重畳技術の開発 3-2．所要時間の検証 検証結果 ドローンの移動範囲： 徒歩の移動経路： ① ④ ① ④ ⑤ ⑤ 高低差 ：約40ｍ 総移動距離：約2.2㎞ ② ② 所要時間：約90分 ③ 所要時間：90分 ー 30分 ＝ 60分短縮 ③ 所要時間：約30分 所要時間を1/3に短縮 ※検証現場での実測値

3．検証内容 空撮映像への３Dモデル重畳技術の開発 3-2．所要時間の検証 インターネットを介したレンダリング画面の共有 ➢ 遠隔地との情報共有 無線通信 ➢ 操縦者への指示 ➢ 現地までの移動を削減 ３Dモデル重畳映像 （レンダリングPC） Trimble XR10 インターネット通信 現場事務所 東京オフィス

3．検証内容 空撮映像への３Dモデル重畳技術の開発 3-3．XRデバイス活用効果の検証 開発システムの現場検証 • ３Ｄモデルの重畳映像とドローンの操縦の同時操作 • ドローンのステータス情報、飛行位置、周囲状況の常時確認 操作の複雑化を解消し、有効性を確認

4．まとめ・今後の展望

4．まとめ・今後の展望 空撮映像への３Dモデル重畳技術の開発 まとめ 当社では、土木施工におけるCIM活用として、ドローンの空撮映像による ３Ｄモデル重畳技術の開発を行った これにより、視点位置の制限なく３Ｄモデルを全景と比較が可能となると同時に、 大幅な移動時間の削減にもつながった 課題 ドローン移動中の場合では、３Dモデル重畳映像が映像伝送速度とレンダリング速度の 差により空撮映像と３Dモデルの位置にずれが生じ、重畳精度が大きく悪化した

4．まとめ・今後の展望 空撮映像への３Dモデル重畳技術の開発 今後の展望 課題であるドローン移動中の重畳精度を向上させるとともに、デジタル 情報を直感的に操作できるMR技術などを複合させたシステムを施工計画、 施工管理へ適応させる形で開発を進めていく さらに本技術は、地震や水害等の災害復旧工事における、ドローンを 使った遠隔での施工管理支援ツールとしても幅広い活用が期待でき、国 土強靭化に向けた取り組みを続けていく 今回は技術検証としての基本実装だったが、今後はサービスとしての展 開を目指し、更なる精度向上と、3Dモデルの登録・設定の仕組みやXR 連携アプリの操作性など、UI/UXのブラッシュアップを進めて行く

ご清聴ありがとうございました