ROSConJP2024-hakoniwa
3K Views
September 26, 24
スライド概要
ROSConJP 2024 (https://roscon.jp/) の箱庭WGの発表資料です。
タイトル：ドローン／PX4をデジタルツインへと導く箱庭技術
概要：
箱庭は、PX4と連携可能な新しいドローンシミュレータをリリースしました。これにより、ドローン／PX4のシミュレーションが従来のシミュレータの枠を超え、リアル空間のロボットとのシームレスな連携テストが可能になりました。Zenoh通信基盤を中心とした「箱庭ブリッジ」がその鍵を握ります。箱庭ブリッジを既存のROSシステムに設置することで、リアルなロボットとバーチャルドローンの相互運用が実現できるのです！
TOPPERS／箱庭WG活動でUnityやらAthrillやらmROSやら触ってます。 最近は仕事の関係でWeb系の技術に注力しつつ、箱庭への転用を模索しています。 2023年8月1日：合同会社箱庭ラボに移動しました
関連スライド
各ページのテキスト
ドローン／PX4 を デジタルツインへと導く箱庭技術 ○森 崇（箱庭ラボ） 平鍋健児（永和システムマネジメント） 高田 光隆（名古屋大学） 久保秋 真（チェンジビジョン） 細合 晋太郎（ものつくり大学） 高瀬 英希（東京大学）
アジェンダ 1. 背景と狙い/課題の整理 2. 箱庭ブリッジ 3. Zenohとは？/箱庭とは？ 4. PX4と連携可能な箱庭ドローンシミュレータとは？ 5. 箱庭ドローンとリアルロボットの統合デモ 6. まとめと今後の展開 2
背景と狙い デジタルツインは現実空間と仮想空間の相互作用を実現する基盤技術 仮想空間 通信網 現実空間 通信データ 現実空間を複製した シミュレーションモデル 現実空間と仮想空間の 相互作用を実現する通信網 現実空間における ロボットシステム 課題：仮想と現実は簡単に繋げることができない！ 3
課題の整理 仮想空間と現実空間を繋げる上での課題 データ交換の互換性の確保 システム導入の容易化 仮想空間 通信網 現実空間 システムの拡張性の確保 多様な開発環境への対応 通信のリアルタイム性の確保 ネットワーク 構成 Wi-Fi構成 5G 構成 4
箱庭ブリッジ 既存のROSシステムを仮想空間と手軽に繋げることができることを目指す！ データ交換の互換性の確保 箱庭PDU システム導入の容易化 仮想空間 箱庭ブリッジ システムの拡張性の確保 箱庭PDU 現実空間 （ROSシステム） Zenoh 箱庭 通信のリアルタイム性の確保 多様な開発環境への対応 ネットワーク 構成 Wi-Fi構成 5G 構成 5
Zenohとは？ • ZettaScale Technology社が開発 • オープンソース(Eclipse Project)の通信プロトコルおよびミドルウェア • 特徴 • 低遅延・高スループット • 様々な通信機能 • 出版購読型、Key-Value Store に基づくデータ管理や計算処理の機能 • 柔軟なネットワーク構成 • Peer-to-Peer通信やNAT越えが可能 • 多種のプログラミング言語の対応 • Python や C/C++等 • Zenoh のコア機能は Rust によって実装されている 6
箱庭とは？ • 箱庭の目的： • 様々な技術をつなげること • シミュレータ • 組込み機器 • プログラム(Python/C/C++…) • ゲームエンジン（Unity/Unreal Engine) • 別の言い方をすると、 • シミュレーションHUB Simulation Hub
箱庭アセットの種類と適用事例 箱庭アセット（ロボット） 箱庭アセット（シミュレータ） Athrill PyBullet 箱庭アセット（制御プログラム） オンライン・ロボット教育 箱 庭 の 適 用 例 VR体験 ロボット強化学習 STAMP/STPA 分析活用 ドローン・シミュレーション リアルとバーチャルの融合 8
箱庭のネットワーク基本構成 基本構成 クラウド連携/疎結合 負荷分散構成 リアルとの連携構成 9
箱庭ブリッジのアーキテクチャ オープンソースで公開しています！ https://github.com/toppers/hakoniwa-bridge Hakoniwa Bridge Hakoniwa Conductor (Server) Robot Control Program Unity Robot Robot Robot Hak oniwa Conductor (C lient) Conductor API Asset API Shared Memory/MMAP Shared Memory Proxy ROS TOPIC ROS 2 RosProxy Zenoh Zenoh Zenoh Raspberry Pi Zenoh ROS 2 mROS 2 Raspberry Pi Embedded Device Hakoniwa Core Windows/MacOS/Ubuntu 22.04.1 LTS Virtual Space Raspberry Pi Real Space 10
箱庭ブリッジが導くリアルとバーチャルの融合世界 Fusion Real Virtual バーチャル空間のデータ Virtual & Real Asset 11
PX4と連携可能な箱庭ドローンシミュレータとは？ 仮想空間のドローンを現実のPX4やQGCと連携するシミュレータ →箱庭で実現されている 仮想空間 PX4 Pixhawk QGC Hardware Firmware Ground Station 12
目指す姿 • 「制御モデル」、「物理モデル」、「ビジュアライズ」を３つの独立した機能と捉え、 • 箱庭がそれらを統合する！ Sensor Data Drone Control Model Disturbances,… Drone Physical Model Control Data Visualize Function Position & Attitude Data 13
箱庭ドローンシミュレータのアーキテクチャ PX4 on SITL 4560/TCP hakoniwa-px4sim Drone Physics/Sensor (C/C++) Drone Control (C/C++) Generate MATLAB/Simulink Plant/ Sensor Model Simulation parameters Hakoniwa Scenario Test 18570/UDP Python scenario Game Engine Unity Unreal Engine QGroundControl PS4 Controller 箱庭は様々なソフトウェアを繋げるハブです！ 14
箱庭ドローンシミュレータのデモ https://www.youtube.com/watch?v=IEYTQkZcwB0 15
箱庭ドローンとリアルロボットの統合デモ ■バーチャル・ドローン バーチャル空間にのみ存在するドローン。 リアルの人は、ARデバイスを通して確認できる。 リアルロボットは、荷物搬送状況を受信できる。 Fusion ■バーチャル信号 バーチャル空間にのみ存在する信号機。 リアルの人は、ARデバイスを通して確認できる。 リアルロボットは、信号データを受信し、横断歩道 の交通ルールに合わせた制御が可能になる。 Real Virtual バーチャル空間のデータ Virtual & Real Asset ■リアルロボット リアル空間にのみ存在し、バーチャル世界のデータを受信して駆動可能。 バーチャル・ドローンは、ロボットの位置データを受信し、仮想の荷物をロボットに 配置したことを伝えることで、ロボットとドローンの相互運用テストを可能にする バーチャル空間で安全な検証 バーチャルとリアルを融合したサービスの実現 16
デモ環境 MacBook Pro URG-04LX-UG01 (北陽電機) QUEST3 Real Virtual Ubuntu 22.0.4 Virtual & Real TurtleBot3 デモ環境のソースは、オープンソースで公開しています！ https://github.com/toppers/hakoniwa-digital-twin 17
デモ動画 URG-04LX-UG01 (北陽電機) QUEST3 MacBook Pro https://www.youtube.com/watch?v=N-kUh9P_jvI 18
まとめ • 「箱庭ブリッジ」を公開 • 既存のROSシステムを仮想空間に繋げる！ • 「Zenoh通信基盤」を採用 • 5Gルータを超える低遅延で高効率なデータ転送を可能 • 「リアルとバーチャルの融合体験」ができた！！ • 箱庭ドローンとTurtlebot3とが協調動作！ 19
今後の展開 • 他シミュレータとの協調 • Gazeboと箱庭を連携させ、双方の強みを生かす！ • リアルロボットとの統合事例の拡充 • 工場などの産業分野におけるデジタルツインを箱庭で実現 • 箱庭ブリッジのROSパッケージ化 • ROSユーザーが簡単に利用できるようにします • 通信性能の定量的評価と大規模システムでの実証検証 • Zenoh通信基盤の低遅延かつ高効率なデータ転送能力 • 大規模なシステムにおける信頼性とスケーラビリティ 20
ご清聴 ありがとうございました！ 21