産業用ロボット開発におけるUnityの活用
2.2K Views
November 15, 21
スライド概要
2020年度のUnity道場ロボティクススペシャルでは，産業用ロボットにおけるUnityとAI技術の活用事例について，私たちの実際の取り組みを例として紹介しました．今回は，その周辺技術として，ロボットの動作計画を例に，産業分野向けに従来開発してきた既存アセットをUnityへ活用する事例についてご紹介します．
リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。
関連スライド
各ページのテキスト
産業用ロボット開発 におけるUnityの活用 株式会社 エイアイキューブ 太刀掛浩貴 渡邉航
自己紹介 • 太刀掛 浩貴 （タチカケ ヒロキ） • ～2016年 東北大学 バイオロボティクス専攻 ✓ 製造業向けの作業支援ロボット • • • • • 機械設計 電気設計 認識 （自己位置推定） 制御 機械学習 （作業者の行動認識） …, etc. • 2016年 株式会社 安川電機 入社 ✓ 新規事業向けのロボット開発 • 深層学習 • 2018年 株式会社 エイアイキューブ 出向 ✓ 現職
自己紹介 • 渡邉 航（ワタナベ ワタル） • ～2012年 東北大学 電気通信工学専攻 ✓生物規範型ロボティクス ✓自律分散制御 • 2012年 株式会社安川電機 入社 ✓産業用ロボット知能化研究・開発 • モーションプランニング • 2019年～ 株式会社エイアイキューブ 出向 ✓現職
本日の内容 • 産業用ロボット開発におけるUnityの活用について 私たちの取組みを事例として紹介 含まれる内容 • 産業用ロボットにおける 既存の製品機能とUnityの活用方法 含まれない内容 • ROSとUnityの活用方法 など ← 最近 環境が整ってきて嬉しい (˶ˆ꒳ˆ˵)♪ ⇒ 産業用ロボットの開発でUnityのようなゲームエンジンが どのように活用されているか？の参考になれば幸いです
導入①：ばら積みピッキング • Unity道場 ロボティクススペシャル 虎の巻[1] [1] Unity Japan, https://www.youtube.com/watch?v=0N7ysSOJIgw (accessed 2021/10/18).
導入①：ばら積みピッキング • Unity道場 ロボティクススペシャル 虎の巻[1] [1] Unity Japan, https://www.youtube.com/watch?v=0N7ysSOJIgw (accessed 2021/10/18).
導入①：ばら積みピッキング • Unity道場 ロボティクススペシャル 虎の巻[1] [1] Unity Japan, https://www.youtube.com/watch?v=0N7ysSOJIgw (accessed 2021/10/18).
導入①：ばら積みピッキング • Unity道場 ロボティクススペシャル 虎の巻[1] [1] Unity Japan, https://www.youtube.com/watch?v=0N7ysSOJIgw (accessed 2021/10/18).
導入①：ばら積みピッキング • Unity道場 ロボティクススペシャル 虎の巻[1] [1] Unity Japan, https://www.youtube.com/watch?v=0N7ysSOJIgw (accessed 2021/10/18).
導入①：ばら積みピッキング • Unity道場 ロボティクススペシャル 虎の巻[1] [1] Unity Japan, https://www.youtube.com/watch?v=0N7ysSOJIgw (accessed 2021/10/18).
導入①：ばら積みピッキング • AlliomPicking • Unity道場 ロボティクススペシャル(2020年)での 講演内容は2021年より“AlliomPicking”として製品化 2019国際ロボット展(iREX2019)[2] 日経Robotics (2021/3月号)[3] [2] 安川電機 e –メカサイト, https://www.youtube.com/watch?v=s3kHYTkDVNI (accessed 2021/10/18). [3] 日経クロステック, https://xtech.Nikkei.com/atcl/nxt/mag/rob/18/012600001/00071/ (accessed 2021/10/18).
導入①：ばら積みピッキング • AlliomPicking ビジョンセンサ （RGB-Dカメラ） 撮影した画像に対して把持/吸着位置を出力 ハンドはグリッ パと 吸着パッドに対応 吸着位置の出力 把持位置の出力
導入①：ばら積みピッキング • AlliomPicking 学習 AlliomPicking Studio 事前準備データ 登録 1. 学習データを自動作成 2. 画像から把持/吸着位置を 出力するAIを学習 ・オブジェクトの3Dデータ ・ばら積みシーンの画像 ・ハンド情報 推論 AI モデル読み込み 動作指令 AlliomPicking Edge 把持/吸着位置を取得
導入②：パス プランニング • パス プランニング • 動作開始姿勢と終了姿勢が与えられたとき， その姿勢間をどのような経路を通って動くか？を計画する問題
導入②：パス プランニング • パス プランニング YASKAWA Planning (左図：バイオメディカルロボットシステム[4]，右図：異常時のライン復旧動作(6倍速,一部改変)[5]) [4] 安川電機, https://www.yaskawa.co.jp/newsrelease/technology/16564 (accessed 2021/10/18). [5] 安川電機 e –メカサイト, https://www.youtube.com/watch?v=rfG-RUPt-HE (accessed 2021/10/18).
ばら積みピッキング × パス プランニング • Alliom Pickingにおいて，把持/吸着位置を取得した後の動作指令は ユーザが指定 ⇒ 従来のパス プランニングとの組み合わせを検証したい ⇒ 再現性のあるシミュレーションで検証したい パスプランニングと組み合わせて検証したい
ばら積みピッキング × パス プランニング • 製品として提供されている既存のプランニング機能を組み合わせて 検証したいが，その機能が組み込まれているシミュレータでは， 動力学計算や画像取得が難しい・・・ • オブジェクトのばら積み状態の生成や画像取得が大変 MotoSim EG-VRC[6] [6] Yaskawa America, Inc., https://www.youtube.com/watch?v=WPFEEt8AeTQ&list=PLoQTh8O3tekKLMGU4_nlXrHV8uoZJdFz5&index=1 (accessed 2021/10/18).
ばら積みピッキング × パス プランニング • 製品として提供されている既存のプランニング機能を組み合わせて 検証したいが，その機能が組み込まれているシミュレータでは， 動力学計算や画像取得が難しい・・・ • オブジェクトのばら積み状態の生成や画像取得が大変 ・ばら積み状態の生成 ・画像取得 ・把持/吸着位置の推定 ・パス プランニング ・ロボット-環境間の 干渉判定
Unityを用いた既存の製品機能の活用 • 構成 ① ばら積み生成・画像取得 {RGB画像，Depth画像 など} REST API ばら積み生成 画像取得 RGB画像，Depth画像 ② 吸着位置推定 吸着位置 干渉判定 {吸着位置} ③ 吸着位置における干渉判定 プランニング {吸着位置} ④ パスプランニング {動作経路 など} REST API {干渉判定結果 など} 環境設定： - カメラの位置 箱の位置 ロボットの位置 など
Unityを用いた既存の製品機能の活用 • ばら積み生成 ～ Alliom Pickingによる推論
Unityを用いた既存の製品機能の活用 • ばら積み生成 ～ Alliom Pickingによる推論
Unityを用いた既存の製品機能の活用 • パスプランニング YASKAWA Planning 適用
Unityを用いた既存の製品機能の活用 • ばら積み生成 ～ Alliom Pickingによる推論 ～ パス プランニング
Unityを用いた既存の製品機能の活用 • パス プランニング 有/無による検証 • 約20%程度の動作時間の削減 YASKAWA Planning 適用
まとめ • 産業用ロボット開発において，Unityと既存の製品機能を連携させて， 以下の検証を実施： • Unity • ばら積み画像の生成 • Alliom Picking • Unityから出力された画像を用いて吸着位置を推定 • パス プランニング • Alliom Pickingから出力された吸着位置において，ロボットと環境の間の干渉を判定 • 撮像姿勢 ⇒ 吸着位置 ⇒ 置き姿勢 間の経路を計画
Thank you !! Email：[email protected]