ロボットトイ「toio」とVisual Scriptingでお手軽！Unityでロボットを動かそう！

toio SDK for Unityと Visual Scriptingでお手軽！ Unityでロボットを動かそう！ 202XMMDDtoio_Title ソニー・インタラクティブエンタテインメント toio開発者 田中章愛 202X/XX/XX モリカトロン株式会社 SIE/toio事業推進室 田中章愛 [email protected] AIエンジニア 銭 起揚 © 2022 Sony Interactive Entertainment 1

田中 章愛（たなか あきちか） ソニー・インタラクティブエンタテインメント toio事業推進室課長 / toio開発者 2002年 2006年 同年 2013年 2014年 2016年 2018年～ 佐世保高専卒業（NHKロボコン全国大会出場） 筑波大学大学院修了（RoboCup Rescue世界大会出場） ソニー(株)入社、ロボットの研究開発に従事 スタンフォード大学訪問研究員 スタートアップ創出と事業運営を支援する 「Seed Acceleration Program(SAP)」や 「Creative Lounge」の企画運営 SAPの新規事業としてロボットトイ「toio」提案 以降、商品化・事業化に従事 ソニー・インタラクティブエンタテインメント にて「toio」の商品企画と事業開発を担当 © 2022 Sony Interactive Entertainment ものづくり・ロボコン少年 ロボット研究者 社内スタートアップ のリーダー 今はPlayStation® でおなじみのSIEで 「toio™(トイオ)」 をつくってます 2

「つくって、あそんで、ひらめいて」 カタチやプログラムをつくって あそべるロボット 創意工夫を引き出す ロボットトイ カートリッジであそぶ、プログラミングでつくる © 2022 SonyInteractive Interactive Entertainment © 2021 Sony Entertainment 3 3

触って夢中になれるデジタル体験が目の前に カートリッジで様々な あそびのテーマを提供 自由な発想を投影 → 夢中になる → 工夫したくなる “クラフトファイター” ドライブ・自動運転 工作生物 金賞 © 2022 Sony Interactive Entertainment 4

2012年からの アイデアをかたちに toioTM 開発者 ぜったい いち “ユーザーテスト” “絶対位置” あそんでもらって よりよくする キビキビうごく ゲームができる 光学式センサー 特殊パターン © 2022 Sony Interactive Entertainment © 2020 Sony Interactive Entertainment 5 5

https://www.youtube.com/watch?v=0-QrT1PtKY4&t=113s © 2020 Sony Interactive Entertainment 6

• https://www.youtube.com/watch?v=0-QrT1PtKY4&t=113s

自宅プリンターやオンデマンド印刷で オリジナル toio用マットも作れます！ スイッチサイエンス toio™開発用 A3プレイマット [TMD01SS] スイッチサイエンス toio™開発用 A4プレイマット [TMD02SS] https://www.graphic.jp/lineup/toio_playmat © 2022 Sony Interactive Entertainment 7

• https://www.graphic.jp/lineup/toio_playmat

開発者向けのスターターキットも！ © 2022 Sony Interactive Entertainment 8

直感的・手軽さ→授業・教室への広がり プログラミング教室 CoderDojo伊予 © 2022 Sony Interactive Entertainment 9

実世界エンタテインメントの表現手段へ 実世界インタラクション ①入力 位置・アクション ②処理 ゲームロジック コンピューターモデル x2,y2,θ 2 x1,y1,θ 1 ↑専用マット ・物理特性 ・ユーザー操作 ③出力 動き・反応 ・ルール、シナリオ ・制御ロジック DB x2,y2,θ2 © 2022 Sony Interactive Entertainment x1,y1,θ1 10

アルゴリズムで ロボットを制御してみよう！ • お掃除ロボット： ぶつかったら回る • 迷路探索： トレモー法 （拡張左手法） © 2022 Sony Interactive Entertainment 11

AI体験キット公開！ →AIの「考え方」を身につける © 2022 Sony Interactive Entertainment 12

アート表現 https://rhizomatiks.com/work/yokogawa-brand-video-connecting-humanity-and-technology/ © 2022 Sony Interactive Entertainment 13

• https://rhizomatiks.com/work/yokogawa-brand-video-connecting-humanity-and-technology/

技術仕様公開・開発環境 • Unity・JavaScript 開発環境を提供 • ハードウェア＆通信 仕様を公開 © 2022 Sony Interactive Entertainment 14

toio SDK for Unityの活用事例 © 2022 Sony Interactive Entertainment 15

https://www.youtube.com/watch?v=r71mIJJRDKU https://note.com/unityjapan/n/n8f4e8504a8a2 © 2022 Sony Interactive Entertainment 16

• https://note.com/unityjapan/n/n8f4e8504a8a2
• https://www.youtube.com/watch?v=r71mIJJRDKU

toio x Unityで渋滞回避→ロボコン(WRO)世界大会出場！ by 追手門学院 大手前中・高等学校 https://www.youtube.com/watch?v=L36jdXCj48s&t=5348s https://www.otemon.ac.jp/whatsnew/pressrelease/31_20211011.html © 2021 Sony Interactive Entertainment 17

• https://www.otemon.ac.jp/whatsnew/pressrelease/31_20211011.html
• https://www.youtube.com/watch?v=L36jdXCj48s&t=5348s

toio x Unity x AI by ギリア株式会社 (ML-Agents) でAIロボットサッカー https://www.youtube.com/watch?v=5wZ43hPAb9Q https://blog.unity.com/ja/games/made-with-unity-soccer-robots-with-ml-agents https://note.com/npaka/n/n05368fec4551 © 2022 Sony Interactive Entertainment 18

• https://note.com/npaka/n/n05368fec4551
• https://blog.unity.com/ja/games/made-with-unity-soccer-robots-with-ml-agents
• https://www.youtube.com/watch?v=5wZ43hPAb9Q

SCRAP「リアル脱出ゲーム」での応用 © 2022 Sony Interactive Entertainment 19

Unity & ROSでtoioを動かす書籍も！ Unityではじめる ROS・人工知能 ロボットプログラミング実践入門 布留川 英一 著 発行：ボーンデジタル © 2022 Sony Interactive Entertainment 20

Unityとtoioで ロボットを思い通りに 動かしちゃおう！ © 2022 Sony Interactive Entertainment © 2020 Sony Interactive Entertainment 21

Unity SYNC 2022 22

自己紹介 講演者 東京大学機械工学専攻で自 動運転と強化学習の研究を 行い、 修士卒業後、AIエンジ ニアとしてモリカトロン株式会 社に入社。 銭 起揚 モリカトロン株式会社 AIエンジニア

概要 toio SDK for Unity (T4U) は、 Unityエンジン で toio™コア キューブ（以降キューブ）を制御するための開発環境です。 対応プラットフォーム • iOS • WebGL • Android • Mac • Windows 24

一通りの流れ 1. Unityプロジェクトを作ります 25

一通りの流れ 2. SDKを導入します ※その他の手順は導入ドキュメントをご参考下さい。 26

一通りの流れ 3. コードを書いて、シミュレータで動かします 27

一通りの流れ 4. iOSアプリを作ります プラットフォームに応じて、通信システム自動切り替え 28

シミュレータ・リアルの手動指定 Macでは、Editorからリアルキューブと接続できます。 サンプル Sample_ConnectType が使われています。

• https://github.com/morikatron/toio-sdk-for-unity/tree/main/toio-sdk-unity/Assets/toio-sdk/Samples/Sample_ConnectType

Visual Scriptingでキューブを動かそう Cube CubeHandle CubeNavigator タイアの速度指定で制御する 目標指定でキューブ単体を制御する 目標指定で群制御をする

Visual Scriptingでキューブを動かそう キューブと接続 Cube Manager オブジェクトを 作ります 変数に保存 しておきます キューブを１個 接続します

Visual Scriptingでキューブを動かそう モーターを動かす 保存した Cube Manager を取り出します キューブが送信する準備できたかを 判断します

Visual Scriptingでキューブを動かそう モーターを動かす キューブを 取り出します

Visual Scriptingでキューブを動かそう モーターを動かす Left：左モーター速度 Right：右モーター速度 Duration：継続時間 Order：命令の優先度 Move命令を 送信します

Visual Scriptingでキューブを動かそう モーターを動かす

Visual Scriptingでキューブを動かそう CubeHandle を使って目標までに到達させる Cube Handle を取得します

Visual Scriptingでキューブを動かそう CubeHandle を使って目標までに到達させる 目標に到達させる制御 を行います

Visual Scriptingでキューブを動かそう CubeHandle を使って目標までに到達させる

Visual Scriptingでキューブを動かそう CubeHandle による複数台の制御 0~3番のキューブを (100, 400)に移動させます 4~7番のキューブを (400, 100)に移動させます

Visual Scriptingでキューブを動かそう CubeHandleによる複数台の制御

Visual Scriptingでキューブを動かそう CubeNavigator で衝突回避 Cube Navigator を 取得します 衝突回避しながら 目標に到達する制御を 行います

Visual Scriptingでキューブを動かそう CubeNavigator で衝突回避

群制御 CubeNavigator ● 自然に他個体を避ける Human-like 衝突回避（改良版） ● 群がり Boids 43

群制御 CubeNavigator ● 群がりながら、自然に移動できます Human-like 衝突回避（改良版）× Boids *弊社の技術解説ブログ *台数が多いためパケロスで少しカクつきます 44

• https://tech.morikatron.ai/entry/2020/03/04/100000

ご静聴、ありがとうございました。 45

“Sony”はソニーグループ株式会社の商標です。"toio"、"トイオ"は、株式会社ソニー・インタラクティブエンタテインメントの登録商標または商標です。 各ソニー製品の商品名・サービス名はソニーグループ株式会社またはグループ各社の登録商標です。その他の製品および会社名は、各社の商号、登録商標または商標です。 © 2022 Sony Interactive Entertainment 46