AR x IoTで AR Ready Room

AR IoT でAR Ready Room

自己紹介 氏名：吉永崇 (@Taka̲Yoshinaga) 仕事：AR/VR応用に関するR&D。主に医療支援 ウェアラブル・モーションキャプチャ技術開発 活動：ARコンテンツ作成勉強会(#AR̲Fukuoka) 趣味：ARを用いたプロトタイピング

• https://twitter.com/Taka_Yoshinaga

ARコンテンツ作成勉強会(略称:AR Fukuoka)の概要 [形式] AR/VRコンテンツの作り⽅や関連技術を主にハンズオン形式で体験。 [規模] 参加⼈数はコロナ前は約5~10名/回、現在は約10~20名/回。 [参加条件] AR/VRの開発に興味があれば初⼼者⼤歓迎。専⾨知識は不要。

詳しい情報はこちら #AR_Fukuoka

IoT [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた

センシング対象 [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた 光 x AR ドア x AR

センシング対象 [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた 光 x AR ドア x AR

ARとライティング 照明(ライティング)の表現は仮想オブジェクトを現実に溶け込ませる上で重要 環境光の明るさの影響の表現 影の表現

開発環境と対応デバイス スマホARに関してはSDKが対応してるけどHMD対応はあまり見ない 環境光の明るさの影響の表現 影の表現

人気デバイス：Meta Quest3 Quest3の登場でより自然なAR体験が身近に。照明もきっと重要！

やってみよう Quest3の登場でより自然なAR体験が身近に。照明もきっと重要！ 環境光の明るさの影響の表現 影の表現

やってみよう Quest3の登場でより自然なAR体験が身近に。照明もきっと重要！ 環境光の明るさの影響の表現 影の表現

システム構成 Real Light Se i s n ng Light Intensity ambient light sensor Virtual Light S et In te ns it y Light Intensity Quest3

結果：環境光の強さとの同期

システム構成 ver.2 Real Light Se i s n Virtual Light S ng Pose of smartphone + Light Intensity ambient light sensor et In te ns it y Pose Receive Quest3

結果：ライトの位置との同期

やってみよう Quest3の普及でより自然なAR体験が身近に。照明もきっと重要！ 環境光の明るさの影響の表現 影の表現

やってみよう Quest3の普及でより自然なAR体験が身近に。照明もきっと重要！ 環境光の明るさの影響の表現 影の表現

アイディア Real Light n Se si Virtual Light S ng Pose of smartphone + Light Intensity ambient light sensor Pose et In te ns it y Receive Quest3 p 今回使用しているスマホはiPhone Pro p LiDARセンサを搭載しているので端末の 前の実物体の形状がわかる(点群) p 点群をQuestに送れば影をつけられる p 点群を不可視にしてソレっぽくする

結果：環境光 + スポットライトによる影

Mixed Reality Utility Kit by Meta 現実への影表示 詳細: https://developer.oculus.com/documentation/unity/unity-passthrough-relighting

• https://developer.oculus.com/documentation/unity/unity-passthrough-relighting

まとめ [できたこと] p 環境光の強さとの同期だけでもかなり現実味が強くなる p 動くライトとの同期でインタラクティブ になって楽しい p 点群を用いた影の生成もできた [課題] p 通信が必要になるのでシステムが煩雑に p できればSDKでサポートしてほしい p MRUKで床や壁などにも影をつけたい [今後] p 照度を使って楽しい空間を作りたい https://twitter.com/Taka_Yoshinaga/status/171 8162721160757536

• https://twitter.com/Taka_Yoshinaga/status/1718162721160757536

センシング対象 [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた 光 x AR ドア x AR

センシング対象 [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた 光 x AR ドア x AR

ARとポータル表現 昔からあるARどこでもドアを本物のドアと連動させHMDで体験したい！

システム構成 Real Door Virtual Door S n e S n si g け 付 り 貼 に ア ド は 5 6 T2 et Po s/ R ot ※ Pos/Rot Motion Tracker (RealSense T265 + PC) Pos/Rot Quest3

動作検証：片開きドアとの連携

結果：リアルどこでもドア

引き戸にも対応させよう p先ほどの仕組みをそのまま適用しても技術的に面白くない p引き戸の場合USBケーブルが長くなるので邪魔 nse e al S e R 画像引用： https://shikishima-town.com/blog/door-type Real Sense

• https://shikishima-town.com/blog/door-type

引き戸にも対応させたい 非接触センシングをやってみよう

システム構成 ver.2 Real Door Se i s n Virtual Door S ng Open Ratio RGBD Sensor (Azure Kinect + PC) et R at io Open Ratio Quest3

方法：Depth画像を用いた開閉検知 Depth(奥行き)情報に明らかな差異が生じるのでこれを数値化 Close Open

方法：Depth画像を用いた開閉検知 p Depth画像内に関心領域(ROI: Region Of Interest)を設定 p ROI内でClose時とOpen時のDepthの差(背景差分)を用いて開閉率を推定 ROI Close ROI Open

動作検証：Depth画像を用いた開閉検知 開閉率

結果：どこでも引き戸

まとめ [できたこと] p どこでもドアARをスマホからHMDに変更 → 体験の質が向上 p モーショントラッカーを使って片開き扉に対応 p Depthセンサで非接触センシングも可能 [課題] p ドアのサイズを開発の時点で既知 である必要がある。 p 部屋情報をAI等で自動化したい [今後] p Depthセンシングを活用した ARコンテンツを色々と試作 https://twitter.com/Taka_Yoshinaga/status/1698144289979818006

• https://twitter.com/Taka_Yoshinaga/status/1698144289979818006

ご清聴ありがとうございました センシング技術やAIを活用した素敵なARライフを！ 光 x AR ドア x AR