音場のリアルタイムAR/MR可視化システム「OTOMIRU」の話

音場のリアルタイムAR/MR可視化システム「OTOMIRU」 株式会社INSPIREI / 早稲田大学 井上 敦登 2022/1/19 1

Introduction - 自己紹介 井上 敦登 (ID : @a_hancho) • 株式会社INSPIREI 代表 / エンジニア • 早稲田大学 研究院 客員講師 • LEGARE FIELD STAFF (釣具メーカーのテスター) 経歴 • 2018 早稲田大学 基幹理工学研究科 表現工学専攻 修了 • 2018~2020 株式会社カヤック • 2020~2021 フリーランス(MESON, Inc. など) • 2021~ 現職 Web/Unityエンジニア Unityエンジニア 🙏フォローお願いします🙏 2022/1/19 3

Introduction - 今日のメインテーマ 🎖 XRKaigi2021 Award アプリケーション部門 優秀賞 🎖 InterNoise2021(国際騒音制御学会) I-INCE YOUNG PROFESSIONAL CONGRESS ATTENDANCE GRANTS 2022/1/19 4

Introduction – 目次 1. OTOMIRUとは 2. コンサートホールでの活用事例 3. システム解説 4. Unity開発Tips 5. 株式会社INSPIREIについて 2022/1/19 5

OTOMIRUとは 2022/1/19 6

OTOMIRUとは 概要 • 飛島建設株式会社と早稲田大学の共同研究プロジェクト(特許出願中) • 音の強弱がHoloLens2やiPad上でリアルタイムに見えるシステム • 由来 : 音を見る → おとみる → 「OTOMIRU」 2022/1/19 7

OTOMIRUとは 飛島建設株式会社 YouTubeチャンネル 2022/1/19 8

OTOMIRUとは 音響工学 × AR/MRの先行事例 3D Scan Paint (Microflown) [1] ( ) [2] Project Acoustics (Microsoft) [2] 👉 「リアルタイムに実測した音場情報を可視化」はOTOMIRUが世界初！(のはず) 2022/1/19 [1] https://www.microflown.com/resources/videos/scan-paint-3d-via-microsoft-hololens [2] http://contents.acoust.ias.sci.waseda.ac.jp/publications/ACM/2018/SIGGRAPHASIA-kataoka-2018Dec.pdf [3] https://docs.microsoft.com/ja-jp/shows/Mixed-Reality/Using-Project-Acoustics-with-HoloLens-2 9

• https://www.microflown.com/resources/videos/scan-paint-3d-via-microsoft-hololens

コンサートホールでの活用事例 2022/1/19 10

コンサートホールでの活用事例 演奏者10名のアンサンブル 渡邉紘STRINGS YouTubeチャンネル 演奏 : 渡邉紘STRINGS 様 2022/1/19 11

システム構成 2022/1/19 13

システム構成 16chマイクロホンアレイ → 計測システム 2022/1/19 14

システム構成 計測システム → HoloLens2 2022/1/19 15

システム構成 OTOMIRU v2 開発中！ • より広範囲かつ自由に可視化範囲を決定 • 多彩な音場情報表現(VFXGraphとかつかうかも) • センサーの小型化 2022/1/19 16

Unity開発Tips 2022/1/19 17

Unity開発Tips Spatial Mappingの利用 • Spatial Mappingにマイクロホン位置からカラーマップ画像を投影 2022/1/19 18

Unity開発Tips 数字オンリーキーボードの作成 • とにかく数値の設定が多いシステム • IPアドレス • 測定距離 • 計測速度 • バンドパスフィルター(周波数) • カラーレンジ(音圧レベル) …など • 作った理由 • スライダーだと細かい値が調整しにくい • デフォで出せるキーボードは必要ないキーが多い 2022/1/19 19

Unity開発Tips 設計 • OTOMIRU開発で取り入れた考え方 • ドメイン駆動開発 • オニオンアーキテクチャ [4] • MVPパターン • 個人的な感想 • スパゲッティ化をふせげた • エンジニア同士のコミュニケーションが円滑になった • ExtenjectのおかげでHoloLensとiPadで異なる実装を、いい感じに入れ替えることができた 2022/1/19 [4] https://www.slideshare.net/torisoup/unity-148151736 20

株式会社INSPIREIについて 2022/1/19 21

株式会社INSPIREIについて 2021/3/21に株式会社インスピライをつくりました！ • 理工学部教授・准教授とXRエンジニアで創設 • ひらめき「INSPIRATION」 ＋ ドイツ語で工房を意味する「…REI(ライと読むらしい)」 2022/1/19 22

株式会社INSPIREIについて 学術研究の社会実装 学術的知識 早稲田大学 基幹理工学部 表現工学科 及川研究室 2022/1/19 東京電機大学 未来科学部 情報メディア学科 池田研究室 開発サポート 23

可視化システムの利用や開発など お気軽にご相談ください！ HP ：https://inspirei.co.jp/ E-mail : [email protected] 2022/1/19 24

• https://inspirei.co.jp/