「Immersive Live with AR Guitar」技術 / 体験設計
392 Views
April 12, 25
スライド概要
2025年3月25日、BuzzFront Yokohamaで開催されたXR技術を活用したライブパフォーマンスイベント「Iwaken Lab. Performers Fest」にて、AR技術を用いたギター演奏パフォーマンス「Immersive Live with AR Guitar」を披露しました。
本パフォーマンスでは、「AR Guitar Effector」というシステムを開発し、演奏中にギターを壁や天井に向けることで音にエフェクトがかかる演出を取り入れました。
さらに観客はHMDを装着することで、楽曲の展開に応じて出現するMR演出をリアルタイムで体験できました。
本スライドでは、パフォーマンスの裏側で行っていた技術設計・体験設計についてまとめています。
City AR Guitarist / Technical Director
関連スライド
各ページのテキスト
Immersive Live with AR Guitar 技術 / 体験 設計 Ekito
内容 ● AR Guitar Effector ○ ○ ● デモ動画 システム構成 Immersive Live with AR Guitar ○ ○ ○ ○ ダイジェスト動画 システム構成 AR Guitar Effector Ver. 3 (with Unreal Engine) ■ 技術面で難しかったこと 楽曲 & 演出設計 ■ 演出面で難しかったこと
AR Guitar Effector
AR Guitar Effector｜デモ動画 https://youtu.be/IuJFRhzgsK8
AR Guitar Effector｜システム構成
AR Guitar Effector｜(参考) 開発記録 Ver. 1: Meta Quest 3 (Unity) + Ableton Live Ver. 2: Apple Vision Pro (Xcode) + Ableton Live https://zenn.dev/ekito_station/articles/ar-guit ar-effector-intro https://zenn.dev/ekito_station/articles/ar-guit ar-effector-avp
Immersive Live with AR Guitar
Immersive Live with AR Guitar｜ダイジェスト動画 https://youtu.be/-PyRZpqQPcs
Immersive Live with AR Guitar｜システム構成
Immersive Live with AR Guitar｜ AR Guitar Effector Ver. 3 (with Unreal Engine)
Immersive Live with AR Guitar｜AR Guitar Effector Ver. 3 使用ソフト・ツール ● Meta Quest 3 ● Unreal Engine ○ ● MR演出がUnreal Engineで制作されるため、それに合わせる形で今回初トライ！ Max for Live + Ableton Live
Immersive Live with AR Guitar｜AR Guitar Effector Ver. 3 Meta Quest 3 ギターのヘッドにコントローラーを 取り付ける →ギターの先からARレイを飛ばせるように
Immersive Live with AR Guitar｜AR Guitar Effector Ver. 3 Unreal Engine レイがスイッチに ○ ○ 当たったら→1 外れたら →0 のOSCメッセージを送信する
Immersive Live with AR Guitar｜AR Guitar Effector Ver. 3 Max for Live OSCメッセージを受信する
Immersive Live with AR Guitar｜AR Guitar Effector Ver. 3 Ableton Live OSCメッセージに基づき 各エフェクトを制御
Immersive Live with AR Guitar｜AR Guitar Effector Ver. 3 技術面で難しかったこと ● レイの向きがQuestコントローラーとズレる ○ ● レイがどのスイッチにも当たっていない時、たまに曲再生に問題が生じる ○ ● Unityではズレなかったので、Unreal Engine特有の問題かと プチプチノイズが入ったり固まったり →オーディオバッファサイズを大きくする（一方でレイテンシーが高くなる...） ポート番号をたまに変えないとOSC通信できない場合がある
Immersive Live with AR Guitar｜ 楽曲 & 演出設計
Immersive Live with AR Guitar｜楽曲 & 演出設計 楽曲 『春舟』 『光都』
Immersive Live with AR Guitar｜楽曲 & 演出設計 ARエフェクタースイッチ Switch 2 ● 会場の天井・壁に配置 ● 各スイッチと紐づく エフェクトは曲ごとに違う Switch 3 Switch 1 Switch 4
Immersive Live with AR Guitar｜楽曲 & 演出設計 ARエフェクタースイッチ Switch 3 Switch 1 https://youtu.be/-PyRZpqQPcs ?feature=shared&t=11
Immersive Live with AR Guitar｜楽曲 & 演出設計 演出面で難しかったこと ● Quest 3を被りながらのギター演奏が難しい... ○ ○ ● ギターで何をやっているのか観客に伝わりづらかった ○ ○ ● 場数を踏む より良いMRゴーグルの登場を待つ Quest Linkを使いながらMQDHでのミラーリングができず ARレイやスイッチを観客からも見えるようにすべき（MR演出とバッティングしない形で） →Next Actionで模索 AR Guitar Effectorを楽曲ストーリーに上手く絡めるには？
Immersive Live with AR Guitar｜Next Action 万博展示！
Immersive Live with AR Guitar｜関連リンク ● 「Immersive Live with AR Guitar」中間レポート https://note.com/ekito_station/n/n06cf61e6c6ef ● 「Iwaken Lab. Performers Fest」イベントページ https://lu.ma/9o0wuz9n?tk=dSOAms