UnrealEngineでMIDIができること

-- Views

October 16, 25

#midi #unreal engine 5 #ue5

スライド概要

10月12日(日)開催された『Unreal Engine Meetup in Osaka Vol.4』にてLT登壇した際に使用した資料です。
登壇時、スライドアニメーションや動画を使っていた部分を変更しています。

LT当日、スライドがYouTube配信できなかったのでこちらを見ながら視聴していただければ幸いです

kabgoya(Liu Sei)

@kabgoya

スライド一覧

Composer & Digital Art Creator Unreal Engineと音楽をメインにいろいろつくっています音楽活動は柳静(りゅうせい)名義で行っています

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

猫でも分かるUnreal Engineの学び方 - 超初心者向け編 - 2023 v1.0

ue4 ue5 ue-beginner

エピックゲームズジャパン 1.6M

Unreal Engine5 Lumenの仕組みと肝心なところ

ue5 ue-rendering ue-lumen

エピックゲームズジャパン 1.3M

Meta XR SDK(V66-74)でQuestアプリを開発

spatial anchor unity quest pro shaperecognizeractivatestate oculus integration transformfeaturestateprovider building blocks transformrecognizeractivestate ovrsemanticclassification jointdeltaprovider ovrscenemanager jointvelocityactivestate オクルージョン sequenceactivestate scene manager ambisonic depth api metaxraudiosource playerlocomotor meta xr sdk quest3 ovrplayercontroller マルチモーダル meta haptics studio direct touch ui meta xr haptics sdk ovrspatialanchor ovrtrackedkeyboard hapticclipplayer fingerfeaturestateprovider hapticclip ワイドモーションモード wmm mruk mr utility kit voice sdk jointrotationactivestate meta horizon os ui set asw application spacewarp ovr metrics tool unityscene manager colocation discovery コロケーション mx ink passthrough camera api hand tracking microgestures webcamtexturemanager passthroughcamerautils cameraviewermanager hand pose selector recorder

あうぜん 1.1M

UE5レンダリングフロー総おさらい(2024) 基礎編！[CEDEC+KYUSHU 2024]

ue5 unreal engine ue-rendering

エピックゲームズジャパン 1.1M

猫でも分かる UE5.0, 5.1 におけるアニメーションの新機能について【CEDEC+KYUSHU 2022】

ue5 cedec+kyushu ue-animation ue-optimize ue-bp ue-physics ue-sequencer

エピックゲームズジャパン 1M

各ページのテキスト

Unreal Engineで MIDIができること柳静＠かぶ小屋

柳静 (りゅうせい) a.k.a. かぶ小屋 (kabgoya) ● まんが家になりたかった映像作曲家 ● 今はUnreal Engine使いとミュージシャンの兼業 ● バーチャル空間でワンマンライブがやりたくて VRに特化した職業訓練校でUnreal Engineと出会う ● 卒業2年後、専門学校講師に ● 去年MIDI検定2級と認定講師資格を取得 MIDI検定の受験勉強 ➡ UE+MIDI

MIDI ってなんだろう？🤔

M I D I MIDIの文字を分解し略さず表示すると…

Musical Instrument Digital Interface 電子楽器間の演奏情報をやり取りするための世界共通の通信プロトコル

MIDIはデータをやりとりしている

坂本龍一展の会場のピアノ会場のピアノグランドピアノの下に MIDIデータを送信するユニットがある

♪その1♪ 音を制御する

MIDIでドラムとスポットライトを同期する 2024年のUEアドベントカレンダーにて MetaSoundとHarmonixを使い MIDIデータでサンプラーとUEの照明を同期させた実験的コンテンツについて発表しました 2024 UE Advent Calendar by kabgoya https://qiita.com/kabgoya/items/91f52edf1db0b8cf0704

https://qiita.com/kabgoya/items/91f52edf1db0b8cf0704

10.

動画URL： https://youtu.be/UqKd7WRYYq8?si=FTtd48KQQsnA51qj

https://youtu.be/UqKd7WRYYq8?si=FTtd48KQQsnA51qj

11.

Sampler ドラム音源 (Wav) Harmonix MIDIファイル MetaSound Spotlight Harmonixでサンプラーを作りMetaSoundの拡張機能でMIDIを使いやすくしている

12.

Metasoundとは？ UE5から追加されたプラグインでUE5.4から正式版に主にサウンドキューのような使い方をしたりシンセサイザーを使って音を作ったりできる MetaSound単体ではMIDIはシンセサイザーを使う時の補助的な役割参考：UE5 MetaSoundで音を作ろう(ポジTAさん) https://zenn.dev/posita33/books/ue5_metasound_createsound

https://zenn.dev/posita33/books/ue5_metasound_createsound

13.

Harmonixとは？ UE5.4で追加されたプラグイン(実験的機能) MetaSoundでMIDIが扱いやすくなる各種機能と FusionSamplerというサンプラーが提供される。参考：ヒストリアさんのブログ https://historia.co.jp/archives/42309/ 推し Plu gin

https://historia.co.jp/archives/42309/

14.

♪その2♪ コントローラーを使って UEのアクタを制御する

15.

Meta Humanの表情を MIDIデバイスで動かす鹿児島のあぶちさんからのリクエストでめらおさんのFaceRig DJを解説しますめらおさん、プロジェクト提供と解説のご協力ありがとうございます！！！ https://x.com/merao/status/1571110996764413953

https://x.com/merao/status/1571110996764413953

16.

動画URL： https://youtu.be/yTbeGxHIits

https://youtu.be/yTbeGxHIits

17.

認識させる MIDIデータ FaceRig MIDI CC MetaHuman BluePrintでMIDI CC(コントロールチェンジ)とFaceRigを紐付け

18.

MIDI CC FaceRigののパーツ MIDI CC(コントロールチェンジ)とFaceRigが紐づけられている

19.

MIDIを使うときMIDI Device SupportプラグインをON

20.

♪その3♪ 他の通信規格に変換・同期する

21.

DAWから照明を制御する PRIDASKさんのMVのUnrealEngineの照明は DAWのMIDIデータで動かしています https://x.com/tmykskkd/status/1439522168862244869 最初に自分が紹介した事例とは違い DMXという照明を制御するための通信プロトコルで照明を制御しています。参考：UE Fest West ’22 PRIDASKさんの講演 https://youtu.be/eSS_mbtQxrI?si=DZ1I_7_392Y0lo7e&t=2412 講演