東京藝大アートDXプロジェクト 特別講演 プレイヤーが音楽を完成させる「インタラクティブミュージック」の技術とアイデア
6.6K Views
March 13, 23
スライド概要
東京藝術大学にて行った講演の資料です。
プレイヤーが音楽を完成させる「インタラクティブミュージック」の技術とアイデア -東京藝大アートDXプロジェクト 特別講演- | AMC Lab https://amc.geidai.ac.jp/lab/archives/7769
インタラクティブミュージックを研究しているサウンドプログラマー
関連スライド
各ページのテキスト
東京藝大アートDXプロジェクト 特別講演 プレイヤーが音楽を完成させる 「インタラクティブミュージック」の 技術とアイデア 岩本 翔 サウンドプログラマー @geekdrums
インタラクティブミュージックとは （ここでは主にゲームにおいて用いられることを想定し、 従来のループする1曲のBGMと対比されて） 「変化する1曲」
疑問 なぜ東京藝術大学で ゲームの技術が学ばれようとしているのか
ゲーム市場規模は 過去最大 黄色：ゲーム産業 赤色：映画産業 青色：音楽産業 ゲームはあらゆるメディアを 表現としても規模としても 飲み込もうとしている 2022/9/16 「WIRED」日本版，最新号“GAMING THE MULTIVERSE：拡張するゲームと世界”が発売に。 https://www.4gamer.net/games/999/G999905/20220916111/
音楽の進化は？ DTM DJ ストリーミング配信 配信ライブ Photo by Marcela Laskoski on Unsplash
音楽の成果物としての「1曲」という概念 音楽を作ったり、売ったりするときの既定単位として歴然と存在。 音楽の面白さは、「1曲」という枠を取り払っても無数に存在するのではないか。 1曲として完成していくまでの過程で起こる音楽的な面白さを皆さんはよくご存知ではないか。
「作曲者・演奏者」と「聴衆」の壁 があることによって、「1曲」というフォーマットが保たれている 聴衆は音楽の素材や、楽器や、道具立てを渡されても何もできないだろう という暗黙の仮定のもとでは、聴衆が受け取るのは 完成された「1曲」という単位になる。
ゲームの「不完全性」 翻ってゲームというメディアは、プレイさ れなければ「不完全な」状態の映像や物語 をプレイヤーが完成させることに最大の価 値をおくメディアである。 他のメディアよりも映像や物語の完成度に おいて必ず劣っている表現形式が他のメ ディアを圧倒しているのは、完成度ではな い部分でしか得られない体験が重要である ことを示している。 FINAL FANTASY XV / SQUARE ENIX CO., LTD. / 2016 https://www.youtube.com/watch?v=VW1_ZhNC5G4&ab_channel=Geekdrums
自律性 / Autonomy 自分がコントロールしている感覚 自分がやったからこうなった、 自分でなければこうならないという意識
音楽を完成させる体験 享受する 完成させる 演奏者 完成された音楽 設計する 製作者 リスナー 完成させる 不完全な音楽 Interactive(双方向の) Music プレイヤー
ゲームのサウンドプログラマーに至る経歴と ゲーム音楽の進化の歴史
音楽と数学の狭間に 1988年北海道札幌市に生まれる 10歳でドラムをはじめる 吹奏楽、軽音楽、ジャズ研究会を経験 北海道大学の数学科に進学 プログラミングに出会い、ゲーム製作であ れば音楽も数学も活かせることに気がつく DirectMusicに出会い、音楽はインタラク ティブに変化させられることに気がつく Microsoft DirectMusic Producer
音楽マインスイーパ 初めて世に出した作品。 マインスイーパをプレイするだけで音楽が 生成されるゲーム。 既存のゲームのルールを一切変えずに、体験 を大幅に変えた。 「完成された音楽」に価値があるのではなく、 「音楽が完成されてゆく」ことに価値がある。 音楽マインスイーパ / geekdrums / 2010 https://youtu.be/v_-6nG7pY4Y
「風のタクト」の先進性 「ゼルダの伝説 風のタクト」では、随所 に挑戦的・実験的なインタラクティブ ミュージックが大胆に使われており、しか も自分がそれに気づくことすらなく「楽し い」と思って遊んでいた事実に衝撃を受け、 音楽の持つ底力を思い知った。 ゼルダの伝説 風のタクト / 任天堂 / 2002 https://youtu.be/9eoUYuAO9wI
自作ゲーム その他にも色んなゲームを開発。 こちらから無料で遊べます https://geekdrums.itch.io/ 音楽とゲームの融合実験集 https://twitter.com/i/events/1101875505 941213184
SQUARE ENIXにて サウンドプログラマとして呼ばれる。 SEAD : Square-Enix Audio Driver の開発チームに加わり、 MAGI : Music API for Gaming Interaction という音楽制御システムを開発。 SQUARE ENIX
FINAL FANTASY XV チョコボに乗るとチョコボ曲になるが、歩 き・泳ぎ状態などの速度が遅い状態ではフ ルートとアコースティックギターによるア レンジに切り替わる 走り→歩きへの遷移はかなりゆっくりのク ロスフェードで、歩き→走りへの遷移はか なり短いクロスフェードで行われる。 FINAL FANTASY XV / SQUARE ENIX CO., LTD. / 2016 https://youtu.be/H18Z1IqsjPE
• 1. 方法論 > 1. 縦の遷移 縦の遷移 / アレンジの変化
• 1. 方法論 > 1. 縦の遷移 縦の遷移 / アレンジの変化 Melody Original Strings Arrange A or すべて同時再生 音量変化で遷移 Bass Arrange B Percussion Arrange C
• 1. 方法論 > 2. 横の遷移 FINAL FANTASY XV ボスの体力が一定ラインを下回った段階で 音楽もクライマックスに。 撃破と同時に音楽が終わるように遷移。 FINAL FANTASY XV / SQUARE ENIX CO., LTD. / 2016 https://youtu.be/r2Xffms3RHI
横の遷移 / 展開の変化
横の遷移 / 展開の変化 Aメロ Bメロ サビ アウトロ 展開ごとに分けてループ 次の小節など、音楽的に繋がる遷移タイミングを待ってから遷移する
MAGIの操作画面 重なっているのが縦に遷移するレイヤー 青い枠で囲まれているのがイントロ、メイ ンループなど横に遷移するセクション SQUARE ENIX
参考： Wwise Audiokinetic社が提供している、AAAタイ トルでは世界的なデファクトスタンダード といえるオーディオミドルウェア。 イベント駆動による高い柔軟性により、サ ウンドデザイナーがほとんどの制御をプロ グラマに頼らず実装できる。 Audiokinetic
参考： ADX2 CRI Middleware社が提供しているオーディ オミドルウェア。国内を中心に広いシェア を誇る。 DAWライクなUIと、高圧縮・高音質なHCA エンコード方式などが強み。 CRI Middleware
2015,6年当時の ゲーム音楽 日本では、インタラクティブミュージック の利用はまだ限定的で、その気になれば数 えられる程度だった。 その気になって数えていたScrapbox / geekdrums / インタラクティブミュージック研究会 https://scrapbox.io/interactivemusic/
• 2. 必要性 > 2. フェードアウト問題 FF7 Remake ボスの形態変化に合わせて展開。 撃破時に合わせてアウトロに遷移。 FF15の時は一部に使われたものが、 FF7Rではほぼ全編にわたって使われている。 FINAL FANTASY VII REMAKE | SQUARE ENIX CO., LTD. / 2020 https://youtu.be/r53VE-v-iJE
ゲーム音楽の４象限
ゲーム音楽の４象限 誰かが作った物語・音楽 ロールプレイングゲーム 完成された音楽や物語を楽しむ FINAL FANTASY / ポケットモンスター / ペルソナ / UNDERTALE / Uncharted 音ゲー 音楽アルバムのゲーム表現 音楽ライブのゲーム内開催 音楽は手段 音楽が目的 オープンワールドゲーム 音楽は何にでも合うように可変 インタラクティブミュージックによる新しい体験 音楽の可変性を楽しむ ゼルダの伝説BotW / ELDEN RING / Fallout / Minecraft / Elder Scrolls Tetris Effect（等、水口哲也さんのゲーム） 音楽マインスイーパ（等、私のゲーム） 自分だけの物語・音楽
誰かの音楽・物語 音楽は手段 音楽が目的 自分だけの音楽・物語 誰かの物語を楽しむ
FINAL FANTASY XV 物語展開に合わせた音楽展開 強いメロディラインをいかに活かすか FINAL FANTASY XV / SQUARE ENIX CO., LTD. / 2016
誰かの音楽・物語 音楽は手段 音楽が目的 自分だけの音楽・物語 自分の物語を楽しむ
ゼルダの伝説 ブレスオブザワイルド フィールド曲のランダム生成。 再生の順番はある程度決まっているが、ボ リュームやパンニング、間の拍数などでゆ らぎを作っている。 「ゼルダの伝説 BotW」、ハイラルの実在感を高めるための サウンドデザイン https://jp.ign.com/the-legend-of-zeldahd/16975/news/botw ゼルダの伝説 ブレス オブ ザ ワイルド / 任天堂 / 2017 https://twitter.com/geekdrums/status/977420132489162753
誰かの音楽・物語 音楽は手段 音楽が目的 自分だけの音楽・物語 誰かの音楽を楽しむ
KID A MNESIA EXHIBITION 『KID A MNESIA』は、Radioheadの「Kid A」 と「Amnesiac」から創造された20年程前の アートと生き物、そして言葉と音源を編集 し、新たな変異体の生命を吹き込んだ没入 感のある幻想空間であり体系です。 https://store.epicgames.com/ja/p/kid-amnesia-exhibition KID A MNESIA EXHIBITION / Epic Games/ 2021
誰かの音楽・物語 音楽は手段 音楽が目的 自分だけの音楽・物語 自分の音楽を楽しむ
Tetris Effect Synesthesia(共感覚)体験の到達点。 ミノの回転、ドロップ、ライン消しなどに 様々な音楽的エフェクトが対応しており、 リズムに合わせてクオンタイズ、コード進 行に合わせて変化している。 ステージ進行に応じてBGM全体も展開して いく。 Tetris Effect / Enhance / 2018 https://youtu.be/GCIj0Ht_wCE
再掲 ゲーム音楽の４象限 誰かが作った音楽・物語 ロールプレイングゲーム 完成された音楽や物語を楽しむ FINAL FANTASY / ポケットモンスター / ペルソナ / Splatoon / NieR / UNDERTALE / Uncharted 音ゲー 音楽アルバムのゲーム表現 音楽ライブのゲーム内開催 音楽は手段 音楽が目的 オープンワールドゲーム 音楽は何にでも合うように可変 インタラクティブミュージックによる新しい体験 音楽の可変性を楽しむ ELDEN RING / Fallout / Minecraft / ゼルダの伝説BotW / Elder Scrolls Tetris Effect（等、水口哲也さんのゲーム） 音楽マインスイーパ（等、私のゲーム） 自分だけの音楽・物語
音楽を可変にすることの何が良いのか
再掲 音楽を完成させる体験 享受する 完成させる 演奏者 完成された音楽 設計する 製作者 リスナー 完成させる 不完全な音楽 Interactive(双方向の) Music プレイヤー
「音楽との関わりの深さ」 その音楽が、自分の入力・能力・努力と どれだけ深く関わっているか、という認識
可変性は必ずしも関わりの深さと連動しない 可変であっても、それがなぜ変化したか、自分の行動と結びついた認識が形成されない と意味がない。 ただ可変にすれば良いということではない。 例えば、「これはAIが自動的に状況に応じた音楽を作り出しています」と説明されても、 その可変性は中を知る人しか確認できないし、関わりの深さは生まれない。
「音楽との関わりの深さ」という評価軸 「完成した音楽を聴いてもらう」は最も関わりの薄い状態。 「ライブに来てもらう」とか「アーティストを推している」とかでも深まる。 この間に「誰かが作ったものを組み合わせて、自分が完成させた」という形態がある。 「自分が演奏した」「自分が作曲した」は最も関わりの深い状態。 関わりの深さ
関わりの深さと完成度との トレードオフ 音楽をプレイヤーに明け渡すほどに 音楽単体としての完成度は失われていく このジレンマをどのように解決するか？
Space to go A Musical Adventure / 音楽的冒険譚 https://geekdrums.itch.io/space-to-go リズムの等間隔性を明け渡している 展開はすべてデザインされている Space to go / geekdrums / 2014 LudumDare #29 1st prize in Audio(Compo) https://youtu.be/zUfcNBIRnXw
ゼルダの伝説 風のタクト 通常戦闘曲 プレイヤーの剣戟がメロディになる コード進行に応じた音楽的ヒットエフェクト ゼルダの伝説 風のタクト / 任天堂 / 2002 https://youtu.be/4Mxfnr3oHyc
まとめ ◆ ゲームとはプレイヤーが「不完全なものを完成させる」メディア ◆ 音楽を完成させる方法を委ねることで「関わりの深さ」が生まれる ◆ 音楽をプレイヤーに委ねるほどに完成度とのトレードオフが生じる ◆ 何が崩れても音楽として成立するのか？の設計が重要になる
岩本 翔 [email protected] Twitter: @geekdrums Q&A
インタラクティブミュージックの事例紹介
既存のゲームを面白くする
God of War ゲームの変化に追従するための利用。 プレイ中は一定の緊張感を保ちつつループ。 フィニッシュムーブ発動時にうまくカット シーン用のセグメントに遷移して、戦闘か らそのままシームレスにトドメを刺す。 God of War / Sony Interactive Entertainment LLC. / SIE Santa Monica Studio / 2018 https://youtu.be/QOriL9VoHKI
• 2. 必要性 > 2. フェードアウト問題 NieR: Automata 音楽の変化を抑えるための利用。 森林地帯で流れる音楽は 「フィールド曲」 「バトル曲」 「イベント曲」 すべてが1つの音楽のアレンジで構成され ているからこそ、一体感が生まれて、音楽 がより深くプレイヤーの心に残る。 NieR: Automata / SQUARE ENIX CO., LTD. / PlatinumGames Inc. / 2017 https://twitter.com/geekdrums/status/1043911208540168197
新たなゲームを生み出す
Ape Out 暴走ゴリラの怒りの脱出劇が、人間を打楽 器にした野性的ジャズドラムセッションへ と昇華される！ https://www.famitsu.com/news/201902/ 28172551.html 打楽器に限定すればわりと自由にできる Ape Out / Gabe Cuzzillo / 2019 https://youtu.be/tLfr2HM4EzU
Same Game, Different Music 渋谷PARCOにて10月7日より開催されるイベ ント「P.O.N.D.」にて展示予定。 特定のスケールの音のみを利用し、ランダ ムに生成されたステージのプレイ記録でリ ズムを生成。 ドラムトラックとスケール設定のみデザイ ンされている。 Same Game, Different Music / geekdrums / 2022 https://youtu.be/3a3TPt29Jzs
新たな音楽体験を生み出す
PlayGround • Organic Remix 「楽器ゲーム」を謳う。なぞるだけで簡単 に音楽が奏でられるアプリ。 タップではなく「境界線をなぞる」イベン トをクオンタイズさせたのが天才的。 PlayGround • Organic Remix / 2016 https://www.youtube.com/watch?v=I0v6XSn-ans
静かな家 「静かな家」は音楽家 小野龍一と尺八家 松本宏平による 家/無生物のためのオペラ です。 http://ga.geidai.ac.jp/2019/02/17/shizuk a/ 古民家を貸し切って仕掛けを張り巡らせ、 尺八奏者が別の部屋から音を奏で、家の中 を周回しつつ音楽を体験する。 「演奏者 – 鑑賞者」という二項対立的な構 図、からの脱却が図られている。 静かな家 / 小野龍一 / 2019
リンク集 ◆ インタラクティブミュージック研究会 | Facebook https://www.facebook.com/groups/im.laboratory/ ◆ ゲームと音楽の関係性 ｜ じーくどらむす ｜ note https://note.mu/geekdrums/m/m4d16cc96ee7b ◆ じーくどらむす/岩本翔（@geekdrums） | Twitter https://twitter.com/geekdrums ◆ interactivemusic | Scrapbox https://scrapbox.io/interactivemusic/