【Unite Tokyo 2018】とても楽しい！HoloLensとUnity、テーマパークのMRゲーム開発について

2018/5/8 とても楽しい！HoloLensとUnity, テーマパークのMRゲーム開発について 本山博文、市野塚朝、岩田永司 株式会社バンダイナムコスタジオ

目次 1. 『ナンジャタウン×ＭＲプロジェクト』概要 ６分 （本山） 2. アートイベントのための「高速試作」 ４分（本山） 3. レベルデザイン ８分 (市野塚) 4. コンテンツ制作技術 25分 (岩田) キネクト, Kinect は米国Microsoft Corporation および／または その関連会社の商標です。 Microsoft、HoloLens は、米国 Microsoft Corporation の米国及びその他の国における登録商標または商標です。 1

自己紹介 本山博文 Hirofumi Motoyama • ゲームデザイナー/クリエイティブディレクター • 株式会社セガ、UBISOFTを経て株式会社ナムコに2003年入社。 株式会社バンダイナムコゲームスを経て2012年より現職。 VRDC＠GDC（北米） 2018 'Pac-Man' HoloLens: Developing a Mixed Reality Game for a Broad Audience CEDEC（日本） 2016 子供とバーチャルリアリティー 『屋内砂浜 海の子』による 遊具とデジタル技術をミックスしたゲームデザインの新たな方向性について 2014 バンダイナムコスタジオバンクーバーの北米学生プロジェクト ―“自分たちが本当に欲しいコンテンツ”が生まれるまで 2009 “ワールドワイドタイトルのゲームデザイン、 ハードコアタイトルからカジュアルゲームまで” 2

１．『ナンジャタウン×ＭＲプロジェクト』概要 ©BANDAI NAMCO Amusement Inc. 3

ナンジャタウン×ＭＲプロジェクトとは？ 現実世界とデジタルが融合した最新のMR(Mixed Reality/ 複合現実)技術を応用したテーマパーク向けアトラクショ ンを国内で初めて「ナンジャタウン」(東京・池袋)に導 入したプロジェクトです。 日本マイクロソフト株式会社と連携して、『Microsoft HoloLens』 を活用し、テー マパークの企画運営をバンダイナムコアミューズメントがプロデュースし、MR技術 を用いたアトラクションの研究開発をバンダイナムコスタジオが担当しました。 4

ナンジャタウン×ＭＲプロジェクト第１弾 リアル・パックマン・アトラクション『PAC IN TOWN(パック イン タウン)』 ［期間限定開催：2018年1月15日(月)～2018年5月6日(日)］ 5

ナンジャタウン×ＭＲプロジェクト第２弾 『一網打尽！蚊取りパッチン大作戦』 ［期間限定開催：2018年2月10日(土)～3月31日(土)］ ©BANDAI NAMCO Amusement Inc. ©BANDAI NAMCO Amusement Inc. http://panora.tokyo/53151/ 6

• http://panora.tokyo/53151/

「PAC IN TOWN」PV BANDAI NAMCO Holdings Inc. (JP), Hakuhodo Inc. (JP), Ars Electronica Futurelab (AT) 7

「PAC IN TOWN」プレイ映像 8

「蚊取りパッチン大作戦」プレイ映像 ©BANDAI NAMCO Amusement Inc. 9

２．アートイベントのための「高速試作」 PAC-MANTM&©BANDAI NAMCO Entertainment Inc. 10

わずか３人で「高速試作」する！ 「PAC IN TOWN」は、 ３人、１か月でプロトタイプを開発し、 アートイベントで5日間で400人が体験。 その後、１か月改良し製品へ 11

開発スケジュール • 2017年５月～7月に、 「蚊取りパッチン大作戦」 を５人＋外部委 託（アート）で3か月で製品開発を行いました。 • 「蚊取りパッチン大作戦」 のノウハウを元に８月から ３人で１ か月で「PAC IN TOWN」のプロトタイプを開発、展示しました。 • １か月改良し、２タイトルを１年内にテーマパークで運営開始。 2017年5月開発開始 8月 ９月 １１月 2018年1月 運営開始！ アルスエレクトロニカ 「蚊取りパッチン大作戦」 開発３か月 「パックイン タウン」 「パックイン タウン」 開発１か月 改良１か月 12

スタートアップ企業のプロトタイピング手法を参考に高速試作 • XR(VR,AR,MR)の市場を取り巻くスピードはすさまじく速い。 • これまでのビデオゲーム開発のスピード感では対応できない。 • スタートアップ企業のプロトタイプ製作のスピード感で対応。 これまでのビデオゲーム開発 （数年） Concept Development スタートアップ (半年から１年) Target Prototyping Production Selection Marketing Investment 13

ミックスドリアリティならではの特性も寄与 • MRは現実世界にデジタル世界を重ねる技術。 →テーマパークのように環境を作りこんだ環境に追加するだけでいい！ • VRと異なり、ゼロから世界全てを作る必要がないことを意味します。 →開発期間の短縮！低コスト！ ©BANDAI NAMCO Amusement Inc. 14

MRゲーム開発で、とても楽しい！と感じること • ミックスドリアリティゲームは始まったばかり。 • 少人数、短期間でプロトタイプ製作が可能。 • 子供のころの夢を現実世界で実現できるからとても楽しい！ →夢に見た、現実世界での等身大パックマンがついに実現！ 参考記事：Microsoft HoloLensをゲームに使った“ナンジャタウン×MRプロジェクト” のキーパーソンに聞く、「子どものころの夢を実現してくれるのがMR（複合現実）」 https://www.famitsu.com/news/201804/20155914.html 15

• https://www.famitsu.com/news/201804/20155914.html

２．レベルデザイン 16

自己紹介  市野塚 朝  メカニカルエンジニア / ゲームデザイナー ©BANDAI NAMCO Amusement Inc. 17

アトラクションのレベルデザイン  今回目指したもの アトラクションのレベルデザイン ひとりのお客様が あるテーマパークのそのアトラクションを遊ぶ回数は、一生に一度 一生に一度の体験されたすべてのお客様に その日、気持ちよくお家に帰っていただける レベルデザイン MRアトラクションのレベルデザイン Hololensの問題点「視野の狭さ」を考慮に入れたレベルデザイン 18

MRをもっとおもしろくする工夫  視野角の狭いMRゲームでは… 視野外からの攻撃 視野が狭いから絶対に避けれられない！ つまんない 理不尽！ プレイヤーが理不尽だと感じず、快適に遊べる工夫が必要 19

工夫①：頭部の上下の動きの抑制 【PAC in town】 パワークッキー ゴースト 迷路 【蚊取りパッチン大作戦】 蚊 ©BANDAI NAMCO Amusement Inc. すべての方向が見えるデバイスだからこそ、プレイに最低限必要な動きは少なく 20

工夫②：聴覚の利用  3Dサウンドで視野角外の敵の接近を予告 ©BANDAI NAMCO Amusement Inc. 音で知らせて、次に向くべき方向へ自然なナビゲート 21

外乱音対策 外乱音対策用 耳カバー  テーマパークの色々な『音』 • • • • お客様やスタッフさんの声 各アトラクションのアトラクト音 各アトラクションのBGM モータなどの駆動音 Hololensからの 音が聞こえない！ ©BANDAI NAMCO Studios Inc. ©NAMCO LIMITED.  外乱音から耳周りをカバー 外の音は 『聞こえるけど、邪魔にならない』 スピーカーからの音は 『逃がさない』  音量・明るさ調整ボタンをカバー スタッフさんは 『押せて』 お客様は 『押せない』 ボタンカバーも兼務 22

オフィスと現場のレベルデザイン  オフィス(シミュレーション)と現場(現実)の誤差 8組のライドの速度が少しずつ異なる！ どのライドに乗っても同じように楽しめるように演出タイミングを工夫 ©BANDAI NAMCO Amusement Inc.  オブジェクトの位置 アトラクションの世界に、より溶け込む動きの演出や場所の工夫 23

4．コンテンツ制作技術 24

はじめに 蚊と遊んだり、クッキーを食べたりするためのそーち

講演内容 • 自己紹介 • ナンジャタウンのHoloLensアトラクション技術     現地の空間スキャン・再現によるレベルデザイン 座標系の扱い方 現場のエンパワーメント その他の技術トピック • まとめ

講演者 岩田 永司 エンジニア 2011年： バンダイナムコゲームス入社 2013年： MoverioでAR/MRゲームの開発を開始 CEDEC2014:「今すぐ始める、両眼ARグラスによる新しいエンターテイ ンメントの開拓」 2015年ぐらい： サマーレッスン 技術デモ開発に参加 近況：HoloLensでMRゲームを開発しつつ、ゲーム開発の自動化に挑戦中。

この講演でお伝えしたいこと • 現地スキャンとシミュレーションの方法と利点 • 座標系の混乱を予防するコツ • MRは現場が主役！！

現地の空間スキャン・再現によるレベルデザイン (蚊取り大作戦)

Unity上で現地の空間を再現しながら制作しよう オフィスでも現地の環境を再現しながら制作

エディタ上でのシミュレーションと、実際の現地プレイの比較

現地環境再現のポイント • 現地でSpatial Mapや視点カメラの位置のログを 記録していくだけ！   複数回に分けてスキャンする場合、座標の原点をそろえた り、後で位置合わせをする必要がある。 スキャン情報が大きい場合、不要な情報を削除するなどの 最適化が必要になる可能性がある。

スキャンした現地情報の全貌 HoloLensでスキャンし たライドの軌跡 HoloLensでスキャンし た壁や配置物 ライド位置のマーカー

スキャンした情報の統合 コース下半分のメッシュ コース上半分のメッシュ ライドの軌跡 統合 最適化 統合された現地情報

スキャンした情報の最適化 加工前のメッシュ 加工後のメッシュ 1. 床と天井の削除 2. ライドのボディ や人間に由来す る不要なメッ シュを削除

スキャンした情報の最適化の方法 1. Spatial Mapで取得したMeshFilterから頂点とインデックスを取得 2. 条件にしたがって取捨選択 • • • 視界確保のため、ライドのコースから一定範囲のメッシュは削除 Unityで配置したオブジェクトが隠れないように、周囲のメッシュを削除 床や天井のメッシュは視界に入る可能性が低いため削除

Unity上で再現された現地情報を用いたレベルデザインの例１ Unityの画面 実際のHoloLensの視界 特定位置に敵キャラクターを配置

Unity上で再現された現地情報を用いたレベルデザインの例２ Unityの画面 実際のHoloLensの視界 コース特定位置にイベントを配置

座標系の扱い方 (蚊取り大作戦・PAC IN TOWN共通)

なぜ座標系の話をするのか MRコンテンツ制作に混乱と破綻をもたらし得るリスク因子

座標系をめぐる様々な意思決定 頭の高さに応じてオブジェクトの 高さも調整したい 視点カメラを動かすのか、 オブジェクトを動かすのか Tracking Lossの後の座標を どう扱うのか。 各シーンの原点をどこに置くのか。 座標系に関する意思決定に一貫性はあるか？

座標系の誤解と混乱の例 位置補正用のマーカー プログラマ C# C# マーカー正面がZ軸正方向のはず マーカー奥がZ軸正方向のはず 統合！ HoloLensに何も表示されない！

PAC IN TOWN – 空間共有 • Unityワールド座標系 • 視点カメラ座標系 • 施設の座標系 • Kinect座標系 • 他のプレイヤー２人の座標 - 「施設の座標系」はマーカー認識 のときに決定する。 - プレイヤー３人分の座標がネット ワークを介して毎フレーム共有さ れる。

蚊取り大作戦 – より複雑な座標系 • Unityワールド座標系 • 視点カメラ座標系 • 施設の座標系 • ライドマシンの座標系 • シミュレーション と Trackingによる推定※ • ライド搭乗者の頭部 • サブシーンのワールド座標系 ※乗車中は暗すぎてSLAMが使えない可 能性があった！ - ライド乗車中はTrackingによる位置 推定を無視してシミュレーションによ る位置推定で補完

２つの座標系モード： オフィス内開発モードと現地モード 現地モード 視点の方向はHoloLensの機能に依存 するので、エディタ上では固定 オフィス内開発モード 視点の方向はライドの回転に追従する。

いかにして座標系の一貫性を保つか 今回採用した作戦 • 座標系を意識せずに制作できるインターフェイスとレベルエ ディットの方針のみ開発初期に決めておき、座標系に関わる 実装は一人に任せる。(座標系エンジニア!?)  複数人で座標系の認識を共有するのは早々に諦めた。  バランス調整の際に座標系に様々な「パッチ」が適用さ れて一貫性が崩壊していく場合があるので、継続的な注 意が必要。

現場のエンパワーメント (共通・主にPAC IN TOWN)

Audience Viewのポイント - Kinect V2で取得したピクセルご との深度と色を空間内に配置 - 位置合わせは、実際に撮影して いる人間とキャラクターの位置 関係を見ながら手動で(愚直に) 行う。 - 専用の延長ケーブルが必要にな る。

Audience Viewの意外な利点 当初のねらい： 観客がプレイヤーとMRの体験を共有 意外な効果： 運営による体験向上の工夫の可能性が拡大

現場で生まれた創意工夫 • Audience Viewでマーカー認識のずれを確認し、正しく位置合わせが 完了したら布でマーカーを隠す。 • Audience Viewでゲームの進行を確認しながら、MCでゲームを盛り上 げる。 • 装着者がホロレンズで見ている画面をパネルにして逐一「見えていま すか？」と確認しながら進行 現場での創意工夫を後押しする ＝ 現場で確認できる情報を増やす

現場のオペレーション用の補助ツール 仕様： • ボタンを押すと、それぞれに対応する ホロレンズのゲームが起動する。 • トラブルシューティングが表示される。 良かった点： • HoloLensに習熟していない人もすぐ に使えた。 • 超多忙な混雑時の運営にも耐えた。 MRの重い現場負担を軽減する配慮

現場に教えられたこと • MRは現場の情報をもとに完成するコンテンツ。  オフィスでは気づかない現場ならではの問題が必ず発生する。  オフィスでは気づかない現場ならではの解決策も必ず存在する。 現場を支え、現場の力を信じましょう。 MR体験はデスクの上で起きるんじゃない 現場で起きるんです！

その他の技術トピック

視界枠はアリかナシか “We strongly discourage rendering head-locked content” - Microsoft UIの快適さという観点では「ナシ」

視界枠はアリかナシか 映像表現が巧妙なので、 そもそも視野の制限に気づかない。 視野が狭いことは認識しているが、 遊びの一部だと思って納得している。 視野が狭いと感じるものの、 遊ぶうえでは許容範囲内だ。 視界枠 論外： なんで映像が見切れてるの？ なにも見えないよ。 コンテンツの受容性という点で「アリ」の場合も？

マーカー認識における注意点 • Position Trackingが既にあるので、マー カー認識による自己位置推定は特定のタ イミングでだけ参照することになる。  頭が動いているときに参照するのは 避けること。  位置が安定するタイミングに参照す ること。 • 実装によっては、マーカー認識中はカメ ラが専有されてLive Previewやスクリー ンキャプチャが使用できない場合がある。

まとめ

ピックアップ • 現地スキャンとシミュレーションは必須だった • 座標系の混乱に警戒すべき 開発初期に関連モジュールのインターフェイス設計 を！ • MRは現場が主役！！