フォトグラメトリ事例 メイキング紹介「川越小江戸VR」

龍 lilea / ホロラボ フォトグラメトリ メイキング紹介 川越 小江戸VR 龍 lilea / ホロラボ

川越 小江戸VR メイキング ～メタバース的なにかの作り方？～ 蔵造りの街並みをデジタルアーカイブ！ 2500枚の写真と 36地点のレーザースキャン から生成 実際に現地で購入した食べ物も 12種フォトグラメトリ 食べ歩きも可能に https://youtu.be/VIE1KDAVgVo VRを公開しました VRChat版 cluster版 ※cluster版はモバイル対応のためテク スチャサイズを縮小してます。ギミッ クも一部未実装なのでフルバージョン 体験されたい方はVRChat版をどうぞ。 2

• https://youtu.be/VIE1KDAVgVo

写真編  約2500枚の写真から生成  空間をフォトグラメトリする際は地面を重点的に撮影 建物は地面で繋がっている地面が大事！ 8割ほど写真をオーバーラップさせながら撮っていく 3

写真編 フォトグラメトリ足運び スピード重視でさくさく撮り進める方法模索 成功パターン！ ◯ 俯瞰で撮る 4

写真編 フォトグラメトリ足運び 俯瞰のみだとアイレベルが不足 するので5m程度毎に下ろす 5

写真編 フォトグラメトリ足運び 往復はご法度であったがこの方法なら往復でもずれが発生しづらい 石畳も再現精度高く生成 デメリット：疲れる 対策：体力を付ける… 軽いレンズにする 6

写真編  いつ撮影してるのか 朝の人や車通りのない時間帯 6時～8時  早朝の罠… 朝日の逆光… フレアやゴーストの起き ないレンズを選択すべし ゴミ出しの時間… ひとまず撮っておいて、ゴミ収集後に再撮影 そもそも晴天時には撮 らない 長く伸びる影… 搬入で停まりっぱなしのトラック… ハイコントラスト Raw現像で頑張る あまりに動かないので翌週にリベンジ がしかし翌週もまた停まっていた… 7

レーザースキャン編 BLK360を使用し約36地点をスキャン  写真との合成が前提のため点群密度はHigh推奨 点群密度が低いと写真と繋がらなかったり アライメント精度が落ちる  晴天時の早朝はコントラストが高いためHDR撮影必須 HDR撮影しておくことで点群の色を調整できる (点群の色が白飛び黒つぶれしていると写真とアライメント出来ない)  スピード重視な場合は左右交互にスキャン 1地点あたり6分ちょいかかる 36地点＝4時間弱 8

レーザースキャン編 スキャンも効率化を模索… レーザースキャンのスタートボタン押したら、 その間にその周辺の写真撮影を行うという無謀なワンオペチャレンジ 9

レーザースキャン編 レーザースキャン＆撮影をワンオペでやるな  レーザースキャナが倒れないか気になる  レーザースキャンに自分が映る  写真にレーザースキャナが映る レーザースキャンも撮影も中途半端なものに → モデルの品質低下 時間を大幅短縮できるメリットに対してデメリット多すぎだった (当然の結論だった…) 10

レーザースキャン編 結論…  レーザースキャン併用時も撮影は疎かにしない 写真側の位置推定精度が低いと レーザースキャンのデータと合体した際にズレが残ってしまう  ズレのないアライメント結果を得ることが一番の近道 撮影＆スキャンには計画段階からしっかり時間をかけよう ズレや破綻のないモデルが生成出来れば モデル修正の工数を大幅に削減できる (フォトグラメトリで最も時間がかかるのはモデルの修正パート。これをいかに減らすか！) 11

VR編 バーチャル観光VRで意識したこと  ＶＲならでは なコンテンツの見せ方  現地ならでは の体験を再現 12

VR編 VRならではなコンテンツの見せ方 ｢エントランス｣ 空間を用意した リアルな観光では｢現地へ向かう｣という前段階からイベントは始まっている VRでもワールドへ入ってそのまま現地空間に降り立つのではなく 気持ちの高まってゆく時間を設けたい  アーカイブ空間の一部をチラ見せ  歴史や文化に触れるフェーズを挟むことでアーカイブ空間へ入った時の見え方も深まる  ギミックや小物にも風土を感じさせるものを盛り込む 単純な｢空間の体験｣ではなく｢現地的な体験｣としたい…！ 13

VR編 VRならではなコンテンツの見せ方  アーカイブ空間の一部をチラ見せ  歴史､地理､文化に触れるフェーズを挟むことでアーカイブ空間へ入った時の見え方も深まる  ギミックや小物にも風土を感じさせるものを盛り込む 時の鐘 氷川神社の風鈴 川越の歴史 14

VR編 VRならではなコンテンツの見せ方 「建物を見る」は3Dがわかりやすい 「文字を読む」はVRでも2Dがストレスなく読める ステンシルバッファを用いて2Dと3Dを両立 15

VR編 現地ならではな体験を再現 ｢食べ歩き｣ 体験を作った 川越は食べ歩きも楽しい！ これもバーチャルで体験できたらと、食べ物もデジタルアーカイブした 簡単なギミックでも体験の質は向上する  買ったそのままの姿だけでなくかじった状態もフォトグラメトリした  インタラクトする事で食べ物をかじれる 食べ物を食べる体験、ぜひHMDでの立体視VRで体験していただきたい… あんことかほんとうまそうだから。ヨダレ出る。ぜひ 16

VR編 食べ物フォトグラメトリメイキング どの様に撮影を行ったのか？ 通常の物撮りフォトグラメトリの場合は、 上面を撮影し、その後対象をひっくり返し、底面を撮影する しかし食べ物の場合は柔らかいものが多いので、ひっくり返した時点で変形してしまう 対象を動かさずに360度撮影する必要がある 浮かせる 17

VR編 食べ物フォトグラメトリメイキング 浮かせて撮る クリップ編 18

VR編 食べ物フォトグラメトリメイキング 浮かせて撮る テグス張り編 フォトグラメトリは薄い細いものが苦手 なので、薄く細いテグスを使用すれば食 べ物のみが生成出来る アクリルやガラスでもいいのでは？ → 屈折や反射があるのでNG… 19

VR編 食べ物フォトグラメトリメイキング 浮かせて撮る テグス張り編 デメリット： テグスがテクスチャに写り込んでしまう… Substance Painterでの調整が便利 20

VR編 その他の工夫  ガラス面に板を配しガラスマテリアル設定  川越市に撮影許可を得る 堂々と撮影できる＆公開できる  川越博物館で地理や歴史を学ぶ 街や建築への愛が増す＆VRコンテンツ化する際のアイデアが浮かぶ  鐘の音や手水舎の音は現地で収録  道の端部に360度撮影した写真を配置  看板モノはフォトグラメトリとは別撮り 小さな文字も可読なテクスチャとする 21

リアル現地へ行ったという反響はほんと嬉しい… 22