『Meta Bath デジタルで見る子宝湯』RealityCaptureメイキング紹介【UNREAL FEST 2024 TOKYO】

438 Views

November 14, 24

スライド概要

本講演へのアンケートにご協力をお願いします:
https://docs.google.com/forms/d/e/1FAIpQLSeeq3O53ausrSoHXHluKskiabOlucYgXBajAhVQ2IbL__Km7Q/viewform

Youtube URL:https://youtu.be/RxObW5MN1EA


講演内容:
オンライン展覧会『Meta Bath~デジタルで見る子宝湯~』で使用された江戸東京たてもの園に収蔵されている銭湯、子宝湯のフォトグラメトリモデルをどの様に制作したのかをお話します。RealityCaptureのワークフローをメインに、写真撮影やモデルクリーンアップ、Web・AR・メタバースの各プラットフォームへの最適化等、歴史的建造物の3Dデジタルアーカイブとその活用の流れを解説します。

講演者:
藤原 龍(フォトグラメトリスト(株式会社ホロラボ))
長坂 匡幸(デザイナー(株式会社ホロラボ))

ホロラボについてはこちら:
https://hololab.co.jp/

UNREAL FEST 2024 TOKYO 公式サイト:
https://unrealengine.jp/unrealfest/2024/

profile-image

Unreal Engineを開発・提供しているエピック ゲームズ ジャパンによる公式アカウントです。 勉強会や配信などで行った講演資料を公開しています。 公式サイトはこちら https://www.unrealengine.com/ja/

Docswellを使いましょう

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

『Meta Bath デジタルで見る子宝湯』 RealityCaptureメイキング紹介 株式会社ホロラボ 藤原龍 / 長坂匡幸

2.

株式会社ホロラボ 空間情報技術に特化したチーム 空間スキャンやフォトグラメトリ・3Dデジタルアーカイブ、デジタル空間&体験デザインな どの空間情報技術に特化した SIAR (Spatial Info ARchitects) チーム。 龍 lilea X@lileaLab ©Hololab inc. masanaga X@tasklong 2/97

3.

事例 3Dデジタルアーカイブプロジェクト 国登録有形文化財 沖本家住宅 gluon様 国分寺市教育委員会様 日本の著名な近代建築でありながら、惜しくも解体を余儀なくさ れた旧都城市民会館と中銀カプセルタワービルを、3Dスキャン技 術を使い建物内外の3Dデータを取得、立体形状のデジタルアーカ イブとして保存を行った。※ホロラボは写真担当 国分寺市にある昭和初期に建てられた洋館と和館で構成された 建築物。 戦時中の跡も残るなど歴史的価値のある建築物となっている。 黒川紀章設計 中銀カプセルタワービル 菊竹清訓設計 旧都城市民会館 ©Hololab inc. 3/97

4.

事例 東京メトロ7000系車両3Dデジタルアーカイブ 東京メトロ様 引退した地下鉄車両を車体・車内・床下含め丸ごと3Dスキャンを行い 3Dモデルを制作。3Dモデルを引退記念コンテンツとして東京メトロ 様の企画でNFTとして販売。 お台場 VENUSFORT AR NTT ドコモ×森ビル様 お台場ヴィーナスフォートで実施する、AR体験とVR体験が融合 する「XR空間」体験提供の実証実験において開発協力を担当しま した。 総合研修訓練センター 3Dデータ化 ©Hololab inc. 4/97

5.

事例 その他個人制作事例 メタバースプラットフォームにて公開中! VRAA Meetup会場 エンジンルームVR ・cluster ・VRChat ・STYLY 等で公開中。 スマホやPCで体験いただけます。 博物館動物園駅 ©Hololab inc. 5/97

6.

プロジェクト紹介 TOKYOスマート・カルチャー・プロジェクト Meta Bath(メタ バス)デジタルで見る子宝湯 3Dで体験する「東京型銭湯」 江戸東京たてもの園に収蔵されている銭湯「子宝湯」の3Dデータを作 成しました。100地点の赤外線計測による点群データと、9,000枚に及 ぶ画像を重ね、細かな部分の形状や部材の質感が記録されています。 その3Dデータを手軽に楽しめるARコンテンツに続き、仮想空間(メタ バース)上で「子宝湯」を見られるオンライン展覧会を開催。 主催:東京都、公益財団法人東京都歴史文化財団 アーツカウンシル東京 協力:江戸東京たてもの園、東京都公衆浴場業生活衛生同業組合 ※本コンテンツは、東京都と公益財団法人東京都歴史文化財団による 「TOKYOスマート・カルチャー・プロジェクト」の一環として企画制作されました 特設サイト スマホAR版 STYLY版 軽量化する前のオリジナルデータを 自由なアングルから鑑賞いただけます https://metabath.museumcollection.tokyo/ https://museumcollection.toky o/ar/kodakarayu/ https://gallery.styly.cc/scene/634bd ff9-2143-4e77-ac41-d95b8cf32da9 6/97

7.

あれ? Unreal Engineの話じゃなくない? ©Hololab inc. 7/97

8.

そう、こちらは「RealityCapture」の事例です! Capturing Reality社がEPICファミリーになり、 そして4月には無償化(条件付き)となり、ユーザーも増えたのでは!? そこで、RealityCaptureのワークフローとTIPSをご紹介! ©Hololab inc. 8/97

9.

本日のメニュー 前提 ◆フォトグラメトリの仕組みの解説や基本的なワークフローについては割愛します ◆基本的なワークフローは「フォトグラメトリ手順書」を公開しているで参照ください ◆その手順書では触れていなかった 新たなノウハウやTIPSをご紹介! 構成 1 撮影編 2 処理編 a アライメント b メッシュ c テクスチャ https://lilea.net/lab/how-to-photogrammetry/ 3 モデルクリーンアップ 4 その他TIPS 5 3D Gaussian Splatting活用 ©Hololab inc. 9/97

10.

ワークフロー 当セッション内ではいくつかのソフトを利用した解説を行います。 各フェーズで利用するソフトは上記のようになっています (一例) この流れに沿って解説します! ©Hololab inc. 10/97

11.

撮影編 ©Hololab inc. 11/97

12.

撮影編 子宝湯について ◆江戸東京たてもの園にて展示保存 ◆元所在地:東京都足立区 ◆建築:昭和4年 ◆延べ面積:283.85㎡ ◆東京型銭湯と呼ばれる寺社風の建築様式が特徴 ©Hololab inc. 12/97

13.

撮影編 子宝湯での撮影 ◆撮影日時:2023年10月30日 ◆撮影時間:午前8時~午後5時 ◆休館日である月曜日に実施 ◆季節的に陽が落ちる時間が早いため、明るい 時間に撮影を完了させる必要があった ©Hololab inc. 13/97

14.

撮影編 使用機材 その他 フォトグラメトリ(地上班) ◆ Sony α7R5 - Sony EF14mm F1.8 GM ◆ Lumica Bi-Rod(高所撮影用ロッド) ◆ Sony α7 3 - Sony EF20mm F1.8 G ◆ Sony Cyber-shot RX0(高所撮影用アクションカメラ) フォトグラメトリ(ドローン班) ◆ DJI Mavic 3 Enterprise レーザースキャン ◆ Leica Geosystems RTC360 ©Hololab inc. 14/97

15.

撮影編 撮影体制 フォトグラメトリ(地上班) ◆ 2名(ホロラボ) フォトグラメトリ(ドローン班) ◆ 1名(外部協力) レーザースキャン ◆ 1名(ホロラボ) ©Hololab inc. 15/97

16.

撮影編 撮影成果 フォトグラメトリ(地上班) ◆ 5637枚 フォトグラメトリ(ドローン班) ◆ 3454枚 レーザースキャン ◆ 100地点 ©Hololab inc. 16/97

17.

撮影編 事前準備 ©Hololab inc. 17/97

18.

撮影編 事前準備 撮影計画 事前に建物内外の撮影エリアの区割りを行う。 Garden_West 撮影担当の振り分けのためや、写真の管理た めの命名規則などもこの時点で決定しておく。 これを行っておくことで、フォトグラメトリ 処理を行う際にエリアごとに処理を行うなど Exterior_South Men_DressingRoom Men_Bass Women_DressingRoom Women_Bass Entrance スムーズに作業を進める事が出来る。 Garden_East ©Hololab inc. 18/97

19.

撮影編 事前準備 撮影スケジュール フォトグラメトリ班とレーザースキャン班が干渉しない様にスケジュールを組む。 屋内は脱衣所と浴場でエリアが分かれているため、お互いの行動を見つつ進めるようにした。 ©Hololab inc. 19/97

20.

撮影編 当日の撮影準備 ©Hololab inc. 20/97

21.

撮影編 当日の撮影準備 鏡マスク 屋内にある鏡に対してマスク処理を行う。 鏡は銭湯では特徴的な存在ではある物の、フォトグラメトリ、レーザースキャン双方とも不利な材質で あるため、のちのノイズ除去/モデルクリーンナップ作業を軽減させるため行った。 ©Hololab inc. 21/97

22.

撮影編 当日の撮影準備 ドローン用RTK測位 GPSよりも精度の高い測位システムで、誤差を数 cm以下に抑える事が出来る。 RTK測位を行うための基地局を設置してその場所 を基準点として定め、ドローンの飛行において精 度の高い位置情報を取得する事が出来る。 取得した飛行データ・位置情報はRealityCapture で使用する事が可能。 ©Hololab inc. 22/97

23.

撮影編 屋外撮影 ©Hololab inc. 23/97

24.

撮影編 屋外撮影 屋外撮影の様子 ©Hololab inc. 24/97

25.

撮影編 屋外撮影 屋外写真と屋内写真の接続 撮影当日はあいにくの晴天だったため、屋外 と屋内の露出差が激しかった。 屋外と屋内の写真をアライメントするための 写真を撮影する際に、白飛び・黒潰れが起こ らないセッティングで撮影を行い、のちの現 像工程で調整を行う。 ©Hololab inc. 25/97

26.

撮影編 屋外撮影 ドローン撮影 あいにくの晴天だったためドローンの写真にも強い影が写りこんでいた。 午後の雲が出たタイミングで再度ドローンを飛ばして撮影。 午前(晴天) 午後(曇天) ©Hololab inc. 26/97

27.

撮影編 屋外撮影 ドローン撮影 上空からの写真だけではなく、地上写真との接続のため地上付近の正面写真も撮影。 ドローン写真 地上写真 ©Hololab inc. 27/97

28.

撮影編 屋内撮影 屋内撮影の様子 ©Hololab inc. 28/97

29.

撮影編 屋内撮影 屋内での露出が違うエリアへの移動 屋外からの移動ほどの露出差はないがエリアごとに露出が変わるため、シャッタースピードを 段階的に変えて極端な明るさの違いが出ないように撮影。 基本的にはエリアの移動時に行うもので、エリア内での撮影時にはなるべく設定を変えないよ うにする。 S=1/100 S=1/60 S=1/80 ©Hololab inc. S=1/50 29/97

30.

撮影編 屋内撮影 脱衣所の高所撮影 銭湯特有の天井高のある空間に吊るされた照 明とシーリングファンの上部を、ロッドを使 い撮影。 ©Hololab inc. 30/97

31.

撮影編 現像・管理 ©Hololab inc. 31/97

32.

撮影編 現像・管理 写真管理 撮影計画の際に決めていた命名規則に則って、写真のリ ネーム、エリアごとのキーワード分けを行う。 撮影時には必ずしも同じエリアを連続して撮影するとも 限らないので、キーワードをつける事で客観的に写真の 内容を把握できるようにする。 そうする事でフォトグラメトリ処理の際のエリアごとの 処理が容易になる。 ©Hololab inc. 32/97

33.

撮影編 現像・管理 現像 撮影時のセッティングが異なる写真の 明るさをそろえる。 あくまで明るさをそろえる事が目的な ので極端な調整は行わない。 1/500 f11 ©Hololab inc. 1/100 f11 33/97

34.

撮影編 現像・管理 デノイズ Adobe Camera RawのAIデノイズ機能によってISOノイズを除去する事が出来る。 フォトグラメトリのアライメントには大きな影響はなく、テクスチャ品質の向上が期待できる。 ISO400ノイズ デノイズ後 ©Hololab inc. 34/97

35.

処理編 アライメント ©Hololab inc. 35/97

36.

処理編 アライメント アライメントしてもコンポーネントがばらけて繋がらない場合は? ◆ 全域一括で処理しない ◆ メインループクローズを繋げてからディテールを繋げる ◆ アライメントガチャを回せ ◆ コントロールポイントは最終手段 ©Hololab inc. 36/97

37.

処理編 アライメント 全域一括で処理しない メインループクローズを繋げてからディテールを繋げる アライメントガチャを回せ コントロールポイントは最終手段 ©Hololab inc. 37/97

38.

処理編 アライメント 全域一括で処理しない 全域一括で綺麗に繋がるのが理想ではあるが難易度は高め。 一括だと処理時間もかかってしまう。 トライアンドエラーも時間かかってつらい。 エリア毎に処理しよう。 ©Hololab inc. 38/97

39.

処理編 アライメント エリア毎に処理しよう 外部 RCプロジェクト 外観.rcalign 男湯 RCプロジェクト 男湯.rcalign 女湯 RCプロジェクト 女湯.rcalign 新規プロジェクトに入れ Merge Components ©Hololab inc. 39/97

40.

処理編 アライメント エリア毎に処理しよう  エリア単位でデータの状況を確認しながら次の工程へ進める  手戻りを防げる  エリア別の分業ができる ©Hololab inc. 40/97

41.

処理編 アライメント 全域一括で処理しない メインループクローズを繋げてからディテールを繋げる アライメントガチャを回せ コントロールポイントは最終手段 ©Hololab inc. 41/97

42.

処理編 アライメント メインループクローズ写真をまず繋げよう まずメインループクローズ写真でのみアライメントし、その後ディテール写真を追加して繋げよう。 RealityCapture君が処理しやすいように優しくデータを渡してあげよう ©Hololab inc. 42/97

43.

処理編 アライメント メインループクローズ写真をまず繋げよう 整った時点で Lock pose for continue しておくとアライメント済みの写真を固定できる。 ロックされた写真は黄色く表示される ©Hololab inc. 43/97

44.

処理編 アライメント メインループクローズ用の写真を撮っておく 撮影の時点でメインとなるループクローズを意識して撮影しておくと安心。 メインループクローズは正しくつなげる事が重要な役目なので、 アライメントエラーに繋がるようなリスクあるカメラの振り方はせず、安定重視で撮る。 ©Hololab inc. 44/97

45.

処理編 アライメント 全域一括で処理しない メインループクローズを繋げてからディテールを繋げる アライメントガチャを回せ コントロールポイントは最終手段 ©Hololab inc. 45/97

46.

処理編 アライメント それでも繋がらない場合 アライメントガチャを回せ! RealityCapture君は仕事は早いが気まぐれなところがある。 一度アライメントしてダメでも、何回かお願いすると良い結果を出してくれる事がある。 1回目 ばらけた… 2回目 繋がったけどずれた… 3回目 綺麗に繋がった! ただしリトライする際は一旦コンポーネントは全て削除しよう。 残っているとその結果を参照しながらアライメントされるので改善されない。 ©Hololab inc. 46/97

47.

処理編 アライメント 全域一括で処理しない メインループクローズを繋げてからディテールを繋げる アライメントガチャを回せ コントロールポイントは最終手段 ©Hololab inc. 47/97

48.

処理編 アライメント 最終手段はコントロールポイントで繋げる ただし普通に処理して繋がらないものを強制的に繋げることになるので、 繋がってはいるがずれているという状況になる事も。 なので結局「繋がるように写真を撮っておく」が一番。 適した写真を撮っておけばあっさり綺麗に繋がる。 フォトグラメトリ(SfM)は写真の撮り方が第一。 ちゃんと撮影しておけばアライメントに苦労する時間はなくせる! ©Hololab inc. 48/97

49.

処理編 メッシュ ©Hololab inc. 49/97

50.

処理編 メッシュ レーザースキャンデータ併用時の注意点 メッシュ生成に関してはそこまで高度なノウハウは求められない印象。 ただしレーザースキャンデータを併用する場合はスキャナーの機種によっては設定の調整が必要。 ©Hololab inc. 50/97

51.

処理編 メッシュ レーザースキャンデータ併用時の注意点 子宝湯ではないのですがわかりやすい例を紹介。 設定を調整してメッシュ生成 デフォルト設定のままメッシュ生成 ©Hololab inc. 51/97

52.

処理編 メッシュ レーザースキャンデータは Minimal Intensity を最適な値に デフォルトでは「0.03」だが、これを「0」にすると レーザースキャンのデプス情報は全て利用される。 ※精度の低いデータが含まれる恐れがあるため、デフォルトでは閾値を設け 破棄する設定になっているのかも。利用する機材に合わせ適宜調整する Intensityとはレーザーの反射強度。 対象が 黒い /光沢感がある / 角度が浅い と反射強度が弱まる。 青い部分は反射強度が弱い この部分のデータがカットされてしまう (これはわかりやすく表示した極端な例ですが) ©Hololab inc. 52/97

53.

処理編 メッシュ レーザースキャンデータは Minimal Intensity を最適な値に 子宝湯の場合は蛇口の部分などで差が出た。 Minimal Intensity 0.03 のまま 破綻 Minimal Intensity 0 に設定 正しく生成 ©Hololab inc. 53/97

54.

処理編 テクスチャ ©Hololab inc. 54/97

55.

処理編 テクスチャ テクスチャ生成 & テクスチャ編集 TIPS紹介 ©Hololab inc. 55/97

56.

処理編 テクスチャ テクスチャ生成時のちょいテク紹介 周囲の樹木は不要だが、樹木メッシュを削除すると樹木のテクスチャが建物に投影されてしまう問題。 この樹木を削除してテクスチャ生成すると… 樹木が建物側に投影され汚れてしまう ©Hololab inc. 56/97

57.

処理編 テクスチャ 除外する部分は別オブジェクトにしUVマップ外にしておく。 Cinema4Dでの編集 メインのオブジェクトのUVは維持 除外したいオブジェクトからはUVを削除 この状態にしてからオブジェクトを一体化しRealityCaptureへ読み込みテクスチャ生成する ©Hololab inc. 57/97

58.

処理編 テクスチャ 樹木モデルを残した状態でテクスチャ投影しても建物側だけにテクスチャを投影する事ができる。 テクスチャ生成結果 周囲の樹木部分にはUVを割り当てていないので テクスチャは生成されない。 かつ、樹木部分のテクスチャは樹木部分のメッシュでちゃんと遮断されるので 建物側に樹木のテクスチャが投影されてしまう事も防げる。 ©Hololab inc. 58/97

59.

処理編 テクスチャ テクスチャ修正が必要になる場合も 生成結果が完璧なものでそのまま使えたら理想だが、 様々な影響でテクスチャが汚れてしまう場合がある。  天候の変化 影や明るさの変化  人や車等の移動  光沢感のある部材の角度による見え方変化 ©Hololab inc. 59/97

60.

処理編 テクスチャ テクスチャ修正が必要になる場合も 建物裏手に止められていた車回りの破綻 車のメッシュは除外しても、車があった場所のテクスチャは汚れてしまう。 修正後 修正前 ©Hololab inc. 60/97

61.

処理編 テクスチャ テクスチャ修正TIPS UDIMテクスチャの活用 テクスチャリプロジェクションの活用 独自UVマップの活用 ©Hololab inc. 61/97

62.

処理編 テクスチャ テクスチャ修正TIPS UDIMテクスチャの活用 テクスチャリプロジェクションの活用 独自UVマップの活用 ©Hololab inc. 62/97

63.

処理編 テクスチャ テクスチャどうやって修正する? テクスチャ1枚であればPhotoshop等でもいけない事はない。 該当部分を見つけ出し修正する。 ©Hololab inc. 63/97

64.

処理編 テクスチャ テクスチャどうやって修正する? しかし大量なテクスチャを使用している場合はこの方法は現実的ではない。 そこで Substance Painter を使おう。 複数テクスチャ編集する時はUDIMワークフローがオススメ! ©Hololab inc. 64/97

65.

処理編 テクスチャ UDIMテクスチャワークフロー RealityCaptureからUDIMで書き出す。 ただし… ©Hololab inc. 65/97

66.

処理編 テクスチャ UDIMテクスチャワークフロー RealityCaptureからは以下の構成で書き出される。 マテリアル:複数になってしまっている UV:UDIMの構成で正しく並んでいる 単一マテリアルでなく複数マテリアルになっているため、 Substance PainterでUDIMモデルとして読み込めない。 なので… ©Hololab inc. 66/97

67.

処理編 テクスチャ UDIMテクスチャワークフロー UDIM用の構成にお好みのでDCCツールで調整。単一マテリアルにする。 Cinema4Dの場合 マテリアルを1つとUVを残し他を削除した状態で書き出し直し、 これをSubstance Painterへ読み込めばOK ©Hololab inc. 67/97

68.

処理編 テクスチャ UDIMテクスチャワークフロー Substance PainterにUDIM 対応した状態で読み込めた。 テクスチャの方は丸ごと読み込めばOK あとはSubstance Painterの通常通りの使い方で気になる箇所を整える。 ©Hololab inc. 68/97

69.

処理編 テクスチャ UDIMテクスチャワークフロー あとは通常通りのSubstance Painterの使い方で気になる箇所を整える。 ©Hololab inc. 69/97

70.

処理編 テクスチャ UDIMテクスチャの活用 テクスチャリプロジェクションの活用 独自UVマップの活用 ©Hololab inc. 70/97

71.

処理編 テクスチャ テクスチャのリプロジェクションの活用 RealityCaptureはテクスチャを再投影する機能がある。 ハイポリで大量にテクスチャを使用したモデル (転写元) テクスチャを投影 (Reprojection) ローポリでテクスチャは1枚に設定したモデル (転写先) ©Hololab inc. 71/97

72.

処理編 テクスチャ テクスチャのリプロジェクションのメリット ローポリ用に再度テクスチャを生成し直す必要がない テクスチャ編集したモデルからローポリモデルへの投影もできる! VR用ハイポリ複数テクスチャモデル テクスチャ修正 AR用ローポリ単テクスチャモデル テクスチャ修正 VR用ハイポリ複数テクスチャモデル テクスチャ修正 修正を2度やらないとならない… テクスチャ投影 修正は1度で済む! AR用ローポリ単テクスチャモデル ©Hololab inc. 72/97

73.

処理編 テクスチャ テクスチャのリプロジェクション活用の流れ ハイポリ複数テクスチャ構成の高品質版モデルを生成 UDIMテクスチャ書き出し Substance Painterでテクスチャ修正 修正したUDIMテクスチャとモデルをRealityCaptureへ読み込み 読み込んだモデルからローポリモデルへテクスチャのリプロジェクション RCは編集したメッシュだけでなく、編集したテクスチャも読み込めるという話でした。 ©Hololab inc. 73/97

74.

処理編 テクスチャ UDIMテクスチャの活用 テクスチャリプロジェクションの活用 独自UVマップの活用 ©Hololab inc. 74/97

75.

処理編 テクスチャ テクスチャのUVを独自に用意する テクスチャも読み込めるならとやりたくなるのは自前で用意したUVマップへのリプロジェクション。 これももちろん可能! 独自に用意したUV RealityCaptureで生成したUV RealityCaptureのUV生成は処理は早いが、設定の自由度は高くはない。 ©Hololab inc. 75/97

76.

処理編 テクスチャ テクスチャのUVを独自に用意する 特にテクスチャ枚数を抑える場合は慎重にUVマップを用意しないと 不要なエリアにUVを多く割かれてしまい全体的にぼけてしまうおそれがある。 RealityCaptureで生成したUV 独自に用意したUV 独自UVモデルの読み込みとテクスチャリプロジェクションを利用する事で 効率的にローポリ版モデルの作成ができた。 ©Hololab inc. 76/97

77.

処理編 テクスチャ テクスチャのUVを独自に用意する UDIMでももちろん可能なワークフロー。 「銅像」部分を1枚目、「それ以外」を2枚目に割り振った例。 メインで見せたい部分にテクスチャを多く割り当てる事が出来た。 ©Hololab inc. 77/97

78.

処理編 テクスチャ 大量にテクスチャ使った場合の注意点! ©Hololab inc. 78/97

79.

処理編 テクスチャ エディタビュー上のテクスチャ品質は100%表示ではない場合がある RealityCaptureビューポートでの表示 書き出して別ソフトで表示 ぼけて見える場合は一旦データを書き出してから確認しよう。 ©Hololab inc. 79/97

80.

モデルクリーンアップ編 ©Hololab inc. 80/97

81.

クリーンアップ編 フォトグラメトリモデルの整備 フォトグラメトリで苦労するのはモデルを整えていくパート。 具体的にどんなことを行なっているのかを紹介。 ©Hololab inc. 81/97

82.

クリーンアップ編 ガラス 光沢や反射する部材はフォトグラメトリの大敵。 ブーリアンやナイフで不要なポリゴンをカットし、変わりに綺麗なメッシュを配置し、テクスチャ生成。 ©Hololab inc. 82/97

83.

クリーンアップ編 手すり 細く、薄く、金属の手摺の修正。 パスとスイープを活用して手すりをモデリングし、このメッシュへテクスチャを投影。 ©Hololab inc. 83/97

84.

クリーンアップ編 蛇口 小さく複雑な形状はリダクション時に破綻。 リダクションする前のモデルを、リダクション後のモデルに移植。 ©Hololab inc. 84/97

85.

クリーンアップ編 のれん 風でゆらめき、薄い生地の暖簾。メッシュは崩れテクスチャはぼける。 ©Hololab inc. 85/97

86.

クリーンアップ編 のれん これは少し独特な手法で対応。 フルスクラッチでモデルを作成しても良いが、RealityCaptureを利用するワークフローで対応した。 メッシュ:屋外側のレーザースキャンデータ1つだけ有効にしてメッシュ生成 テクスチャ:屋外側、屋内側、それぞれ1枚だけ写真を有効にした状態でテクスチャ生成 ©Hololab inc. 86/97

87.

クリーンアップ編 のれん 回りのレーザースキャンは全て無効化 (Ctrl+R) このレーザースキャンのみ有効にしてメッシュ生成 ©Hololab inc. 87/97

88.

クリーンアップ編 のれん 厚みを付け、周囲の余計なポリゴンをカット ©Hololab inc. 88/97

89.

クリーンアップ編 のれん 屋外側、屋内側、それぞれ1枚だけ写真を有効にした状態でテクスチャ生成 ©Hololab inc. 89/97

90.

クリーンアップ編 のれん 出来上がったもの。 ©Hololab inc. 90/97

91.

その他TIPS ©Hololab inc. 91/97

92.

その他TIPS編 コンソールウィンドウでの簡易コマンドライン自動処理 コマンドラインと聞くと難しそうと思われるかもですが、簡易的に便利に使う方法を紹介。 実はコンソールウィンドウは複数コマンドを まとめて入力できる。 連続した処理をまとめて実行できる。 ©Hololab inc. 92/97

93.

その他TIPS編 コンソールウィンドウでの簡易コマンドライン自動処理 アライメントする -align ノーマルでメッシュ生成する -calculateNormalModel 100万ポリゴンにリダクションする -simplify 2000000 更に10万ポリゴンにリダクションする -simplify 100000 テクスチャ生成する -calculateTexture 保存する -save 実行したいコマンドをその順番に並べて、エンター -align -save -simplify 2000000 -save -simplify 100000 -save –calculateTexture -save 退社時や就寝時に自動で流しておくのに便利。 ※もっと複雑な内容を自動化したい場合はバッチファイル作って実行 ©Hololab inc. 93/97

94.

3D Gaussian Splatting 活用 ©Hololab inc. 94/97

95.

3DGS編 RealityCaptureはフォトグラメトリだけではない きっと皆様 3D Gaussian Splatting (ガウシアンスプラッティング) への活用も関心ありますよね!? 3DGSやる場合もRealityCaptureは重宝しますよ! 赤のラインがRealityCaptureで可能 RealityCaptureを用いることで、複雑で大規模なシーンも3DGSで処理する事が可能に! ©Hololab inc. 95/97

96.

3DGS編 RealityCaptureはガウシアンスプラッティングでも活躍 先日のアップデートで postshot がUEプラグインをリリース! ・postshotの使い方 参考記事 ・3D Gaussian Splatting の使い方 公開中 ・RealityCaptureからCOLMAP形式にデータ変換 https://lilea.net/lab/how-to-use-postshot/ https://lilea.net/lab/how-to-setup-3d-gaussian-splatting/ https://lilea.net/lab/convert-to-colmap/ ©Hololab inc. 96/97

97.

おわり コンテンツ制作、映像制作に、RealityCapture活用していこう! ←「フォトグラメトリ手順書 v2」 を今公開しました! ※大幅アップデート Zennへの移植, 更新と拡充, TIPS追加など https://zenn.dev/lilealab/books/ how-to-photogrammety ©Hololab inc. アンケートへのご協力 よろしくお願いします 97/97