360度カメラによる3D Gaussian SplattingとUnityによる活用 - ボーンデジタルオンラインセミナー
>100 Views
September 30, 25
スライド概要
関連スライド
各ページのテキスト
※各動画へのリンクがまだできてないので 今夜あらためて当スライドは更新します！ 360度カメラによる3D Gaussian Splattingと Unityによる活用 龍 lilea / ホロラボ
自己紹介 株式会社ホロラボ 藤原 龍 Ryo Fujiwara 龍 lilea X@lileaLab ⚫ 2010年～：鹿島建設Grアルモ設計 建築ビジュアライゼーション/シミュレーションなど 2019年～：ホロラボ 空間情報技術(SIAR)チーム ⚫ 趣味/仕事 実空間を3Dデジタルアーカイブしてあれこれ活用 (フォトグラメトリ/レーザースキャン/3DGS) ↓最近の趣味,検証系スキャン 7月 広島 原爆ドーム 8月 北海道 青い池 8月 兵庫 城崎温泉 9月 せきぐちあいみさん ※このスライドは公開します！ 9月 山口 瑠璃光寺五重塔 9月 山口 雪舟庭
つくったもの 個人の 2019年 初の広域フォト グラメトリ作品 旧都城市民会館 VRAA Meetup会場 仕事の 中銀カプセルタワービル エンジンルームVR フォトグラメトリx3DGS 毎年2,3作品ほどVRChatやclusterでワールドを公開 東京メトロ車両 ビーナスフォート 博物館動物園駅 デジタル上野の杜 サントリーホール 国立科学博物館 江戸東京たてもの園 子宝湯 江戸東京たてもの園 前川邸 フォトグラメトリx3DGS
最近の3DGS作例 原爆ドームVR：VRChat 五反田駅～ホロラボオフィス 広域3DGS：ArrivalSpace https://lilea.net/lab/hiroshima-genbaku-dome/ https://arrival.space/84988346_4514 江戸東京たてもの園 前川邸： ELF-SR2裸眼立体視ディスプレイ https://blog.hololab.co.jp/entry/2025/03/26/123630 4/50
3D Gaussian Splatting 機材や手法による違い 5/50
3DGS 機材や手法による違い 今回のテーマは「360度カメラによる3D Gaussian Splatting」 なぜ360度カメラの話をするのか？ ⚫ 描画品質 ⚫ 初期投資費用 ⚫ スキャンの早さ ⚫ アライメント(位置)の正確さ で比較。 6/50
3DGS 機材や手法による違い 品質はいいけど コストはかかる 描画品質 ミラーレス + 地上型レーザー スキャナ ミラーレス XGRIDS PortalCam 360度カメラ ・ スマホ Scaniverse XGRIDS K1 / L2 Pro 品質はそこそこだが 機材費抑えられる 初期投資費用 7/50
3DGS 機材や手法による違い 品質はいいけど 手間と時間がかかる 描画品質 ミラーレス + 地上型レーザー スキャナ ミラーレス XGRIDS PortalCam 360度カメラ ・ スマホ Scaniverse XGRIDS K1 / L2 Pro 品質はそこそこだけど すばやく手軽に撮影できる スキャンの早さ 8/50
3DGS 機材や手法による違い 品質が高く 位置の正確性も高い 描画品質 ミラーレス + 地上型レーザー スキャナ ミラーレス XGRIDS PortalCam 360度カメラ ・ スマホ Scaniverse XGRIDS K1 / L2 Pro 広域ではズレに注意 アライメント正確さ 9/50
3DGS 機材や手法による違い ガチ品質を求める場合は『地上型レーザースキャナ+ミラーレス一眼』 しかし、 機材費は1000万を超える。 一眼撮影は高度なスキルが求められ年単位の修練が必要。 空間の広さ、形状、複雑さ、明るさ、素材、色、模様、環境変化の有無、利用用途、等を全て考慮しながら、 どこから撮影開始するか、どうカメラを動すか、 その場に最適なSS、ISO、絞り、オーバーラップ、カメラ、レンズ、三脚等をリアルタイムに判断しながら、 スケジュール通りに撮影する必要がある。 (事前下見してたとしても当日状況が変わることは多々あるので臨機応変な判断必要) 一方で、 品質はそこそこで良いから低コストで手軽にやりたいニーズも多い。 そこで今回は『360度カメラによる3D Gausssian Splatting』を紹介。 10/50
360度カメラ3DGSのメリット 11/50
360度カメラ3DGSのメリット 私もプライベートな旅行先では360度カメラを使用する事は多い。 正直ミラーレスで3DGS用の撮影をしていくのはかなり大変。 炎天下の夏場 や極寒な冬場 は特に。 灼熱な太陽のもの撮影した浜松城。 撮影枚数はたった1300枚だが、 撮影時間は2時間もかかった。 何度も木陰に避難し休憩をしながら… そんな時360度カメラなら素早く撮影できる！ 12/50
360度カメラ3DGSのメリット 3DGSはフォトグラメトリより撮影時の環境変化にシビア。 360度カメラなら大きな環境変化が起きてしまう前に素早く撮影できるのは大きなメリット。 ミラーレスでじっくり時間かけて撮影していると、 曇ったり晴れたりした際の露出や影の変化によりフローターノイズが発生してしまうリスクが高い。 13/50
360度カメラ 機種比較 14/50
360度カメラ機種比較 360度カメラもいろんな機種が出ているが、それぞれの違いや選び方は？ ちなみ私はフォトグラメトリに目覚める前から 新たな360度カメラが発売される度に買っては色々試していた。 6年前には目玉の親父的な「Gear360」で立体視映像を作ってみようとチャレンジしてたり。 15/50
360度カメラ機種比較 360度カメラもいろんな機種が出ているが、それぞれの違いや選び方は？ ⚫ THETA X ⚫ Insta360 One RS 1-Inch ⚫ Insta360 X5 ⚫ Osmo 360 スペックの違いだけで比較するのでなく実際に使って検証してみるの大事！ 新機種が出たらまずは早々にゲットして検証してみて、それから本格導入するかを検討。 購入して検証していまいちであればすぐに手放してしまう場合も。 16/50
360度カメラ機種比較 ①スティッチングの質の違い 360度カメラは2つのレンズで撮影した画像を、いわば無理やりつなげて見せている。 つまりスティッチング部分は光学的には正しくない絵になっている。 しかしそれを前提にしても、スティッチングの質が良いものの方が良好な結果が得られる。 前のレンズ 後のレンズ 二つを縫い合わせ(スティッチ)1つの画像に加工 17/50
360度カメラ機種比較 ①スティッチングの質の違い 以下はTHETA Xの動画の場合 (写真の場合はここまでのずれは発生しない) ずれが大きいと写真位置推定の処理の精度低下や描画の品質低下に繋がるので注意。 この検証は一例なので、実際に利用するシーンで各機種を使って比較検証してみるのが大事 18/50
360度カメラ機種比較 ②加工の有無 機種によっては「人が見た時に良いと感じるであろう」加工が勝手に入ってしまっているものがある。 3D Gaussian Splattingやフォトグラメトリでは「人の目による見た目評価」ではなく 「データの正確さ」が重要なので、 こうした加工が入っていると正しく処理が出来なくなってしまう。 さらに3DGSはその特性上、その加工結果まで再現してしまう。 19/50
360度カメラ機種比較 ディテールが加工されてしまっている
360度カメラ機種比較 ディテールが加工されてしまっている
360度カメラ機種比較 ②加工の有無 Insta X5を元に生成した3DGSは全体的に加工によるヌメっとした印象の絵になってしまった。 輪郭が奇妙に丸くベタつきのある3DGSになっている 蛇が這ったような奇妙な模様の加工も再現されてしまう
360度カメラ機種比較 ③Raw撮影の有無 効率的に撮影するメリットを活かすなら動画で撮影するのが良いが、 極めてコントラストの高いシーンや、夜景の場合はシャッタースピードを遅くする必要があるため、 Rawでの静止画撮影が必要になる場合も。 現状Osmo 360の360度写真撮影ではRaw撮影ができないので注意。 23/50
360度カメラ機種比較 ④色深度の違い 色深度が深いほど色の情報量が多く色補正時の諧調の欠落を避けられる。 Osmo360は10bit LOG撮影ができるため、晴天時等のコントラストの高いシーンで便利。 (Raw写真ほどではないが、白飛び黒つぶれを減らせる) 以上、 ①スティッチングの違い ②加工の有無 ③Raw撮影の有無 ④色深度の違い これらの理由から、現在は以下の使い分けをしている • 動画撮影：Osmo360 • 写真撮影：Insta360 One RS 1-inch 24/50
360度カメラ 動画撮影 25/50
360度カメラ動画撮影 3D Gaussian Splatting用にはどんな撮影をしているのか ①基本は頭上に掲げてゆっくり歩行 26/50
360度カメラ動画撮影 3D Gaussian Splatting用にはどんな撮影をしているのか ②上げ下げするパターン 多くの視点で撮影するため、死角を減らすため。 27/50
360度カメラ動画撮影 3D Gaussian Splatting用にはどんな撮影をしているのか ②上げ下げするパターン 上からも下からも撮る 360度カメラを頭上に掲げた高さ 瓦の面や軒下が死角になってしまう 28/50
360度カメラ動画撮影 3D Gaussian Splatting用にはどんな撮影をしているのか ②上げ下げするパターン 上からも下からも撮る 29/50
360度カメラ動画撮影 3D Gaussian Splatting用にはどんな撮影をしているのか ③地面すれすれローアングルも欲しい場合 ロッド(自撮り棒)は前方に突き出して地面付近で撮影する。映像に映り込む自分の割合を小さくするため。 上からも下からも撮る 近いと自分が大きく写ってしまう 離すことで自分が占める割合を小さく 30/50
360度カメラ動画撮影 3D Gaussian Splatting用にはどんな撮影をしているのか ③地面すれすれローアングルも欲しい場合 ロッド(自撮り棒)は前方に突き出して地面付近で撮影する。映像に映り込む自分の割合を小さくするため。 上からも下からも撮る 31/50
360度カメラ動画撮影 3D Gaussian Splatting用にはどんな撮影をしているのか ④蛇行するパターン 3DGSは撮影した位置から綺麗に見える技術なので、 道の中央のみで撮影していると、道の左右に移動した場合描画が破綻してしまう。 なので左右も含めて撮影する。 ※あくまで時短テクニックなので時間ある場合は、蛇行せず道の両側をそれぞれ撮影している 道の真ん中のみで撮影した失敗例 32/50
360度カメラ動画撮影 3D Gaussian Splatting用にはどんな撮影をしているのか ④蛇行するパターン 原爆ドーム撮影の例 33/50
360度カメラ動画撮影 3D Gaussian Splatting用にはどんな撮影をしているのか ⑤ループクローズを意識 鳥取 米子城跡 の例 行ったきりにせず可能な限 り元の位置へ戻ってきてル ープを閉じる。 または各所で歩行ルートを クロスさせる。 アライメント(写真位置推定) が安定する。 34/50
360度カメラ動画撮影 3D Gaussian Splatting用にはどんな撮影をしているのか ⑥カメラの設定 ⚫ シャッタースピード ブレは大敵なので1/200あたりより速めが安心 値は固定する ⚫ ISO 100等可能な限り低く 値は固定する ⚫ ホワイトバランス 固定が理想だが、極端に色温度が変わるエリアがある場合はオートで対応する場合 フォトグラメトリと違い3DGSはその位置から見た色を再現するので フォトグラメトリほどの色の破綻は起きずに済む傾向がある 明るさが足りない場合はシャッタースピードを下げるよりもISOを上げている。 ISO増によるノイズ発生よりブレ発生の方が写真位置推定の品質低下のリスクが大きいため。 35/50
360度カメラ動画撮影 3D Gaussian Splatting用にはどんな撮影をしているのか ⑥カメラの設定 露出変化に注意 屋外と屋内を繋ぐ空間など、 露出が極端に変わる位置に はフローターが発生。 可能なら全域一定の露出の まま撮影する。 カバーしきれない露出差が ある場合は後処理でフロー ターを掃除する。 36/50
360度カメラ 動画事前処理 37/50
360度カメラ動画事前処理 3D Gaussian Splatting処理する前の準備 手法は様々あり 全天球動画 全天球連番画像化 Metashapeアライメント OpenSfMアライメント キューブマップ化 全天球画像でアライメントした 結果を維持したままキューブマ ップ画像で処理できる ※1 全天球画像のまま処 理できる ※2 3DGS処理 キューブマップ化 RealityScanアライメント Metashapeアライメント Colmapリグ固定アライメント ※1 https://zenn.dev/hololab/articles/convert-equirectangular-to-cubemap-in-metashape ※2 https://qiita.com/inuex35/items/af720689e253cd3b617b ※3 https://colmap.github.io/rigs.html キューブマップ化した上下左右前後画 像の位置関係を固定できる ※3 38/50
360度カメラ動画事前処理 3D Gaussian Splatting処理する前の準備 手法は様々あり 全天球動画 全天球連番画像化 Metashapeアライメント OpenSfMアライメント キューブマップ化 全天球画像でアライメントした 結果を維持したままキューブマ ップ画像で処理できる ※1 全天球画像のまま処 理できる ※2 3DGS処理 キューブマップ化 RealityScanアライメント Metashapeアライメント Colmapリグ固定アライメント ※1 https://zenn.dev/hololab/articles/convert-equirectangular-to-cubemap-in-metashape ※2 https://qiita.com/inuex35/items/af720689e253cd3b617b ※3 https://colmap.github.io/rigs.html キューブマップ化した上下左右前後画 像の位置関係を固定できる ※3 39/50
360度カメラ動画事前処理 3D Gaussian Splatting処理する前の準備 指定した角度や画角で任意のFPSで切り出すPythonスクリプト作った。ブログで公開中。 https://lilea.net/lab/3d-digital-archive-with-360-camera/ https://lilea.net/lab/3d-digital-archive-with-360-camera/ 40/50
360度カメラ動画事前処理 3D Gaussian Splatting処理する前の準備 指定した角度や画角で任意のFPSで切り出せるGUIのツール！中。 『360 Video Still Cropper』 masanagaさん https://tascube.booth.pm/items/7325485 https://tascube.booth.pm/items/7325485 『360 Video Stills Prep Tool』Ronski氏 https://gumroadfx.gumroad.com/l/izjwq https://gumroadfx.gumroad.com/l/izjwq
3D Gaussian Splatting処理ツール 42/50
3DGS処理ツール 3D Gaussian Splatting処理するツールやソフト あとは出来上がった画像をRealityScanやMetashapeでアライメントし、3DGS生成ツールへ！ UI 外部アライメント利用 リファイン制御 postshot GUI ◯ ✕ nerfstudio CUI ◯ Inria3DGS CUI gsplat CUI 大規模シーン処理安定性 処理の中断と再開 商用利用 ◯ ◯ ◯ ◯ △ Out of memoryなりがち ◯ ◯ ◯ ◯ △ 処理枚数上限8192枚 ✕ (要開発) ✕ ◯ ◯ ◯ ✕ (要開発) ◯ 43/50
3DGS処理ツール 3D Gaussian Splatting処理するツールやソフト 各ツールへのデータの渡し方 ⚫ postshot 使い方 ：CGWORLDクリエイターズカンファレンス2024 アーカイブ https://www.youtube.com/watch?v=5El2-YzBqh0 ⚫ nerfstudio 使い方：公式 https://docs.nerf.studio/quickstart/installation.html ⚫ gsplat 使い方 ：ブログ https://lilea.net/lab/how-to-setup-gsplat/ ⚫ Inria3DGS 使い方 ：ブログ https://lilea.net/lab/how-to-setup-3d-gaussian-splatting/ 44/50
Unityの活用 45/50
Unityの活用 Unityで3DGS描画ができるツールをご紹介 ⚫ Unity Gaussian Splatting (aras-p) https://lilea.net/lab/how-to-use-unitygaussiansplatting/ ⚫ VRChat Gaussian Splatting (MichaelMoroz) https://lilea.net/lab/how-to-use-vrchat-gaussian-splatting/ ⚫ Spatialograph Maker (VoxelKei) https://x.com/VoxelKei/status/1961540119871328387 46/50
Unityの活用 Unity Gaussian Splatting よく知られているツールではありますが、便利な使い方紹介。3DGSの非破壊編集が可能！ ノイズ除去作業を終えた後、 元の3DGSを設定変えて再生成 し直したくなった場合、 ノイズ除去をやりなおすのは面 倒すぎる… しかしUnityGaussianSplatting なら参照3DGSデータを差し替 えればそのまま除去内容が再適 応できる。 編集結果は.plyに書き出せる。 3DGS編集ツールとして便利。 基本的な使い方はこちらにまとめました。 47/50
Unityの活用 VRChat Gaussian Splatting VRChatへ3DGSを持っていけるツール。実はVRChat以外でも使える！ clusterにも3DGSを持っていける！ DirectX12非対応なELF-SR1でも3DGS表示できる！ ※ただしWindowsプラットフォームに限る ※ELF-SR2の方はDX12も対応 ブログにまとめました https://lilea.net/lab/how-to-use-vrchat-gaussian-splatting-beyond/
Unityの活用 Spatialograph Maker こちらもVRChatへ3DGSを持っていけるツール！ ※まだ一般公開前 https://x.com/VoxelKei/status/1961540119871328387 開発版を特別に使わせていただいているのですが、 アートな見せ方に活用できそうなツール！ 今後のアップデートや公開にも勝手に大期待！ 要チェックです。 49/50
前編ここまで！ 『360度カメラによる3D Gaussian SplattingとUnityによる活用』 このスライドは↓こちらへアップしました https://www.docswell.com/s/lileaLab/5YVL3V-250930 50/50