マイクロソフト勉強会「広域フォトグラメトリによるデジタルアーカイブ」

58.5K Views

October 15, 23

#フォトグラメトリ #vr #ar #3dデジタルアーカイブ #Photogrammetry #デジタルアーカイブ #現場確認 #3Dモデル #デジタル復元プロジェクト

スライド概要

フォトグラメトリの撮影や処理の過程、事例、応用例等をご紹介。
・活用事例
・制作環境（PCスペックと撮影機材）
・みんなの首里城デジタル復元プロジェクト
・レーザースキャン･GNSS活用
・Azure Remote Rendering（1億ポリゴンをAR表示）
・フォトグラメトリ足運び
・TIPS

profile-image
スライド一覧

🍅藤原龍 Ryo Fujiwara / ホロラボ HoloLab Inc. 📸仕事＆趣味で物理空間をフォトグラメトリ、3D Gaussian Splatting、レーザースキャンで3DデジタルアーカイブしてVRやARのデジタルツインコンテンツつくったりしてる人 🎨制作も承ってますよ～

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 23.13MB)

関連スライド

slide-thumbnail

東京大学 3Dスキャン勉強会「フォトグラメトリ」
フォトグラメトリ vr 3dデジタルアーカイブ
user-img 龍 lilea 194.1K
slide-thumbnail

XRKaigi2021「Photogrammetry RealityCapture TIPS」
フォトグラメトリ vr ar 3dデジタルアーカイブ
user-img 龍 lilea 24.4K
slide-thumbnail

「広域3D Gaussian Splatting版の京都VRをつくってみた」建築情報学会Meetup Vol.009
3d gaussian splatting ガウシアンスプラッティング 3dデジタルアーカイブ
user-img 龍 lilea 22.6K
slide-thumbnail

「360度動画によるフォトグラメトリ - 処理編」3Dスキャン何でもLT会
3dデジタルアーカイブ フォトグラメトリ
user-img 龍 lilea 21.9K
slide-thumbnail

フォトグラメトリ事例 メイキング紹介「旧都城市民会館VR」
フォトグラメトリ レーザースキャン vr 3dデジタルアーカイブ
user-img 龍 lilea 12.1K
slide-thumbnail

フォトグラメトリ事例 メイキング紹介「川越小江戸VR」
フォトグラメトリ vr 3dデジタルアーカイブ
user-img 龍 lilea 6.4K
各ページのテキスト
1.

広域フォトグラメトリによる デジタルアーカイブ 3.0 龍 lilea

2.

ぷち自己紹介  龍ですがリョウです 藤原 龍 xRArchiメンバー  銭洗弁天VR作ってみた人 首里城デジタル復元してみた人 Twitter @lileaLab  ひどく緊張する人なのでご清聴｢非｣推奨！(オンラインだけど) コメント＆ツイート多めだと私が安心します  ハッシュタグ #Photogrammetry_MR #Photogrammetry_MR 2

3.

ぷち自己紹介  フォトグラメトリじゃない写真も撮ってる人 仕事の 趣味の #Photogrammetry_MR 3

4.

何話すの？  活用事例  制作環境（PCスペックと撮影機材）  みんなの首里城デジタル復元プロジェクト  レーザースキャン･GNSS活用  Azure Remote Rendering（1億ポリゴンをAR表示）  フォトグラメトリ足運び  TIPS #Photogrammetry_MR ※過去にも似たテーマで登壇してますが 内容は更新､追加してます 4

5.

フォトグラメトリって？ #Photogrammetry_MR 5

6.

フォトグラメトリって？ 複数の写真から3Dモデルを生成する手法 写真 フォトグラメトリ 3Dモデル  航空写真を用いた写真測量 →大規模 航空機+カメラ  映画やゲームの素材制作 →小中規模 一眼レフカメラ  モノ/空間デジタルアーカイブ →大規模 #Photogrammetry_MR 一眼レフカメラ 6

7.

デジタルアーカイブ活用事例 #Photogrammetry_MR 7

8.

デジタルアーカイブ活用事例 建築  銭洗弁天 ：デジタル観光・リアル観光促進  首里城 ：失われてしまった建物の復元  旧都城市民会館 ：解体建物の保存＋活用  セイシュンラボ ：解体建物の保存＋活用  某案件 ：建替建物の保存＋活用  DiGITAL ARTISAN ：オフィス イベント活用  TIMEMACHINE ：オフィス AR/MRのUI検証  Unity Japan Office ：オフィス デジタル活用  XR-HUB Cafe ：オフィス 施設案内  Seaside Living ：店舗プロモーション #Photogrammetry_MR 8

9.

デジタルアーカイブ 活用事例 製造  エンジンルーム ：メンテナンスマニュアル  某案件 ：メンテナンスマニュアル/トレーニング 災害可視化  北海道胆振東部地震 ：厚真町  台風19号 ：阿武隈川  高潮ハザードマップ ：錦糸町駅周辺  某案件 ：某地域 #Photogrammetry_MR 土砂崩れ 河川氾濫 避難シミュレーション 9

10.

活用事例『銭洗弁天VR』  海外や遠方の方も訪れることが可能  ｢また行きたくなった｣ ｢行ってきた｣の声も 新規訪問のみでなく再訪問のきっかけにも YouTube  デジタル空間ならではの新しい価値 → 多言語音声ガイド（日本語と英語のナレーション） → 生卵お供え参拝ルート体験 → 夜の境内散策 #Photogrammetry_MR 10

11.

活用事例『銭洗弁天VR』 コロナ禍でも花見が出来た 桜満開 お花見バージョン バーチャル空間だからこその活用の拡がり #Photogrammetry_MR 11

12.

活用事例『銭洗弁天VR』 現時点で約14,700名 VR空間は使い捨てを言われて しまうこともあるが、 継続的に訪問いただいている #Photogrammetry_MR 12

13.

活用事例『セイシュンラボ』HandiHouse様 ワークショップの作品を残す 子どもたちが半年かけ制作した「家」 期の終わりに破棄しなくてはならない…  参加されたご家族に3Dモデルを提供  Webサイトで公開  AR/VR化  3Dプリント #Photogrammetry_MR 13

14.

活用事例『セイシュンラボ』HandiHouse様 iPhoneの取り合いになりながらAR体験！ ワークショップに興味を持っていただけた親御さんが増えた！ #Photogrammetry_MR 14

15.

活用事例『Seaside Living』中田製作所/SAKAE様 店舗プロモーション リアル店舗で｢VR見たよ行ったよ｣とお伝え頂くとドリンクサービス！ #Photogrammetry_MR 15

16.

活用事例『Seaside Living』中田製作所/SAKAE様 料理フォトグラメトリ VR/ARが普及進めば「食品サンプル」の3Dモデルの需要も出る？ #Photogrammetry_MR 16

17.

活用事例『TIMEMACHINE』Psychic VR Lab様 実空間にいる想定でMRのUI検証を行った例 (Discontさんのツイート) “現地”が必要なMRやARの検証にフォトグラメトリを活用。 #Photogrammetry_MR 17

18.

活用事例『XR-HUB Cafe』x garden様 施設案内  遠隔で現地下見  リーシング活用 実スケール,1/100スケール 同時に確認可能 #Photogrammetry_MR YouTube 18

19.

活用事例『i-Construction』 施工管理への活用 公開資料 現場所員のスマートフォンで撮影した写真からフォトグラメトリ 制作 #Photogrammetry_MR 19

20.

活用事例『DiGITAL ARTISAN』VRAA イベント会場 VRAA Meetupの会場としてミラーワールドを制作 #Photogrammetry_MR 20

21.

YouTube 「リアル会場」側から見る「バーチャル会場」の様子 #Photogrammetry_MR 21

22.

「バーチャル会場」側から見る「リアル会場」の様子 https://twitter.com/phio_alchemist/status/1162989385106591744 #Photogrammetry_MR 22

23.

VRAA02開催中！ VR空間のアワード 既存作品の応募もOK！ vraa.jp #VRAA02 ※私もとあるフォトグラメトリ作品を鋭意製作中 #Photogrammetry_MR 23

24.

活用事例『製造：エンジンルーム』 VR､AR､MR化した事例  メンテナンスマニュアル  トレーニング YouTube #Photogrammetry_MR 24

25.

活用事例『製造：某案件』 図面のないモノをモデル化。 HoloLensを利用したMRマニュアルを作成。  図面がある → モデリング  図面がない → フォトグラメトリ #Photogrammetry_MR 25

26.

活用事例『災害可視化：台風19号』 阿武隈川の氾濫  被災状況の可視化 国土地理院公開の写真 YouTube #Photogrammetry_MR 26

27.

活用事例『災害可視化：台風19号』 写真ベースに確認を行うのは困難な場合がある 全体を俯瞰した連続的な確認が可能に 710枚の写真 1つの3Dモデル #Photogrammetry_MR 27

28.

活用事例『災害可視化：台風19号』 3Dモデル内から写真を参照 YouTube #Photogrammetry_MR 28

29.

活用事例『災害可視化：台風19号』 有害物質流出の可視化 状況をより明確に把握可能に YouTube #Photogrammetry_MR 29

30.

撮影枚数と時間  某案件（街） ：25,000枚 3日  旧都城市民会館 ：10,000枚 2日  某案件（製造） ： 4,000枚 5時間  銭洗弁天 ： 3,600枚 4時間  セイシュンラボ ： 2,400枚 4時間  DiGITAL ARTISAN ： 2,400枚 3時間  Seaside Living ： 2,200枚 3時間  TIMEMACHINE ： 1,200枚 2時間  Unity Japan Office ： 1,800枚 2時間  XR-HUB Cafe ： 1,000枚 30分 #Photogrammetry_MR 1時間 ≒ 1000枚 1000枚 ≒ 100m 30

31.

制作環境 #Photogrammetry_MR 31

32.

制作環境  使用しているカメラ/レンズは？  PCのスペックは？  フォトグラメトリソフトは？ #Photogrammetry_MR 32

33.

制作環境 ① カメラ/レンズ  カメラ『α7III』 ・フルサイズ ・24Mpx ・ボディ内手ブレ補正 ・チルト式モニター 約20万 → 低ノイズ（暗所にも強い） → 高解像度なほど有利（もっと欲しい） → シャッタースピード稼げる → 様々なアングルに対応（無茶な姿勢で撮る事も）  レンズ『SIGMA 12-24mm F4 DG HSM Art』 ・広角 ・ゼロティスト―ション 約17万 →オーバーラップ率あげやすい →歪みが少ない 品質重視の場合は広角ではなく標準画角の方が良い ただし撮影枚数と時間の増大、Alignment失敗リスクに気をつける #Photogrammetry_MR 33

34.

制作環境 ① カメラ/レンズ 画角とレンズの比較 12mm (超広角) #Photogrammetry_MR 18mm 24mm 34

35.

制作環境 ① カメラ/レンズ 画角とレンズの比較 18mm 24mm SIGMA 12-24mm F4 ゼロディストーションレンズ SIGMA 12-24mm F4.5-5.6 12mm (超広角) #Photogrammetry_MR 35

36.

制作環境 ① カメラ/レンズ 画角とレンズの比較 超広角 標準 メッシュ品質 低 高 撮影枚数 少 多 撮影時間 短 長 位置推定失敗リスク 低 高 超広角は便利で早い反面､品質は低下する傾向 ・レンズの外周で解像が落ちてしまう ・被写体に対しての解像度が落ちてしまう ・歪みが大きくなる #Photogrammetry_MR 36

37.

制作環境 ② PC 高性能な程良し 自PCのスペックは－  CPU：Core i9-9900KF  GPU：RTX 2080Ti →複数枚刺しが良い場面も  RAM：64GB →64GBでは不足する事も  SSD： 1TB →3TBは欲しい  HDD：8TB これでも足りない… 5,000枚を超えると処理に12時間以上 #Photogrammetry_MR 37

38.

制作環境 ② PC HDDはあくまでデータの保管用 SSDでの作業が望ましい  キャッシュ あっという間に数百GBたまっていく  写真容量 3日の撮影では950GB  写真整理 Bridgeでのタグ書き込みに時間がかかる  現像 HDDでは2万枚jpg書き出しに18時間かかった #Photogrammetry_MR 38

39.

制作環境 ② PC 仮想メモリも活用 物理メモリに比べパフォーマンスは落ちるが メモリ不足エラーになるよりは良い デフォルトだと自動管理になっているので→ 余裕をみた値で固定にする #Photogrammetry_MR 39

40.

制作環境 ② PC ノートPCではやらない… ※銭洗財天はノートPCでの処理で6日間かかった #Photogrammetry_MR 40

41.

制作環境 ③ フォトグラメトリソフト 主にReality Captureを使用 位置推定成功率 メッシュ品質 Reality Capture △ ○ 3DF Zephyr ◯ △  位置推定成功率 写真位置推定の成功率。写真がどれだけ繋がるか。 しかし繋がればいいというものでもない。  メッシュ品質 生成されるメッシュ形状の再現精度。破綻の具合。 #Photogrammetry_MR 41

42.

制作環境 ③ フォトグラメトリソフト Reality Capture エラーと対策集 https://adventar.org/calendars/4686 #Photogrammetry_MR 42

43.

制作環境 ③ フォトグラメトリソフト フォトグラメトリソフト一覧 “2020 Best Photogrammetry Software (Some are Free)” https://all3dp.com/1/best-photogrammetry-software/ #Photogrammetry_MR 43

44.

みんなの首里城 デジタル復元プロジェクト #Photogrammetry_MR 44

45.

みんなの首里城デジタル復元プロジェクト 失われてしまった建物の復元 ① 首里城の写真を募る ② 世界各地から写真が届く ③ 機械学習を用いた画像分類 ④ フォトグラメトリ処理 ⑤ モデル調整 ⑥ 公開 YouTube #Photogrammetry_MR 45

46.

みんなの首里城デジタル復元プロジェクト ① 首里城の写真をウェブサイトで募る ② 世界中から写真が届く 現在約33,000枚！ 思い出と想いの詰まった写真 #Photogrammetry_MR 46

47.

みんなの首里城デジタル復元プロジェクト ③ 機械学習を用いた画像分類 3万枚超えの写真をまとめて処理にかけるのは非現実的 膨大な写真の中から以下に分類 正殿 南殿 北殿 内観 鳥瞰 模型 イベント時 etc... 機械学習には以下のマイクロソフトのAPIを活用！  Custom Vision API … 画像分類で利用  Computer Vision API … 写真の匿名化(顔のぼかし)で利用予定 #Photogrammetry_MR 47

48.

みんなの首里城デジタル復元プロジェクト ④ フォトグラメトリ処理 正殿の写真3,600枚 ↓ 2,400枚の位置推定に成功！ カメラ、撮り方、時代もバラバラの写真がこれだけ「繋がる」のは奇跡的 #Photogrammetry_MR 48

49.

みんなの首里城デジタル復元プロジェクト ④ フォトグラメトリ処理 TIPS 写真がつながらない時は… Image overlap：Low Max features per image：160k Preselector features：80k 詳しくはこちら https://support.capturingreality.com/hc/enus/community/posts/115000777711-Retry-specific-images-in-alignment#Photogrammetry_MR 49

50.

みんなの首里城デジタル復元プロジェクト ⑤ モデル調整 空と屋根が一体化している #Photogrammetry_MR DCCツールで整える 50

51.

みんなの首里城デジタル復元プロジェクト ⑤ モデル調整 TIPS 詳しくはこちら https://styly.cc/ja/tips/how-to-fix-photogrammetry-model/ #Photogrammetry_MR 51

52.

みんなの首里城デジタル復元プロジェクト ⑥ 公開 Sketchfabで公開中 ダウンロードも可能です https://sketchfab.com/3d-models/shurijoseiden-3d2ca9e397164d0e92056db0e271959c プロジェクトは継続中！ #Photogrammetry_MR 52

53.

みんなの首里城デジタル復元プロジェクト 謝辞 #Photogrammetry_MR 53

54.

みんなの首里城デジタル復元プロジェクト 謝辞 #Photogrammetry_MR 54

55.

旧都城市民会館 #Photogrammetry_MR 55

56.

旧都城市民会館 全部入り事例！  ドローン → 地上からの死角をカバー  レーザースキャン → mm精度＋遠距離  RTK-GNSS → cm精度な緯度経度情報  Azure Remote Rendering → 億超えのハリポリゴンモデルを軽快に描画 ガチなフォトグラメトリをやる場合はこれらの併用は必須そう… #Photogrammetry_MR 56

57.

旧都城市民会館 解体となった旧都城市民会館 3次元デジタルアーカイブプロジェクト gluon + KUMONOS 主催  KUMONOS Faro4台でのレーザースキャン  xRArchi 一眼でのフォトグラメトリ用撮影 （masanagaさん・私） Insta 360 Pro 2での360VR写真撮影 （私）  福岡大学 ドローン空撮（大隣さん） #Photogrammetry_MR 57

58.

旧都城市民会館 WebAR化 ハッシュタグ #旧都城市民会館AR こちらからARが起動できます https://xrarchi.lilea.net/miyakonojo/ar #Photogrammetry_MR 58

59.

ドローン併用 #Photogrammetry_MR 59

60.

ドローン併用 地上写真のみだと屋根と空が一体化してしまう 手で直していくのはしんどい #Photogrammetry_MR 60

61.

ドローン併用 ドローンで俯瞰写真を撮影 #Photogrammetry_MR 61

62.

ドローン併用 屋根の上面が生成出来る #Photogrammetry_MR 空との一体化が防げる 62

63.

ドローン併用 地面のテクスチャ品質もあがる #Photogrammetry_MR 63

64.

ドローン併用 ドローン写真と地上写真を繋げる撮影テクニック Reality Capture公式データセットの例 タンザニア キルワ キシワニ遺跡 データセット https://openheritage3d.org/project.php?id=5b6m-ap62 #Photogrammetry_MR 64

65.

レーザースキャン併用 #Photogrammetry_MR 65

66.

レーザースキャン併用 写真とレーザースキャンのいいとこどりが可能！  写真 → 高品質テクスチャ  レーザースキャン → #Photogrammetry_MR mm精度＋遠距離 66

67.

レーザースキャン併用 写真のみ 暗所であったこともあり位置推定精度が低くメッシュはひどい状態 #Photogrammetry_MR 67

68.

レーザースキャン併用 レーザースキャンのみ 形状は綺麗に取れているがテクスチャは荒い #Photogrammetry_MR 68

69.

レーザースキャン併用 レーザースキャン × 写真 形状はレーザースキャン #Photogrammetry_MR テクスチャは一眼 69

70.

レーザースキャン × 写真 フォトグラメトリ #Photogrammetry_MR 70

71.

レーザースキャン × 写真 フォトグラメトリ #Photogrammetry_MR 71

72.

レーザースキャン併用 点群ならなんでも使えるわけではない…  機械点情報(ビューポイント)を持った点群 レーザースキャナ自身の位置情報が必要  レジストレーション済の点群 位置合わせの処理は済ませておく必要がある  高密度の点群 低密度だと写真との位置合わせ時に失敗する  .e57 .ptx 機械点情報を持てるフォーマット #Photogrammetry_MR 72

73.

レーザースキャン併用 位置とメッシュの精度はレーザースキャンに任せ、 写真撮影はレーザースキャンの死角とテクスチャ生成用と割り切れる  モデルの品質 大幅向上  モデルの修正コスト 大幅削減 工数削減できる上モデルの品質も上がる ただし機材は200万～1000万超え… #Photogrammetry_MR 73

74.

レーザースキャン併用 ｢Open Heritage｣のデータセットにはレーザースキャンも含まれている レーザースキャンデータを使ったワークフローのスタディに最適 https://openheritage3d.org/news.php?p=expanding-the-ways-to-work-with-open-heritage-data ※データは数百GBあるので注意 #Photogrammetry_MR 74

75.

RTK-GNSS併用 #Photogrammetry_MR 75

76.

RTK-GNSS併用 フォトグラメトリは移動するほど誤差がかさむ… → GNSSで得た緯度経度情報を活用する！ 取得した緯度経度情報(csv) #Photogrammetry_MR Reality Captureへ読み込ませる 76

77.

RTK-GNSS併用 地上の特徴点を測量する cm精度で現在地が表示される #Photogrammetry_MR 77

78.

RTK-GNSS併用 計測地点例 コントラストが強く、移動する事のない、特徴的なポイントを計測 #Photogrammetry_MR 78

79.

RTK-GNSS併用 某案件では… 全長2kmに渡るフォトグラメトリで地図と一致 地理的にも正確なモデルとなる事でシミュレーションへの活用も可能に #Photogrammetry_MR 79

80.

RTK-GNSS併用 丁寧な解説付きのスターターキットがCQ出版から買える 2019/10月号で 使用方法が解説されている https://shop.cqpub.co.jp/hanbai/books/I/I000316.htm #Photogrammetry_MR 80

81.

Azure Remote Rendering活用 #Photogrammetry_MR 81

82.

Azure Remote Rendering フォトグラメトリモデルは重い… → クラウドレンダリングでサクサク！ #Photogrammetry_MR 82

83.

Azure Remote Rendering 1億ポリゴンAR 断面表示も軽快 #Photogrammetry_MR YouTube 83

84.

Azure Remote Rendering 2億ポリゴンでも60FPS #Photogrammetry_MR 84

85.

Azure Remote Rendering 開発せずとも｢使える｣アプリが用意されている ｢Showcase｣アプリ  断面を表示する  マテリアルを変える  モデルを分解  アウトライン表示 #Photogrammetry_MR 85

86.

Azure Remote Rendering セットアップ手順ブログにまとめました https://lilea.net/lab/how-to-setup-azure-remote-rendering/ Azureって何？という私がアカウント 作ってみるとこから初めた全部入りの 備忘録 de:code 2020にもセッションがある https://decode20-vevent.cloud-config.jp/session/38 #Photogrammetry_MR 86

87.

フォトグラメトリ足運び #Photogrammetry_MR 87

88.

フォトグラメトリ足運び どうやって撮ってるのという話  大きな対象  広い空間  狭い空間  暗い空間  長距離 #Photogrammetry_MR 88

89.

フォトグラメトリ足運び 横移動 基本足運び カニ歩き 前後関係が認識されやすく位置推定精度が高い #Photogrammetry_MR 89

90.

フォトグラメトリ足運び 斜め構え横移動 狭い通路の場合は真横ではなく斜め前方に向けオーバーラップ率を上げる 狭い通路や､横向きでは特徴が捉えづらいシーンでの足運び カメラを斜め前方に向け特徴点を多く捉えるようにする #Photogrammetry_MR 90

91.

フォトグラメトリ足運び 小刻み 暗い＋狭い＋似た景色が続く 銭洗弁天の入口トンネルの例 1mピッチ程度で前進しながら撮影 10cmピッチ程度に小刻みに前進しながら撮影 繋がらない or 繋がっても破綻 (途中でスケールがおかしくなっている) きれいに繋がった #Photogrammetry_MR 91

92.

フォトグラメトリ足運び スイッチバック 通路奥まで撮影したら振り返らず、バックしながら逆側の面を撮影する 暗く狭く特徴点が少ないような空間で、通路の奥でUターンするにはリスクがあったので用いた動き #Photogrammetry_MR 92

93.

フォトグラメトリ足運び 閉じる 円を描くように一周させて閉じる 空間をスキャンする場合でも基本は外向きではなく内向きに撮り､始点を終点を繋ぐ #Photogrammetry_MR 93

94.

フォトグラメトリ足運び 円で繋ぐ 長距離を撮影する場合は道の左右でズレが生まれないよう円を繋げる 一度に長距離移動すると｢繋がらない｣｢ずれる｣ので､確実につながる距離ごとに円を閉じ､それを繋げていく。 #Photogrammetry_MR 94

95.

フォトグラメトリ足運び 二週 全体を押さえてからディテールを撮る 1周目は全体を引きでまんべんなく撮影 2周目で対象に近づきディテールを撮影 ディテールのみを撮影していると現在地を見失い位置推定エラーとなるリスクがあるのでまず全体を抑える #Photogrammetry_MR 95

96.

フォトグラメトリ足運び 蛇行 前後左右全てを撮りながら蛇行で進む 撮影時間が限られている時に有効 #Photogrammetry_MR 96

97.

フォトグラメトリ足運び 戻る 適度に全体が見える位置へ戻る ディテールを撮り続ける動きは誤差がかさむ 位置推定時に迷子になる #Photogrammetry_MR ディテールを撮ったらその都度一旦全体が見える位置に戻る 迷子にならないように今どこにいたのか教えてあげる 97

98.

フォトグラメトリ足運び 一筆書き 往復は位置推定エラーになりやすいので一筆書きで意識 同じ場所を何度も撮影するとそれぞれの誤差によりテクスチャの品質が下がってしまうデメリットも #Photogrammetry_MR 98

99.

フォトグラメトリが苦手な部材 #Photogrammetry_MR 99

100.

フォトグラメトリが苦手な部材 何でも再現出来るわけではなく、これらは破綻してしまう  透明 ガラス  反射/光沢 鏡  特徴の無い面 真っ白な壁  暗所 夜  薄い/細い テーブル天板 / ケーブル #Photogrammetry_MR 100

101.

フォトグラメトリが苦手な部材 ガラス #Photogrammetry_MR 101

102.

フォトグラメトリが苦手な部材 鏡 #Photogrammetry_MR 102

103.

フォトグラメトリが苦手な部材 真っ白 #Photogrammetry_MR 103

104.

フォトグラメトリが苦手な部材 薄い #Photogrammetry_MR 104

105.

フォトグラメトリが苦手な部材 細い #Photogrammetry_MR 105

106.

フォトグラメトリが苦手な部材 フォトグラメトリ処理そのものよりも… モデルを業務で使えるレベルまで持っていく方が大変！ フォトグラメトリ処理 #Photogrammetry_MR ≪ モデル整備 106

107.

破綻させないためには #Photogrammetry_MR 107

108.

破綻させないためには…  高解像度で → 特徴点がしっかり拾える  ブレないように → 特徴点を潰さない  パンフォーカスで → 全てに焦点を当てる  ISOは上げすぎず → ノイズは少ないほど良い  動画は使わない → 動画は圧縮されている  360カメラは使わない → スティッチされている  白飛び/黒潰れさせない → Rawで撮っておく  PLフィルター活用 → スペキュラの低減  無反射撮影活用 → スペキュラの低減  特徴点は無ければ作る → 物を置く / 新聞を敷く #Photogrammetry_MR 108

109.

破綻させないためには ① PLフィルター 反射を軽減させる事が出来る フィルターなし フィルターあり CGでいうところのスペキュラがなくなる #Photogrammetry_MR 109

110.

破綻させないためには ① PLフィルター 超広角レンズでもPLフィルターを使いたい場合「角型フィルター」 #Photogrammetry_MR 110

111.

破綻させないためには ② 撮影ボックス 商品撮影などで使われる撮影ボックスを使用。 ターンテーブルを併用。 大きめのボックスがおすすめ。 #Photogrammetry_MR 111

112.

破綻させないためには ② 撮影ボックス ボックス壁面を均一な背景にするために白い膜を被せる。 ←後方だけでなく左右の壁も白にしたい… #Photogrammetry_MR 112

113.

破綻させないためには ③ 浮かせて撮る 接地面がメッシュが繋がってしまうので浮かせて撮る。 #Photogrammetry_MR 113

114.

破綻させないためには ③ 浮かせて撮る 表は黒、裏は白に塗装。 リバーシブルに使えるようにした。 #Photogrammetry_MR 114

115.

破綻させないためには ④ 3Dスキャンスプレー 光沢のあるものは破綻するのでマットにする。 #Photogrammetry_MR 115

116.

破綻させないためには ④ 3Dスキャンスプレー 光沢のあるものは破綻するのでマットにする。 ① 専用スプレー (右上) ◎ 約1万3千円 ② 現像液 (左下) ◯ 約600円 ③ 制汗スプレー (右下) △ 約600円 乾きが早くすぐスキャンに入れる。 透明な物体にも有効。 2,3分置くと乾いて白くなる。 少し透けてしまっている。 効果はいまいち。 透明にも不向き。 #Photogrammetry_MR ※レーザースキャン用 116

117.

破綻させないためには ⑤ 無反射撮影 PLフィルターを2枚使用した撮影方法。  レンズにPLフィルター  ストロボに偏光板 ライティングにはストロボを使うので 外光の影響を抑えられる。 ほぼ連射撮影になるのでマシンガンストロボ推奨。 CEDEC＋KYUSHU 2017 『VFXの知見から現れた無反射テクスチャ 撮影の技法とは』 https://jp.gamesindustry.biz/article/1710/17103001/ #Photogrammetry_MR 117

118.

破綻させないためには ⑥ 深度合成撮影 手前から奥までピントを合った写真を生成する手法 フォーカスブラケット撮影(ピント位置を変えながら撮影)し合成 合成はPhotoshopでも可能 https://cweb.canon.jp/eos/lineup/rp/feature-operability.html #Photogrammetry_MR 118

119.

破綻させないためには ⑥ 深度合成撮影 対応カメラを使う場合  TG-6 約5万円 https://www.olympus-imaging.jp/product/compact/tg6/review/index.html カメラ内での深度合成処理が可能 ただしピント範囲は1-30cm 解像度は低い  OM-D EM-1 Mark II 約20万円 ＋レンズ https://www.olympus-imaging.jp/product/dslr/em1mk2/ カメラ内での深度合成処理が可能  EOS RP https://cweb.canon.jp/eos/lineup/rp/feature-operability.html #Photogrammetry_MR 約15万円 ＋レンズ 119

120.

破綻させないためには ⑥ 深度合成撮影 外部ソフトを使う場合 カメラをPCから外部コントロール。  Helicon Remote  Capture One  digiCam Control ・ソフトが使用するカメラが対応している必要があるので要確認 ・カメラ内深度合成に比べ時間がかかる点は注意 #Photogrammetry_MR 120

121.

破綻させないためには ⑦フリッカーに注意 カメラにフリッカー除去機能が無い場合は注意 関東は50Hz / 関西は60Hz こちらは関東(銭洗財天)の例 シャッタースピード1/120だと縞模様が #Photogrammetry_MR シャッタースピード1/100とすると綺麗 121

122.

最後に #Photogrammetry_MR 122

123.

需要  建替/解体となる建物を残したい  図面のないモノをモデル化したい（マニュアル/トレーニング）  ARやVRで活用したい（プロモーション等）  災害シミュレーション（街レベルでのモデル化） コンテンツによっては高い精度が求められる 複数の技術を組み合わせることで品質の向上が図れる #Photogrammetry_MR 123

124.

 参考文献等/フォトグラメトリコミュニティ ・Vlad氏記事『Full Photogrammetry Guide for 3D Artists』 https://80.lv/articles/full-photogrammetry-guide-for-3d-artists/ ・Facebookグループ 『Photogrammetry Group』 https://www.facebook.com/groups/3dphotogrammetry 『Capturing Reality Arena』 https://www.facebook.com/groups/CapturingRealityArena 『3Dflow Academy』 https://www.facebook.com/groups/3DflowAcademy ・銭洗弁天VRが出来るまで https://styly.cc/ja/tips/architectural-digital-archive-01-shooting-technique/  今回紹介したフォトグラメトリが体験できるリンク ・銭洗弁天VR ・旧都城市民会館AR ・Virtual DiGITAL ARTISAN ・エンジンルーム ・キルワ キシワニ遺産 ・Seaside Living ・XR-HUB Café https://lilea.net/lab/zeniarai-benten-vr/ https://xrarchi.lilea.net/miyakonojo/ https://www.vrchat.com/i/hemp-wholevi-c81d6 https://www.vrchat.com/i/cloak-ingesttopia-4a5ff https://www.vrchat.com/i/derfla-zeldadeport-4e1b1 https://www.vrchat.com/i/ape-picklegem-3ed22 https://www.vrchat.com/i/tyrion-potatoryan-552bd  コミュニティとか連絡先とか 不明点質問等あったらお気軽にDM､メールください！ ・HoloMagicians ・ホロラボ ・私個人 https://hololens.connpass.com https://hololab.co.jp Twitter: @lileaLab メール: [email protected] #Photogrammetry_MR 124