テクノロジーがつなげる、人とまちのミュージアムのあり方改革

テクノロジーがつなげる、 人とまちのミュージアムのあり方改革 2024/05/18 令和6年度 九州大学総合博物館 公開講演会 株式会社ホロラボ 中村 薫

アジェンダ • ホロラボのご紹介 • 九州大学総合研究博物館とホロラボ • データの作成と公開 • 人とまちとミュージアムを技術でつなげる Copyright© HoloLab Inc. All rights reserved 2

ホロラボのご紹介 Copyright© HoloLab Inc. All rights reserved 3

会社概要 事業内容 XR(AR/VR/MR)や空間コンピューティング技術、3Dデータに関する ・システム/アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18 住所 東京都品川区西五反田８-３-６ ＴＫ五反田ビル 1F 資本金 96,940,000円 従業員 70名 Web https://hololab.co.jp/ Copyright© HoloLab Inc. All rights reserved 4

• https://hololab.co.jp/

自己紹介 – ホロラボ代表取締役 CEO 中村 薫 ・株式会社ホロラボ 代表取締役 CEO (2017 - ) ・Microsoft Regional Director (2020 -) ・Microsoft MVP for Mixed Reality(2022 - ) ・Microsoft MVP for Windows Development(2016 - 2022) ・Microsoft MVP for Kinect for Windows (2014 - 2016) ・Microsoft MVP for Visual Studio ALM(2012 - 2014) ・XRコンソーシアム理事 (2020 - 2022) 来歴 ・Windowsアプリおよび組み込み系ソフトウェア開発会社勤務時に Microsoft社の開発した3Dセンサー「Kinect」の魅力に出会い独立。 センサー関連の開発から、執筆、登壇活動などを個人事業として取り組む。 ・技術コミュニティTMCNの立ち上げに参加し、その場での出会いから 2017年、ホロラボの設立に至る。 著作 ・HoloLens 2 入門 (2020 日経BP) ・Kinect for Windows SDKプログラミング V2センサー対応版 (2015 秀和システム) 5 Copyright© HoloLab Inc. All rights reserved など

ホロラボのビジョン/ミッション - The Frontiers of xR world - わたしたちホロラボは、 リアルとバーチャルをつなげ、 新しいコンピューティングのスタイルや表現、 体験を生み出すためのノウハウを 広く世の中に提案し続けます。 Copyright© HoloLab Inc. All rights reserved

XR(AR/VR/MR) • AR ： Augmented Reality (拡張現実感) • VR ： Virtual Reality (仮想現実、人工現実感) • MR : Mixed Reality (複合現実感) Mixed Reality(MR) Real Augmented Reality (AR) Augmented Virtuality (AV) Virtual Reality (VR) Real world Computer generated Copyright© HoloLab Inc. All rights reserved 7

こんなことをやっている会社です • HMD(ヘッドマウンドディスプレイ)という頭にかぶるコンピューターを使ったア プリケーションを作っています Copyright© HoloLab Inc. All rights reserved 8

こんなことをやっている会社です • 現実に存在するモノや建物を3Dでスキャンして3Dデータにしています Copyright© HoloLab Inc. All rights reserved 9

こんなことをやっている会社です • 3Dを含めたデータと、それを扱えるHMDを使って、様々な仕事への利用を模 索しています Copyright© HoloLab Inc. All rights reserved 10

最近は AppleがVision Proという空間コンピューターを発売して盛り上がっています Copyright© HoloLab Inc. All rights reserved https://www.apple.com/jp/newsroom/2023/06/introducing-apple-vision-pro/ 11

• https://www.apple.com/jp/newsroom/2023/06/introducing-apple-vision-pro/

九州大学総合研究博物館とホロラボ Copyright© HoloLab Inc. All rights reserved 12

九州大学総合研究博物館前のヒマラヤスギをデータ化 • 博物館で取得していた3次元測量データ(点群)を元に、3D CGデータを作成 元の測量データ 測量データ取得：小川 拓郎（九州大学人間環境学研究員） 幹と枝の抽出 3D CG作成 文化庁 令和５年度博物館機能強化推進事業InnovateMUSEUM事業の支援により、 「地域共創協学デジタル化基盤整備事業【中核館：九州大学総合研究博物館】」にて作成 Copyright© HoloLab Inc. All rights reserved 13

データを使ってみた • Power Point に入れてみたり、現地にARで再現してみたり Copyright© HoloLab Inc. All rights reserved 14

データの作成と公開 Copyright© HoloLab Inc. All rights reserved 15

事例：沖本家住宅(データ作成・利用事例) 東京都国分寺市 Copyright© HoloLab Inc. All rights reserved 16

沖本家住宅(データ作成・利用事例) • 所有者様および国分寺市ご協力のもと、国登録有形文化財・沖本家住宅のデ ジタルアーカイブをホロラボにて作成 • ホロラボの営業利用を目的としてるため無償で実施 • 国分寺市教育委員会ふるさと文化財課よりSketchfabにて公開 モデルデータ：https://sketchfab.com/3d-models/746396a0ae434959b665afe0f82c85ef 点群データ： https://sketchfab.com/3d-models/0583339fcfef43d9a85f1df5bc95cb65 Copyright© HoloLab Inc. All rights reserved 17

• https://sketchfab.com/3d-models/746396a0ae434959b665afe0f82c85ef
• https://sketchfab.com/3d-models/0583339fcfef43d9a85f1df5bc95cb65

沖本家住宅(データ作成・利用事例) • 国登録有形文化財 沖本家住宅 • 沖本家住宅洋館・和館が令和3年10月14日に国の登録有形文化財（建造物）となり ました。 • 沖本家住宅は国分寺市内藤2丁目に所在し、昭和8年（1933）に建てられた洋館と、 昭和15年（1940）に増築された和館から構成されています。所有者が大切に住まわれ てきたことから、大規模な改変もなく当初の様子がよく分かる状態で残されてきました。 • 建物の一部は、所有者の方により公開のために「カフェおきもと」として営業しています。 Copyright© HoloLab Inc. All rights reserved https://www.city.kokubunji.tokyo.jp/shisetsu/kouen/1005196/1026832.html 18

• https://www.city.kokubunji.tokyo.jp/shisetsu/kouen/1005196/1026832.html

成果物一覧 点群 BIM + テクスチャ 点群とフォトグラメトリの合成モデル BIM(Revit) 樹木モデル Copyright© HoloLab Inc. All rights reserved 19

歴史の記録 • 歴史的な記録を現実に近い形で記録できるため「次の世代にその記録を継 承できること」を価値提案の一つとしている 機関銃貫通の跡 ボヤの跡 Copyright© HoloLab Inc. All rights reserved 20

災害の記録 • 災害が起こり被害が発生した際に、災害前の記録が残っていることで復元の 手助けをする • 下図は左が災害(台風)前に記録した3Dデータ、その後台風で建物が破損した様子が 右の写真。災害前を3Dで記録することで、その様をより正確に残す。 被災前 3Dモデル 被災後 写真 Copyright© HoloLab Inc. All rights reserved 21

アセットからの収益化 • 課題 • 文化財の財源は補助金が主になるため、修復費用などの調達が課題 • 建築パースのCGなどに利用する樹木アセットは主に海外の樹木で日本の樹木は少な いという状況 • 仮説 • 3Dスキャンしたデータからアセット化することで、これを販売し収益につなげられる可能 性を模索する。 Copyright© HoloLab Inc. All rights reserved 22 https://booth.pm/ja/items/5413871

• https://booth.pm/ja/items/5413871

事例：大阪市立自然史博物館(データ利用) 大阪府大阪市 Copyright© HoloLab Inc. All rights reserved 23

大阪市立自然史博物館(データ利用事例) • Webで公開された大型骨格標本の3Dデータを利用してコンテンツを作ってみ ました。 3月27日に公開されて、27.8万件の表示 Apple Vision Pro でのデモコンテンツ Copyright© HoloLab Inc. All rights reserved 24

ユーザーから視点 • データを公開していただくことで、データの存在の周知をはじめ、多くの方が手 元での実験やアプリの作成などができる • データは使ってもらって、その価値を発揮するので、多くの公な3Dデータが公 開されることを希望します Copyright© HoloLab Inc. All rights reserved 25

人とまちとミュージアムを技術でつなげる Copyright© HoloLab Inc. All rights reserved 28

事例：VRホタルイカ 富山県滑川市 Copyright© HoloLab Inc. All rights reserved 29

ほたるいかミュージアムとは • 富山県滑川市にある文化・観光拠点 • ほたるいかミュージアムは、豊かな自然に囲まれた滑川市の文化・観光拠点、地域のシ ンボルとしてつくられた、世界にひとつの施設です。 • 海と空、そして立山連峰の雄大な景色を望めるガラス張りのマーケットホール、レストラン のゾーンと、ほたるいかの不思議な世界と深海を思い起こさせる、幻想的な光で演出さ れたミュージアムゾーンから成り立っています。 • ほたるいかの発光ショーが見られる「ライブシアター」や、深層水で飼育している富山湾 の生きものとふれあえる「深海不思議の海」をはじめ、ほたるいかの生態や棲息する富 山湾の神秘について楽しく学べる、体験型のミュージアムです。 Copyright© HoloLab Inc. All rights reserved https://hotaruikamuseum.com/museum 30

• https://hotaruikamuseum.com/museum

VRホタルイカ • ホロラボのスタッフである石村さんの個人作品(会社とは別) • 制作の経緯(石村さん談) • ホタルイカは3月下旬から5月下旬の2か月のみ生きたほたるいかを見られる • その他の期間は発光プランクトンやダイオウグソクムシ、チンアナゴなど • ホタルイカがテーマであるが、実際にホタルイカが見られるのは一年のうちわずか • VRでホタルイカを体験できるコンテンツを作ろう！ Copyright© HoloLab Inc. All rights reserved 31

Copyright© HoloLab Inc. All rights reserved 32

事例：市民参加型まちづくり 東京都八王子市、広島県広島市 Copyright© HoloLab Inc. All rights reserved 34

令和4年度・国土交通省Project PLATEAUユースケース開発事業 • ホロラボは、XRを使ったまちづくりの取り組みを実施しました Copyright© HoloLab Inc. All rights reserved 35

令和4年度・国土交通省Project PLATEAUユースケース開発事業 https://www.mlit.go.jp/plateau/use-case/uc23-08/ Copyright© HoloLab Inc. All rights reserved 36

• https://www.mlit.go.jp/plateau/use-case/uc23-08/

torinome（トライノーム） Copyright© HoloLab Inc. All rights reserved 37

XR 技術を用いたデジタルツインマルチプラットフォーム • torinome は、位置に紐づいた情報を蓄積し、視覚化・共有することができる プラットフォームです • WEBを中心として、AR, VR, 空間コンピューティングに対応した様々なデバ イスのアプリとも連携します。 トライノーム • 効率的な計画・管理・意思決定をサポートします Copyright© HoloLab Inc. All rights reserved 38

https://www.youtube.com/watch?v=vOw-D8B1YjA Copyright© HoloLab Inc. All rights reserved 39

• https://www.youtube.com/watch?v=vOw-D8B1YjA

torinome で できること torinome Web データの追加 可視化 共有 LAS GLB シーン 追加ボタン PLATEAU GIS データ・画像・動画・ 3D モデル・ 点群といった多様なデータを地球上に 追加できます GeoJSON ※ 様々なデータを重ね合わせてみること ができます。 Copyright© HoloLab Inc. All rights reserved ※ 鉄道データ出典：国土交通省国土数値情報ダウンロードサイト（https://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-N02-v2_3.html） 特定のデータを誰でもアクセスでき るように公開することも可能です 41

• https://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-N02-v2_3.html

torinome で できること Web 以外のアプリとの連携 torinome Planner torinome AR • torinome に登録されたデータをリアルタイムに現地で表 示できます • 写真や動画も撮影でき、撮影した位置に紐づけて torinome に登録できます • まちづくりのプランニングワークショップのためのアプ リ • 従来は模型を使っていたプランニングをデジタル化 • 議論した内容がリアルタイムに記録され、 Web や現 地でも確認できます Copyright© HoloLab Inc. All rights reserved 42

ヒマラヤスギを torinome 入れてみました Copyright© HoloLab Inc. All rights reserved 43

torinome ×市民参加型まちづくり Copyright© HoloLab Inc. All rights reserved 44

市民参加型のまちづくりでは、様々な人とたくさん話し合う Copyright© HoloLab Inc. All rights reserved 45

市民参加型のまちづくりの課題 探せない わからない テキスト中心、平面地図をつかった PDFでの情報発信 引用： 八王子市ホームページhttps://www.city.hachioji.tokyo.jp/ 饗庭研究室ウェブサイトhttp://aibalab.com/ 参加者層 偏ってる 参加者は限定的 地域の発言力のある人に偏る Copyright© HoloLab Inc. All rights reserved 想像しずらい 残せない 紙や模型を使った空間イメージ共有 形式だけの市民参加と 言われていしまう 46

• https://www.city.hachioji.tokyo.jp/
• http://aibalab.com/

実現方法 探せない わからない 参加者層 偏ってる 想像しずらい 残せない 地域現況・都市計画・市民の意見など地 域関連情報を統合し３D地図上に配置。 閲覧者が必要な情報を自由に表示コント ロールできるプラットフォームを提供する。 ３DとXR技術を活用し、誰でも、直感的に わかりやすいインタラクティブなワーク ショップを実現。 従来の参加者層にも使いやすく、若年層、 働き世代、など幅広い層の参加を促す。 XRで具体的なヴィジュアルイメージをリア ルタイムで可視化しながら議論。 ワークショップ中の市民の声をデータとして 保存することで長期にわたる都市計画のト レーサビリティを高める。 引用： 八王子市ホームページhttps://www.city.hachioji.tokyo.jp/ 饗庭研究室ウェブサイトhttp://aibalab.com/ Copyright© HoloLab Inc. All rights reserved 47

• https://www.city.hachioji.tokyo.jp/
• http://aibalab.com/

ワークショップ全体のデザイン (一例) ① まちあるき ② 3D都市モデルワークショップ ③ アイデア創出ワークショップ torinome AR torinome Web torinome Planner 主観・課題を体感する 俯瞰・地域全体で理解する 俯瞰・主観・協創する Copyright© HoloLab Inc. All rights reserved 48

torinomeAR torinome Webに登録したデータを現実世界へシームレスに具現化(AR表示)することができるアプリケーション torinome Webで配置 AR表示機能 写真・動画で記録 位置情報 • torinome Webで登録されたデータをリアルタイムに現地で実寸大で(または縮 小サイズでも)具現化でき、その様子の写真や動画を撮影できます。 • 現地以外でも、簡単に印刷可能なマーカーを利用することでどこでも具現化可能 Copyright© HoloLab Inc. All rights reserved です。 49

torinome Planner カードと3Dモデルを利用したプランニングできるアプリケーション torinome Webで配置 カードを使って議論 スケールを変更して見る 東京都立大 饗庭教授が開発したまちづくりのアイデア創出ゲーム「夢見る都市計画家ゲーム」を３D都市モデルとXRで拡張 したまちづくりARカードゲーム テーブル上にあるカードをiPadで覗くとそこに3Dモデルが表示されるので、模型を使わずに複数人での創造性あふれる議論が可能にな ります。カードを動かしながら最適な配置を検討した内容はtorinome Webにリアルタイムに反映され、シームレスに現地での確認やオンラ 50 Copyright© HoloLab Inc. All rights reserved インでの議論にも活用できます。

まちづくり × torinom をやってみて 空間イメージを 共有しながら議論ができる 様々なスケール・視点で 空間を確認できる Copyright© HoloLab Inc. All rights reserved 結果が位置情報と共に 記録される 51

まちづくり × torinom をやってみて なにより・・・楽しい！ Copyright© HoloLab Inc. All rights reserved 52

まとめ Copyright© HoloLab Inc. All rights reserved 53

まとめ • 今の人々の生活やミュージアムにデジタルデータやデバイスを組み合わせるこ とで新しい取り組みが生まれます • データを公開情報として扱うことで多くの人にデータを周知できます • すでに自治体でのデジタルデータの取り組みは多く存在します 福岡でもデジタルを使った新しい取り組みをご一緒できると嬉しいです！ Copyright© HoloLab Inc. All rights reserved 54

おまけ XRミートアップ奈良 文化財 × XR • 概要 • 文化財とXR技術を組み合わせた事例、技術の紹介 • 開催日時 • 6月21日（金） 10：00～17：00（開場9：40） • 場所 • 奈良市佐紀町 平城宮跡資料館 講堂 • 主催・共催 • 主催 • 奈良文化財研究所 企画調整部文化財情報研究室 • 共催 • 株式会社ホロラボ • 株式会社桑山瓦(ykuw-design) • 公立小松大学次世代考古学研究センター Copyright© HoloLab Inc. All rights reserved https://twitter.com/NABUNKEN_PR/status/1783783074305654926 55

• https://twitter.com/NABUNKEN_PR/status/1783783074305654926

56