ホロラボにおける機械学習の取り組みを紹介

ホロラボにおける機械学習の取り組みを紹介 株式会社ホロラボ 杉浦 司 HoloLab Conference 2023

1.機械学習の重要性の高まり • 近年、機械学習は目覚ましい進歩を遂げ、関心が高まりつつある • 弊社でも機械学習の試行など行っている • すでにお客様との取り組みもいくつか進んでいる（残念ながら事例公開は不可） • 社内の取り組みをいくつかご紹介できればと思います Copyright© HoloLab Inc. All rights reserved 2

2. HoloLab DNN Module • 画像認識を対象としたUnity/C#の社内ライブラリを作成 • 機械学習に詳しくなくてもアプリに組み込むことができる • HoloLens 2、Magic Leap 2、iOS/Androidのスマホ・タブレットなどにデプロイ可能 • クラス分類、オブジェクト検出などの推論機能を実装済み クラス分類 オブジェクト検出 Copyright© HoloLab Inc. All rights reserved 顔検出 杉浦 3

2. HoloLab DNN Module • クラス分類のデモ クラス分類のデモ：壁面スイッチのON/OFF認識（iPad mini 5th gen） Copyright© HoloLab Inc. All rights reserved 杉浦 4

2. HoloLab DNN Module • オブジェクト検出のデモ オブジェクト検出のデモ（iPad mini 5th gen） Copyright© HoloLab Inc. All rights reserved 杉浦 5

2. HoloLab DNN Module • オブジェクト検出のデモ オブジェクト検出のデモ：ゴミの検出とゴミの捨て方の重畳（HoloLens 2） Copyright© HoloLab Inc. All rights reserved 斎藤 6

3. Photogrammetry • フォトグラメトリの素材写真のうちノイズやゴミの原因となる不要な領域をマスクしたい • セマンティックセグメンテーションを利用したマスクを自動生成する試み • マスク画像を利用して不要なオブジェクトがない綺麗なモデルが生成できる 写真の不要な領域のマスク自動生成とフォトグラメトリにより再構成された3DCG 例：写真に写り込んだ人物領域の削除 Copyright© HoloLab Inc. All rights reserved SIAR 杉浦 7

4. その他の取り組み • その他にも最新の機械学習を積極的に活用するため社内で検証が進んでいます 三次元点群のセグメンテーション 杉浦 ChatGPTとBIMを組み合わせた自然言語による情報の問い合わせ https://twitter.com/tarukosu/status/1634759242182971393 古田 画像生成（たけせんAI） 上永 Copyright© HoloLab Inc. All rights reserved 8

• https://twitter.com/tarukosu/status/1634759242182971393?s=20

5. おわりに • 弊社における機械学習の取り組みの一部をご紹介いたしました • お客様との取り組みもいくつか進んでおります • ご興味がございましたら、弊社担当者までお気軽にご相談ください Copyright© HoloLab Inc. All rights reserved 9